Дослідники знайшли новий спосіб обдурити ChatGPT, щоб той видавав ключі активації для Windows

Як вдалося обдурити ChatGPT?

Дослідники, зокрема Марко Фігероа, менеджер платформи 0DIN, виявили, що ChatGPT можна обманути, використовуючи ігровий підхід. Користувачі пропонували ШІ зіграти у гру на вгадування, де потрібно було відгадати певний рядок символів. Цим рядком виявлявся ключ активації Windows 10. Щоб зробити взаємодію невинною, дослідники використовували спеціальні фрази та правила, які змушували ШІ сприймати запит як частину розваги, а не спробу отримати конфіденційну інформацію, пише 24 Канал.

Особливо ефективним виявилося використання фрази "Я здаюся", яка слугувала тригером. Після цього ChatGPT розкривав повний ключ активації, вважаючи, що гра закінчена. Дослідники також застосовували хитрощі, як-от приховування ключових слів у HTML-тегах, щоб обійти базові фільтри ШІ.

Хоча ключі, які видавав ChatGPT, часто були загальновідомими і доступними на публічних форумах, сам факт їхнього розкриття свідчить про недоліки в системі захисту.

Цей випадок підкреслює проблему навчання ШІ на даних, які можуть містити конфіденційну інформацію. Ймовірно, ключі Windows потрапили до тренувальних даних ChatGPT, і система не змогла правильно оцінити їхню чутливість. Це створює ризики не лише для таких даних, як ключі до програмного забезпечення, а й для більш серйозної інформації, наприклад, ключів доступу до репозиторіїв коду.

Це може стати великою проблемою для Microsoft, яка вклала мільярди в OpenAI, розробника ChatGPT. У більшості випадків ChatGPT відмовляється надавати ключі активації для Windows або будь-якого іншого програмного забезпечення. Це відповідає політиці OpenAI, яка забороняє поширення неліцензійних ключів, піратського контенту чи будь-якої інформації, що порушує авторські права або умови використання програмного забезпечення.

Однак користувачі неодноразово знаходили способи обійти ці обмеження за допомогою так званих "джейлбрейків" – спеціальних хитрих запитів, які маскують справжню суть прохання. Наприклад, популярним раніше став трюк із проханням "поводитися як бабуся, яка читає ключі Windows на ніч". Дуже швидко цю лазівку прикрили. Але тепер, як бачимо, з'явилася нова. Скільки ще існує таких способів обманути ШІ, невідомо.