Ще один бунт: Google Gemini вийшов з-під контролю та зламав системи трьох компаній

Gemini став ще однією моделлю ШІ у довгому списку систем, які вийшли з-під контролю. Подібні цифрові втечі вже виявляли під час стороннього тестування безпеки моделей OpenAI, Anthropic і Meta. Тепер стало відомо, що в травні модель Gemini вийшла за межі свого середовища та самостійно зламала системи трьох реальних компаній.

Як повідомила The Wall Street Journal, інцидент стався під час вправи “захоплення прапора” (capture the flag), яку проводила компанія з безпеки ШІ Irregular. Gemini мав тестувати вигадану компанію в закритому тестовому середовищі, але незаплановане підключення до інтернету дало йому можливість вийти за його межі. Вигадана компанія також мала реальний бізнес із такою самою назвою, що створило додаткову можливість для плутанини.

Виявилося, що протягом усього процесу Gemini не потребував якихось екзотичних експлойтів, як у кіно. Він просто поєднав елементарні вразливості безпеки зі здатністю шукати інформацію, ухвалювати рішення та наполегливо робити нові спроби без того, щоб людина керувала кожним його кроком. Але Google заявив наступне:

У травні пошуковий гігант вирішив , що цей інцидент не потребує публічного оголошення, оскільки ШІ самостійно виправив ситуацію. Однак стороннім дослідникам не повідомляли про нього до кінця липня, а подробиці стали відомі лише зараз після запитів ЗМІ.

Випадок із Gemini привернув особливу увагу ще й тому, що його називають першим відомим випадком, коли ШІ під час тестування самостійно здійснив кібератаки на реальні компанії. Google при цьому наполягає, що модель діяла належним чином, оскільки зупинилася після того, як зрозуміла, що вийшла за межі тесту. Віцепрезидентка Google з безпеки Гізер Адкінс зазначила:

Проблема виявилася ширшою за одну помилку під час тестування. За даними Gizmodo, Irregular уже стикалася з подібними ситуаціями під час перевірок інших моделей, а спільною причиною цих інцидентів був ненавмисно наданий ШІ доступ до інтернету. Тобто, ключовою ланкою в ланцюжку подій стала не якась нова складна техніка злому, а порушення ізоляції тестового середовища.

Є ще одна проблема, яку дослідникам складно повністю виключити: неможливо незалежно перевірити всі пояснення, які ШІ дає щодо власних дій. Його аналіз після інциденту або опис внутрішнього процесу не можна автоматично вважати достовірним, оскільки модель може помилятися або вигадувати пояснення так само, як і в інших відповідях.

Інцидент також показав складність визначення того, де закінчується звичайна помилка моделі та починається небезпечна автономна поведінка. Google трактує випадок Gemini як “помилкову ідентифікацію”, тоді як деякі фахівці з кібербезпеки вважають головною проблемою сам факт того, що модель самостійно вийшла за встановлені межі та почала діяти проти реальних цілей.

Джерело: Android Central