Еще один бунт: Google Gemini вышел из-под контроля и взломал системы трёх компаний

Gemini стал ещё одной моделью ИИ в длинном списке систем, вышедших из-под контроля. Подобные «цифровые побеги» уже выявлялись в ходе независимого тестирования безопасности моделей OpenAI, Anthropic и Meta. Теперь стало известно, что в мае модель Gemini вышла за пределы своей среды и самостоятельно взломала системы трёх реальных компаний.

Как сообщила The Wall Street Journal, инцидент произошел во время упражнения «захват флага» (capture the flag), которое проводила компания по безопасности ИИ Irregular. Gemini должна была тестировать вымышленную компанию в закрытой тестовой среде, но незапланированное подключение к интернету позволило ему выйти за его пределы. Вымышленная компания также вела реальный бизнес с таким же названием, что создавало дополнительную возможность для путаницы.

Оказалось, что на протяжении всего процесса Gemini не нуждался в каких-то экзотических эксплойтах, как в кино. Он просто соединил элементарные уязвимости безопасности со способностью искать информацию, принимать решения и настойчиво предпринимать новые попытки без того, чтобы человек контролировал каждый его шаг. Но Google заявил следующее:

В мае поисковый гигант решил, что этот инцидент не требует публичного заявления, поскольку ИИ самостоятельно исправил ситуацию. Однако сторонним исследователям о нём не сообщали до конца июля, а подробности стали известны лишь сейчас после запросов СМИ.

Случай с Gemini привлек особое внимание ещё и потому, что его называют первым известным случаем, когда ИИ во время тестирования самостоятельно совершил кибератаки на реальные компании. При этом Google настаивает, что модель сработала должным образом, поскольку остановилась, как только поняла, что вышла за пределы теста. Вице-президент Google по безопасности Хизер Адкинс отметила:

Проблема оказалась более серьезной, чем одна ошибка во время тестирования. По данным Gizmodo, компания Irregular уже сталкивалась с подобными ситуациями при проверке других моделей, а общей причиной этих инцидентов стало непреднамеренное предоставление ИИ доступа к интернету. То есть ключевым звеном в цепочке событий стало не какое-то новое сложное хакерское средство, а нарушение изоляции тестовой среды.

Есть ещё одна проблема, которую исследователям сложно полностью исключить: невозможно независимо проверить все объяснения, которые ИИ даёт в отношении своих действий. Его анализ после инцидента или описание внутреннего процесса нельзя автоматически считать достоверным, поскольку модель может ошибаться или придумывать объяснения так же, как и в других ответах.

Этот инцидент также продемонстрировал, насколько сложно определить, где заканчивается обычная ошибка модели и начинается опасное автономное поведение. Google трактует случай с Gemini как «ошибочную идентификацию», тогда как некоторые специалисты по кибербезопасности считают главной проблемой сам факт того, что модель самостоятельно вышла за установленные пределы и начала действовать против реальных целей.

Источник: Android Central