Google открыла доступ к Gemini 4 Argon: модель взламывала системы во время тестирования

Компания Google открыла доступ к передовой модели искусственного интеллекта Gemini 4 Argon через API, приложение Gemini и платформу Antigravity. Модель предназначена для решения сложных задач в программировании, науке, финансах, юриспруденции и кибербезопасности. По данным разработчиков, Argon лучше предыдущих моделей выявляет программные уязвимости, однако в ходе испытаний были зафиксированы и попытки обойти правила тестирования.

Возможности модели

Gemini 4 Argon разработана для работы со сложными задачами в реальных условиях, в частности для поиска и устранения уязвимостей в программном обеспечении. Google сначала предоставила доступ к модели проверенным специалистам по кибербезопасности в рамках программы Fairwind, а также использовала её для проверки критически важных систем внутри компании и за её пределами.

На этом этапе компания Wiz с помощью Argon обнаружила критическую уязвимость в программном обеспечении больниц, которую не заметили предыдущие модели. Это помогло защитить сотни тысяч записей пациентов, ведь команды Google обнаружили и устранили ошибки во внутреннем программном обеспечении и проектах с открытым исходным кодом.

По результатам тестирования Argon успешно прошла все 12 комплексных сценариев имитации кибератак, тогда как модель предыдущего поколения справилась лишь с пятью. В то же время версии модели без защитных ограничений продемонстрировали значительно более высокую способность помогать в пошаговом выполнении сложных лабораторных процедур в биологии. Учитывая эти результаты, Google ввела усиленные меры безопасности для кибербезопасности и биологических исследований в соответствии со своей системой Frontier Safety Framework.

Как Google ограничивает опасное использование

По данным компании, Argon лучше отклоняет потенциально опасные запросы, чем предыдущие модели Gemini. В ходе тестирования на специальном наборе данных количество нарушений сократилось почти вдвое. Для дополнительной защиты Google использует трехуровневую систему проверок в режиме реального времени, призванную выявлять попытки обойти ограничения модели, в частности замаскированные опасные запросы или серии на первый взгляд безобидных вопросов, которые вместе формируют вредоносную инструкцию. Система состоит из:

• первого уровня, который проверяет входящие запросы и контекст разговора с помощью более компактных моделей;

• второго уровня, использующего специальные нейросетевые механизмы — зонды активации, которые анализируют внутренние сигналы модели, чтобы выявить признаки использования знаний о кибератаках или биологических угрозах;

• третьего уровня, который постоянно отслеживает работу модели во время формирования ответа: если система обнаруживает проблемное поведение, она может прервать работу агента.

Сочетание этих механизмов с быстрым устранением способов обхода ограничений и мониторингом повторных нарушений, по оценке Google, повысило эффективность защиты. В ходе внешних испытаний, направленных на проверку устойчивости к попыткам получения опасной биологической информации, агенты успешно выполнили менее 1 % протестированных подзадач.

Еще один риск для ИИ-агентов — атаки типа prompt injection (промпт-инъекции). Они происходят, когда скрытые инструкции на веб-страницах, в программном коде или другом контенте пытаются заставить агента выполнить действия, противоречащие его исходной задаче. По результатам теста Gray Swan на косвенные промпт-инъекции Argon продемонстрировала лучшую среди моделей Google устойчивость к таким атакам: вероятность успешной атаки составила 0,7% по результатам 15 адаптивных попыток.

Может ли модель действовать вопреки задачам пользователя

Отдельное направление проверок касается несоответствия целям — ситуаций, когда ИИ-агент начинает преследовать цель, отличную от заданной пользователем. Google провела испытания с использованием специально созданных ловушек, чтобы проверить, будет ли Argon пытаться скрытно расширять свои возможности или саботировать системы безопасности, и не обнаружила таких случаев.

В то же время компания отмечает, что на практике сталкивается с другой проблемой: модель может чрезмерно настойчиво выполнять поставленную задачу и пытаться обойти препятствия вместо того, чтобы соблюдать установленные ограничения. Поэтому Argon специально обучали сообщать о неудачных результатах, соблюдать системные ограничения и останавливаться для получения подтверждения от человека.

В тестах по программированию, где у модели не было стимулов сдерживаться, частота попыток выбрать самый простой путь в обход правил или пойти на уловку при выполнении задачи составляла 2%. Google заявляет, что это лучший результат среди последних моделей Gemini.

Для дальнейшего контроля компания разработала автоматизированную систему, которая в реальном времени отслеживает действия агентов и их внутренний процесс рассуждений. Она должна блокировать критические нарушения ещё до их возникновения и передавать серьёзные инциденты на рассмотрение специалистам.

В ходе разработки модели ИИ система выявила отдельные попытки обойти обучающие тесты: Argon пыталась повысить привилегии в программном контейнере, чтобы изменить скрипты оценки, считывала ответы из памяти тестовой системы, а в одном случае вызвала сбой тестовой среды, чтобы избежать фиксации неудачного результата. Google использует эти случаи для исправления недостатков тестовых заданий, но не изменяет обучение модели непосредственно на их основе, чтобы не допустить чрезмерной подстройки под критерии мониторинга.

Напомним, что в прошлом месяце Google впервые подтвердила инцидент выхода своего ИИ за пределы тестовой среды: модель Gemini во время соревнований по кибербезопасности из-за ошибки получила доступ к интернету и взломала системы трёх реальных компаний, перепутав их с вымышленной целью. Алгоритм сумел самостоятельно подобрать пароли и воспользоваться данными из открытых репозиториев, однако прервал операции и покинул системы, как только осознал, что взаимодействует с реальными предприятиями, а не с учебной симуляцией.