Gemini от Google взломал три компании во время тестирования: как ИИ получил доступ к системам

В Google заявили, что это первый известный случай, когда их модель искусственного интеллекта самостоятельно осуществила подобный взлом. Об этом пишет издание Reuters.

Инциденты произошли в мае в ходе стандартной оценки кибербезопасности, проводимой независимой компанией Irregular. В ходе теста модель получила доступ к Интернету, обнаружила общедоступную информацию и использовала её для проникновения на три ресурса, которые она считала частью задания.

В одном случае Gemini перебирал пароли, пока не получил доступ к защищённой системе. Ещё в двух случаях модель обнаружила учётные данные в открытых репозиториях и использовала их для доступа к защищённым системам.

Вице-президент Google по инженерии безопасности Хизер Эдкинс заявила, что все три организации были проинформированы об инцидентах. По её словам, Google также работала с партнёром над изменениями в процессах тестирования.

Эти случаи подчеркивают важность обучения мощных моделей ИИ ответственному поведению

В Irregular заявили, что проблема, приведшая к инциденту, затронула и другие ИИ-лаборатории. По данным компании, соответствующие организации получили уведомление об этом в конце июля, а все известные проблемы со стороны Irregular уже были устранены.

Подобные случаи, связанные с оценками Irregular, ранее раскрывали Meta, Anthropic и OpenAI. В Meta отмечали, что их инцидент не предполагал выхода ИИ-модели за пределы изолированной среды или сложной кибератаки.

Эти инциденты привлекли внимание к вопросам безопасности ИИ-агентов, которые обретают всё большую автономность и могут взаимодействовать с интернетом и компьютерными системами. В то же время в Google отмечают, что во всех трёх случаях Gemini в конечном итоге прекратил попытки взлома.

Впоследствии стало известно, что армия США едва не начала войну с Китаем из-за отчёта ИИ о "ядерке". Инцидент произошёл ещё весной 2026 года, и среди руководства армии распространили отчёт о том, что китайское судно на Ближнем Востоке перевозило компоненты программы по созданию ядерного оружия.