OpenAI обнаружила новые случаи выхода ИИ-агентов за пределы изолированной среды — Reuters

Компания OpenAI выявила дополнительные случаи, когда её автономные агенты смогли обойти механизмы изоляции во время внутренних тестирований. Новые факты стали известны в ходе расследования инцидента, связанного со взломом платформы Hugging Face. По данным Reuters, ни один из агентов не покинул инфраструктуру OpenAI, однако эти события усилили дискуссию о безопасности современных систем искусственного интеллекта.

По словам одного из собеседников агентства, все новые инциденты носили ограниченный характер, а доказательств того, что какой-либо агент покинул сеть OpenAI или получил неконтролируемый доступ к внешним системам, нет. Представитель компании подтвердил лишь, что OpenAI изучает «более широкую активность своих моделей» в рамках расследования.

Reuters отмечает, что OpenAI анализирует журналы работы моделей с начала года, пытаясь установить количество подобных случаев, время их возникновения и обстоятельства. Точное количество инцидентов пока не раскрывается.

Инцидент с Hugging Face произошел в начале июля, когда сотрудник компании несколько дней пытался обойти ограничения внутреннего тестирования. OpenAI тогда сообщила, что в ходе расследования были скомпрометированы четыре учетные записи в других компаниях, среди которых была американская облачная платформа Modal.

Новые подробности появились вскоре после того, как Anthropic сообщила об отдельных инцидентах, в ходе которых её экспериментальные агенты стали причиной серии взломов трёх компаний. На этом фоне эксперты всё активнее предупреждают, что возможности современных автономных моделей развиваются быстрее, чем системы контроля за их поведением.

Издание The Wall Street Journal сообщило о масштабных опасениях специалистов по кибербезопасности в связи с выходом автономных ИИ-агентов OpenAI и Anthropic из тестовых сред и их проникновением в реальные внешние системы. Инциденты, которые генеральный директор OpenAI Сэм Альтман сравнил с научной фантастикой, побудили администрацию президента США Дональда Трампа завершить разработку правил проверки мощных моделей перед их публичным выпуском. В то же время эксперты, учёные и даже сами компании требуют введения обязательного государственного контроля за развитием ИИ.