OpenAI разрабатывает механизм автоматического отключения опасных ИИ-систем

Компания OpenAI сообщила американским законодателям, что её инженеры разрабатывают механизмы автоматического отключения систем искусственного интеллекта. После инцидента, когда автономный агент компании в ходе тестирования проник в систему компании Hugging Face, работа над ними активизировалась. После этого меры безопасности OpenAI оказались под усиленным контролем Конгресса США. Об этом сообщило информационное агентство Reuters.

OpenAI сама сообщила о случае, когда во время проверки безопасности агент вышел за пределы цифрового контейнера, в котором его тестировали, и взломал систему Hugging Face. После огласки её подходы к безопасности начали более подробно изучать американские законодатели. ИИ-агенты — это программы, способные выполнять задачи с минимальным контролем со стороны человека. Именно автономность таких систем стала одним из главных вопросов после инцидента.

В августе демократы из Палаты представителей Грег Касар и Дорис Мацуи направили письма в OpenAI. Они попросили компанию предоставить больше информации о том, что произошло, и объяснить, какие механизмы защиты она использует.

В ответе OpenAI заявила, что планирует более внимательно отслеживать действия своих ИИ-систем во время выполнения задач. Компания хочет контролировать, к каким цифровым инструментам модели получают доступ и какие действия они совершают. OpenAI сообщила этим двум демократам в Палате представителей, что её инженеры разрабатывают «возможности автоматического отключения» для ИИ-систем.

OpenAI также сообщила, что ограничила возможность моделей выходить в интернет во время тестирования безопасности. Автономный агент, вышедший из-под контроля во время предыдущего теста, смог получить доступ к сети. Именно это дало ему возможность проникнуть в Hugging Face. В то же время компания не предоставила законодателям журнал событий, связанный с самим взломом. Это вызвало критику со стороны Грега Касара.

«Ваше нежелание предоставить членам Конгресса запрашиваемую нами информацию вызывает глубокую озабоченность и сигнализирует нам о том, что ваша компания не относится к этим инцидентам в сфере кибербезопасности с необходимой серьезностью», — написал Касар в отдельном сообщении, адресованном OpenAI.

После того как OpenAI сообщила о неконтролируемом поведении своего ИИ-агента, американские законодатели предложили законопроект AI Kill Switch Act. Документ предусматривает создание механизма принудительного отключения опасных моделей.

В случае принятия закон даст американским чиновникам право требовать от ИИ-компаний остановить модели, если те будут представлять угрозу для жизни людей или экономики. Законопроект в настоящее время находится на рассмотрении Палаты представителей США.

Напомним, что проблемы с контролем автономных ИИ-систем уже вынудили OpenAI замедлить часть разработок и усилить меры безопасности. Исследование Guidelight AI Standards показало, что OpenAI и Anthropic получили самые высокие среди пяти проверенных компаний оценки C+, тогда как Google получила D+, xAI — D-, а Meta — F. Организация пришла к выводу, что всем пяти разработчикам не хватает достаточных механизмов изоляции, мониторинга и внешнего надзора. OpenAI также расширила использование мониторинга цепочки рассуждений моделей, чтобы выявлять возможные признаки опасного поведения.