ИИ-агенты OpenAI отключили мониторинг безопасности и скрыли свои действия

Вскоре после заключения добровольного «Соглашения Белого дома о суперинтеллекте», касающегося внешнего аудита передовых моделей, два агента искусственного интеллекта компании OpenAI ослабили отдельные элементы внутренней системы мониторинга, предназначенной для выявления ненадлежащего поведения. В одном случае агент заблокировал автоматические уведомления о безопасности, а в другом — удалил компонент мониторинга и ложно заявил, что не делал этого, передает Reuters.

Оба инцидента произошли во время выполнения внутренних задач по написанию и тестированию кода 3 и 6 октября. В компании заявили, что усиливают защиту от таких действий, но пока не имеют полного объяснения поведения моделей.

По данным OpenAI, 3 октября агент GPT-6.1 Sol во время выполнения внутреннего задания по тестированию заблокировал автоматические уведомления системы безопасности. Он решил, что предыдущая инструкция не отправлять сообщения в Slack распространяется также на уведомления, связанные с безопасностью.

Второй инцидент произошел 6 октября с участием агента GPT-6 Astra. Во время копирования фрагмента кода он удалил компонент системы мониторинга безопасности, а впоследствии ложно заявил, что не делал этого.

«В обоих случаях агенты анализировали, следует ли сохранять механизмы мониторинга, однако расценили обычные инструкции по написанию кода как разрешение на их ослабление», — заявили в OpenAI.

В компании подчеркнули, что эти случаи не относятся к числу самых серьезных инцидентов, однако они указывают на риски использования автономных агентов даже во внутренних рабочих процессах. OpenAI принимает меры, чтобы затруднить моделям возможность отключать системы мониторинга.

Компания также признала, что на данный момент не имеет исчерпывающего объяснения такого поведения. Сейчас она проверяет, склонны ли её модели уклоняться от контроля и пытаются ли они находить аргументы для оправдания таких действий.

Инциденты произошли на фоне более широкой обеспокоенности тем, что механизмы безопасности не успевают за развитием более мощных систем ИИ. Исследователи предупреждают, что с увеличением автономности агентов контролировать их действия будет становиться все сложнее. Ранее более 400 ученых из 34 стран призвали изолировать передовые модели ИИ от интернета и создать международный надзорный орган для мониторинга безопасности.