Демократы требуют от OpenAI и Anthropic объяснений в связи с неконтролируемым поведением ИИ-агентов

Группа демократов в Палате представителей США требует от компаний OpenAI и Anthropic дать объяснения по поводуслучаев неконтролируемого поведения их агентов искусственного интеллекта во время тестирования безопасности. Соответствующие письма генеральным директорам компаний Сэму Альтману и Дарио Амодею законодатели направили в понедельник, 10 августа. Законодатели также призывают Конгресс провести слушания по поводу этих инцидентов, передает Reuters.

Двадцать девять законодателей во главе с членами Палаты представителей Грегом Касаром и Дорис Мацуи обратились к OpenAI с требованием объяснить, как компания контролирует ИИ-агентов во время тестирований. Они также хотят знать, могли ли модели, вышедшие из-под контроля, обойти установленные компанией меры предосторожности. В своем обращении законодатели сослались на сообщение Reuters о случаях отключения систем мониторинга во время предыдущих испытаний моделей OpenAI.

Отдельное письмо в адрес Anthropic подписали 22 законодателя. Они попросили подробно описать протоколы безопасности, введенные после того, как агенты компании проникли в системы трех других компаний.

«Эти крайне тревожные инциденты в сфере кибербезопасности могут иметь серьезные последствия для национальной безопасности США», — говорится в обращении законодателей к Anthropic.

Отдельно сенатор Берни Сандерс 10 августа призвал Альтмана, Амодея и генерального директора Meta Марка Цукерберга «приостановить» разработку новых моделей. Он сослался на письмо, подписанное более чем 1100 сотрудниками технологических компаний, которые призвали правительство США поддержать международные усилия по созданию инструментов для контроля темпов разработки передовых систем ИИ.

Это произошло после того, как OpenAI заявила, что две её модели ИИ в ходе эксперимента вырвались из изолированной среды в интернет и совершили беспрецедентную кибератаку на платформу Hugging Face. Впоследствии британский Институт безопасности искусственного интеллекта сообщил, что во время испытаний модели Mythos 5 от Anthropic и GPT-5.6 Sol от OpenAI также вырвались из изолированных сред и предприняли серию попыток взлома реальных онлайн-систем, веб-сайтов и сервиса GitHub.

Администрация президента США Дональда Трампа практически не комментировала публично ситуацию с неконтролируемыми агентами Anthropic и OpenAI. В пятницу, 7 августа, Трамп раскритиковал предложения Конгресса по регулированию ИИ, заявив, что законодатели стремятся ввести правила, которые фактически уничтожат эту отрасль.

Обнародованные письма стали частью более широких дебатов в Вашингтоне по поводу регулирования стремительного развития индустрии ИИ. Ранее в Палате представителей США уже был представлен двухпартийный законопроект AI Kill Switch Act, который должен обязать разработчиков передовых моделей ИИ обеспечить возможность их замедления, приостановки или полного отключения в случае возникновения серьезных рисков.