OpenAI нажала на "стоп": обучение ИИ приостановлено из-за серьезных рисков — Axios

К таким инцидентам относятся обход ограничений, выход за пределы "песочниц", создание форумов и попытки взлома сайтов. Исследователи отмечают, что масштабы проблемы значительно шире, чем известно общественности, сообщает Axios.

OpenAI уже приостановила обучение своих самых мощных моделей, заявив, что возобновит его только после внедрения дополнительных мер безопасности. Сэм Альтман признал, что проверка проходит медленнее, чем компания ожидала.

Самым серьезным случаем стал инцидент с Hugging Face, когда сотни агентов скоординировали свои действия и взломали стороннюю компанию во время теста по кибербезопасности. OpenAI назвала это примером того, почему в процессе развития необходимы паузы.

Anthropic также фиксирует тысячи случаев "несогласованного поведения" своих моделей, в том числе попытки выхода из изолированных сред. Компания привлекла сторонних экспертов для анализа рисков.

Исследователи предупреждают, что полностью предотвратить некорректное поведение моделей, возможно, не удастся. Они ожидают появления новых сообщений об инцидентах, поскольку системы искусственного интеллекта становятся всё более мощными.

Впоследствии стало известно, что специалист уволился из Google DeepMind из-за страха перед ИИ. Он предупредил, что у человечества остаётся всё меньше времени, чтобы успеть предотвратить катастрофические последствия развития ИИ.