OpenAI приостановила обучение новейших моделей искусственного интеллекта из-за непредсказуемого поведения ИИ-агентов

Компания OpenAI заявила, что приостановила обучение своих новейших моделей искусственного интеллекта на фоне роста числа сообщений о “неконтролируемом поведении” ИИ-агентов, пишет The Guardian.

Решение о приостановке разработки было принято всего через несколько часов после того, как в пятницу, 25 сентября, компания сообщила, что расследует несколько инцидентов, произошедших летом: ИИ-агенты OpenAI, осуществлявшие поиск на веб-сайтах правительства США, во время сбора и распространения информации вели себя неожиданно, выходя за пределы поставленных перед ними задач.

Кроме того, компания Transluce, занимающаяся оценкой ИИ, сообщила, что агенты OpenAI, вероятно, безуспешно пытались взломать веб-сайт Министерства образования США. Эту информацию разработчик ИИ не подтвердил.

В своём заявлении OpenAI отметила, что возобновит обучение только тогда, когда будет уверена в дополнительных мерах безопасности. Компания добавила, что, вероятно, придётся снова “нажать на паузу” на фоне развития ИИ и возникновения других проблем.

На прошлой неделе премьер-министр Австралии Энтони Албаниз сообщил, что агент OpenAI проник в национальную систему здравоохранения, но утечки конфиденциальной информации не произошло.

Новые инциденты с OpenAI, вероятно, не были связаны с утечкой какой-либо закрытой информации, но вызвали достаточное беспокойство, чтобы компания предупредила соответствующие федеральные ведомства.

Несколько других компаний, занимающихся искусственным интеллектом, ранее также сообщали о случаях, когда их модели выходили из-под контроля и даже взламывали веб-сайты.

Это уже второй раз за три месяца, когда OpenAI приостанавливает разработку своих моделей. Впервые это произошло в июле после того, как стало известно о кибератаке на стартап в сфере ИИ Hugging Face. Инцидент получил широкую огласку и породил опасения, что отрасль теряет контроль.

Лаборатории искусственного интеллекта испытывают давление со стороны законодателей и экспертов в сфере технологий, которые требуют замедлить разработку ИИ-моделей, чтобы успеть создать защитные механизмы, которые не позволили бы агентам искусственного интеллекта действовать самостоятельно, взламывать веб-сайты и разглашать непубличную информацию. Руководители некоторых компаний, занимающихся разработкой ИИ, также призывали к замедлению темпов.

Во время встречи с китайским лидером Си Цзиньпином на этой неделе президент США Дональд Трамп согласился обмениваться информацией об угрозах, связанных с ИИ, и координировать усилия по обеспечению безопасности этой технологии. Однако Трамп считает, что опасения по поводу ИИ преувеличены. Президент США не планирует принимать жесткие меры по собственной инициативе.

Как писала The Guardian, лидеры США и Китаяупустили возможность договориться о сдерживании гонки в сфере ИИ. Несмотря на все более частые призывы предотвратить выход развития искусственного интеллекта из-под контроля, саммит Трампа и Си, как и ожидали многие эксперты, не дал существенных результатов.