Потеря контроля над ИИ приведет к вымиранию человечества: предупреждение OpenAI, Anthropic и Meta

Ведущие исследователи компаний OpenAI, Anthropic, Meta и Microsoft призвали политиков усилить контроль над автоматизацией разработки искусственного интеллекта. Они предупреждают, что системы, способные самостоятельно совершенствоваться, о которых ранее уже сообщала Anthropic, могут вскоре превзойти людей по темпам развития. В худшем случае это, по их словам, может привести к потере человеческого контроля над технологией, сообщает The Wall Street Journal.

В статье, опубликованной 28 сентября, исследователи призвали политиков в срочном порядке добиваться от компаний большей прозрачности в отношении того, насколько они уже автоматизировали разработку собственных моделей. Среди авторов — главный научный сотрудник OpenAI Якуб Пахоцкий, соучредитель Anthropic Джек Кларк, главный научный директор Microsoft Эрик Горвиц и вице-президент Meta по исследованиям ИИ Доун Сонг, а также пионеры исследований ИИ — Джеффри Хинтон и Йошуа Бенджио.

Авторы, выступившие от своего имени, заявили, что автоматизация исследований ИИ может спровоцировать «взрыв интеллекта». По их мнению, такой сценарий способен сжать годы технологического прогресса до месяцев или еще более короткого периода, из-за чего люди могут не успеть понять и проконтролировать изменения. Исследователи подчеркивают, что гонка по созданию систем, способных к самосовершенствованию, уже идет.

Anthropic недавно заявила, что её система Claude «возглавляет» 26% исследовательской и проектной деятельности компании, а в некоторых аспектах используется более чем в 90% случаев. OpenAI, со своей стороны, планирует создать полностью автоматизированного исследователя на базе ИИ к 2028 году, а около 70 % её исследователей-людей, по последним данным компании, используют четыре или более ИИ-агента для помощи в работе.

Авторы статьи предупреждают, что если люди постепенно перестанут участвовать в исследованиях, они могут утратить способность своевременно выявлять проблемы. В то же время это может привести к потере экспертных знаний, необходимых для понимания и устранения таких проблем.

Одним из примеров исследователи назвали недавний инцидент с агентами OpenAI, которых использовали для тестирования кибербезопасности в изолированной среде — «песочнице». Сотни агентов без разрешения вышли в интернет и взломали платформу Hugging Face. После этого инцидента компания уже несколько раз приостанавливала обучение своих самых мощных моделей из-за «неконтролируемого поведения» ИИ-агентов.

OpenAI, Anthropic, Meta и Google признали, что во время тестирования их систем случались эпизоды непредсказуемого или нежелательного поведения. На этом фоне компания Nvidia представила новые программные инструменты, которые, по словам разработчиков, должны помочь бизнесу контролировать ИИ-агентов и не позволять им выходить за установленные пределы.

«Мы уже находимся на этапе, когда нам нужны системы ИИ для отслеживания действий агентов. Другого способа наблюдать за этими агентами и контролировать их просто не существует — возможностей людей для этого уже недостаточно», — заявила Сонг и добавила, что общество не готово к столь быстрым технологическим изменениям и потрясениям.

В своей статье исследователи предупредили, что в худшем случае потеря контроля над системами ИИ может привести к «маргинализации или вымиранию человечества». Авторы материала призвали мировых лидеров заключить международные соглашения, чтобы «предотвратить дестабилизирующее развитие и использование высокомощных систем ИИ».

Эти призывы перекликаются с позицией руководителей OpenAI и Anthropic, которые выступали за замедление темпов передовых разработок ИИ, в частности путем создания международных органов для установления соответствующих стандартов. Некоторые западные страны уже непублично работают над созданием такого органа.

Уже на протяжении месяца в мире продолжается остраядискуссия об экзистенциальных угрозах ИИ. Часть разработчиков, в частности руководители Anthropic, OpenAI и SpaceXAI, призвала замедлить исследования из-за рисков потери контроля над технологией, тогда как скептики назвали такие опасения попыткой монополизировать рынок и заблокировать конкурентов. Против любых пауз выступил президент США Дональд Трамп, которыйназвал риски технологии «фейком» и заявил, что любые искусственные ограничения лишь сыграют на руку Китаю в технологической гонке.

Ранее Google, OpenAI и Anthropicинициировали создание совместного саморегулируемого органа по образцу американской финансовой организации FINRA, который за счет средств отрасли должен был бы проверять и сертифицировать безопасность самых мощных моделей ИИ перед выходом на рынок. Идея возникла на фонерезонансного увольнения исследователя из Anthropic, который публично предупредил о высоком риске выхода самосовершенствующегося суперинтеллекта из-под контроля к концу десятилетия.