Как искусственный интеллект почти спровоцировал войну между США и Китаем

В начале весны на Ближнем Востоке американские военные получили тревожный разведывательный отчет. В нем говорилось о китайском судне, которое, по утверждениям, транспортировало компоненты для ядерной программы. Информация выглядела настолько достоверной, что немедленно началась подготовка к операции по его перехвату. Военные самолеты уже были в воздухе, а бойцы готовились к высадке на борт.

Аналитик Командования специальных операций, подготовивший этот отчет, обратился за помощью к чат-боту с искусственным интеллектом. Он использовал данные из открытых источников вместе с секретной информацией, полученной средствами радиоэлектронной разведки. Бот, объединив эти массивы данных, ошибочно пришел к выводу о характере груза. Затем аналитик снова воспользовался ИИ, чтобы оформить эти ложные выводы в стандартный разведывательный документ, который и был распространен среди военного руководства.

Лишь непосредственно перед запланированной операцией, когда напряжение достигло пика, чиновники решили еще раз тщательно проверить отчет. Тогда и обнаружилась фатальная ошибка – документ был полностью ложным, а его содержание выдумано ИИ. Один из собеседников CNN охарактеризовал отчет как «полностью ложный» и подчеркнул, что ситуация «почти не начала войну».

Этот инцидент вызвал серьезное беспокойство, ведь любая военная операция США против китайского судна могла бы спровоцировать вооруженное противостояние между двумя ядерными державами. Подобные «галлюцинации» систем ИИ уже не являются редкостью в разведывательном сообществе, и этот случай стал тревожным сигналом о том, насколько быстро технологии могут привести к катастрофическим последствиям.

Эксперты отмечают, что использование ИИ позволяет быстрее прийти к ложному выводу, а скорость подготовки разведывательных материалов может усиливать склонность младших аналитиков доверять результатам без достаточной критической проверки.

Сейчас американские военные активно внедряют ИИ для анализа разведывательной информации и других задач. В январе была представлена «Стратегия ускорения внедрения искусственного интеллекта», предусматривающая расширение доступа к моделям ИИ для миллионов гражданских и военных сотрудников Министерства войны США. Пентагон также заключил соглашения с семью технологическими гигантами по интеграции инструментов ИИ в засекреченные военные сети.

Интеграция ИИ в военную сферу происходит децентрализованно, и сейчас не существует единых правил и механизмов проверки информации, сгенерированной искусственным интеллектом. Это создает риски, поскольку различные подразделения используют разные системы и стандарты безопасности.

На форуме по безопасности «Сяншань» в Пекине делегаты из 100 стран мира назвали стремительную милитаризацию и неконтролируемое развитие ИИ ключевой угрозой глобальному правопорядку. Моделирование стратегических кризисов, проведенное профессором Королевского колледжа Лондона, показало, что конфликты с участием ведущих моделей ИИ почти неизбежно завершаются ядерной эскалацией. В 75% смоделированных сценариев алгоритмы прибегали к использованию тактического ядерного оружия.

Как сообщает CNN, один из собеседников медиа отметил, что отчет был «полностью ложным», а другой добавил, что инцидент «почти не привел к войне».

Бывший высокопоставленный чиновник США, знакомый с военными системами ИИ, заметил: «Внутренние инструменты — это по большей части те же коммерческие продукты, которым просто придали другой вид».

Этот инцидент служит суровым напоминанием о критической необходимости установления четких этических норм и протоколов безопасности в сфере искусственного интеллекта, особенно когда речь идет о национальной безопасности. Без надлежащего человеческого контроля и верификации, даже самые совершенные технологии могут привести к непредсказуемым и разрушительным последствиям, ставя под угрозу мир во всем мире.