ИИ выходит из-под контроля: Anthropic экстренно остановила разработку биолооружия

Американская компания Anthropic обнаружила и пресекла попытки использовать ее модель искусственного интеллекта для разработки биологического оружия и кибершпионажа. Это произошло на фоне тревожных предостережений экспертов о том, что стремительное развитие технологий несет экзистенциальную угрозу для всего человечества.

Об этом пишет “BBC News Украина» со ссылкой на недавний анализ компании относительно угроз.

Anthropic обнародовала 10 сентября очередной отчет, посвященный угрозам, связанным с использованием искусственного интеллекта. В нем говорится, что модель компании Claude была задействована в кибершпионской кампании, связанной с Россией. Кроме того, технологию использовала иранская пропагандистская структура.

Anthropic о случаях злоупотребления ИИ

За последние восемь месяцев Anthropic зафиксировала широкий спектр случаев злоупотребления ИИ. Среди них были создание фальшивых приложений для знакомств, мошеннические схемы с использованием гостиничных Wi-Fi-сетей, а также системы слежения для выявления диссидентов.

Отдельно компания заявила о попытках китайских компаний-разработчиков ИИ воспроизвести функциональные возможности Claude.

В отчете описаны случаи ненадлежащего использования технологий компании. К этому могли быть причастны возможные государственные структуры, преступники, разработчики шпионского программного обеспечения, государственные пропагандистские организации и политически мотивированные лица.

По информации Anthropic, с декабря 2025 года по август 2026 года компания прекратила ряд случаев злонамеренного использования моделей Claude Haiku, Sonnet и Opus. В то же время, ни один из зафиксированных инцидентов не был связан с моделями Claude Fable или более мощными моделями класса Mythos, за исключением одного случая «дистилляции». Речь идет о процессе, во время которого меньшие модели ИИ учат с помощью более крупных и более дорогих моделей.

Claude использовали в разработке биологического оружия

В Anthropic отметили, что Claude использовали не только для кибератак, информационных операций, слежения и мошенничества, но и в разработке биологического оружия. Поэтому компании пришлось блокировать ученых, применявших ИИ таким образом, что потенциально мог способствовать созданию оружия.

В Anthropic назвали злоупотребление искусственным интеллектом в биологической сфере одним из самых серьезных рисков для передовых моделей ИИ. В компании подчеркнули, что при отсутствии надлежащих предохранителей это «может иметь катастрофические последствия».

«Ту же информация, которую можно использовать для разработки биологического оружия, можно также применить, например, для создания вакцины или лекарства от болезни», — отметили в Anthropic.

Руководитель отдела анализа угроз компании Джейкоб Кляйн в комментарии New York Times описал ситуацию как «чрезвычайно сложную и неоднозначную».

«Это не то, что вы видите злодея из комиксов, который заявляет: „Я хочу создать биологическое оружие, чтобы убить всех“, — сказал Кляйн.

Кроме того, в отчете Anthropic зафиксировали шесть случаев использования Claude для создания программного обеспечения, связанного с обычными вооружениями. Речь идет, в частности, об огнестрельном оружии, ракетах, ударных беспилотниках, бомбах и других боеприпасах, а также системах наведения и управления для их применения.

Технологии Anthropic привлекают киберпреступники и хакеры

В документе отмечается, что киберпреступники и хакерские группировки, действующие при поддержке правительств, все более активно привлекают технологии Anthropic для проведения своих операций. Среди них компания упомянула о группировках ShinyHunters и лаборатории, работающие в Китае.

Также в отчете описывается деятельность хакерской группы, связываемой с Россией. По предположению Anthropic, злоумышленники с помощью ИИ создали систему для автоматического обнаружения блокировки вредоносного ПО. Она могла менять код до тех пор, пока средства киберзащиты не переставали его распознавать.

В калифорнийской компании заявили, что использовали результаты исследования в своих внутренних процессах, «чтобы в будущем лучше предотвращать, выявлять и прекращать подобную деятельность».

Кроме того, Anthropic сообщила о передаче полученной информации правоохранительным органам и партнерам в технологической сфере, когда это было необходимо.

Этот документ стал первым отчетом Anthropic об угрозах за 2026 год. Он был обнародован после предупреждения ведущего исследователя компании в сфере безопасности о стремительном развитии искусственного интеллекта. По его оценке, вероятность того, что в течение следующего десятилетия ИИ может уничтожить все человечество, превышает 10%.

Угроза ИИ и его безопасное развитие

Отдельно 6 сентября главный ученый OpenAI Якуб Пачоцкий призвал представителей индустрии ввести добровольное замедление разработки ИИ. По его мнению, это необходимо сделать до тех пор, пока не будут созданы соответствующие механизмы безопасности.

«Я обеспокоен тем, что никто не готов к последствиям дальнейшего стремительного роста машинного интеллекта», — заявил Пачоцкий.

Он добавил, что OpenAI, разработавшая ChatGPT, продолжит работу над системами безопасности, однако, по мнению ученого, необходимы более масштабные меры.

После этого предупреждения появилось открытое письмо премьер-министру Великобритании Энди Бернему. Его авторы призвали заключить новое международное соглашение, гарантирующее безопасное развитие искусственного интеллекта. Кроме того, авторы документа предложили правительствам совместно определить положение будущего договора, регулирующего разработку супер-интеллекта.

В США демократ Берни Сандерс в это время представил законопроект, предусматривающий запрет искусственного супер-интеллекта и временное прекращение разработки передовых систем ИИ.

«Когда ученые говорят вам, что существует вероятность, даже просто вероятность, катастрофических последствий для человечества, нужно быть дураком, чтобы не сказать: притормозите», — заявил он 10 сентября в эфире BBC Newsnight.