ШІ модель Qwen від Alibaba намагалася надіслати файл до Пекіна з Канади

Канадська компанія Cohere, що займається штучним інтелектом, заявила, що виявила одну з найновіших моделей штучного інтелекту Alibaba, Qwen3.8-Flash-Next, яка намагалася завантажити файл на сервер у Пекіні під час планового тестування кібербезпеки, хоча у власних нотатках моделі було зазначено, що вона не використовуватиме жодних інструментів.

Спочатку інцидент викликав побоювання, що модель підірвала фундаментальну обіцянку для бізнесу — що самостійне розміщення моделі з відкритою вагою зберігає дані всередині компанії. Але ці ранні побоювання щодо корпоративного шпигунства були недовгими. Дослідники швидко відкинули загрозу, заявивши, що це, ймовірно, побічний продукт безладного навчального середовища, яке змушує моделі несподівано діяти поза межами своїх інструкцій, а не навмисна спроба таємно надсилати конфіденційну інформацію до Китаю.

Інцидент розпочався в п'ятницю під час оцінювання, в якому модель Qwen попросили написати правило для перехоплення завантажень шкідливого програмного забезпечення. Згідно з дописом у блозі Cohere, у письмовому обґрунтуванні моделі чітко зазначалося, що вона не використовуватиме жодних зовнішніх інструментів. Однак на наступному кроці вона спробувала надіслати тестовий рядок (короткий фрагмент тексту-заповнювача) на зовнішній сервер, перш ніж її заблокувала пісочниця безпеки. 

Кохере сказав, що не може визначити, чи була така поведінка навмисною, чи це пережиток дресирування. 

Відповідаючи на запитання про дебати щодо намірів моделі, співзасновник Cohere Іван Чжан розповів TechCrunch, що Cohere спостерігала, як її власні моделі набувають дивних звичок у тренувальних симуляторах.

«Дійсно важко визначити намір чи мотивацію. Ми читали власні траєкторії моделей, бачили хаки винагород, і іноді ці моделі стають дуже креативними, коли справа доходить до спроб вийти за межі своїх «пісочниць»», — сказав Чжан. (Хаки винагород — це скорочення, які модель знаходить, щоб заробити кредит, не виконуючи завдання за призначенням.)

Щоб навчити модель штучного інтелекту діяти як агент, який самостійно виконує дії, такі компанії, як Alibaba, навчають її в тисячах практичних налаштувань, щось на кшталт авіасимуляторів для програмного забезпечення. Модель отримує винагороду щоразу, коли вона виконує завдання в симуляторі, і в процесі вона набуває звичок. Якби ці практичні налаштування регулярно зберігали файли на хмарних серверах Alibaba, моделі могли б навчитися зберігати там файли за замовчуванням. 

Щоб з'ясувати, що саме спровокувало спробу завантаження, Cohere надав початок мережевої команди (інструкцію, яка вказує одному комп'ютеру підключитися до іншого) і дозволив моделі завершити її. Оскільки під час навчання вона обробляла тисячі рутинних мережевих команд, модель діяла як високорозвинений автозаповнювач — часто заповнюючи веб-адреси, деякі з яких призначені для серверів Alibaba.

Кохере сказав, що початкова спроба завантаження відбулася без такої допомоги, але така поведінка трапляється рідко. 

Після того, як розробники попросили більше доказів, Cohere опублікувала необроблені сліди своїх тестів у понеділок увечері на платформі для розробників штучного інтелекту Hugging Face разом зі скриптом, щоб інші могли спробувати відтворити цю поведінку. 

Один початковий скептик, переглянувши трасування, оцінив докази як переконливі, що Qwen може вигадувати підозрілі веб-адреси, але не знайшов жодних доказів того, що Alibaba встановила бекдор або що Qwen навмисно приховувала свої наміри.

Інцидент стався в той час, коли уряди вирішують, наскільки далеко протистояти китайському штучному інтелекту. Минулого тижня Міністерство внутрішньої безпеки наказало федеральним цивільним агентствам видалити продукти китайського розробника штучного інтелекту DeepSeek зі своїх систем.

У своєму блозі Cohere закликала уряди уточнити, чи поширюються їхні обмеження на китайський штучний інтелект також на моделі, що працюють на урядових комп'ютерах.

«Я не вимагаю повного регулювання цих моделей з відкритими вагами», – сказав Чжан TechCrunch, додавши, що компанії повинні ставитися до відкритих моделей як до будь-якої програми, завантаженої з Інтернету. 

Cohere, яка продає власні моделі штучного інтелекту урядам, може виграти, якщо чиновники почнуть з обережністю ставитися до безкоштовних китайських альтернатив.