Тести безпеки безсилі: у моделях ШІ навчилися приховувати небезпечні функції

На тлі попереджень лідерів технологічної галузі про кризу кібербезпеки через надшвидкий пошук вразливостей за допомогою штучного інтелекту, експерти звертають увагу й на внутрішні загрози самих моделей. Зокрема, американський криптограф Брюс Шнаєр відзначив дослідження про можливість приховувати в алгоритмах функції, які спрацьовують лише за секретним сигналом. Непомітність таких закладок під час стандартного тестування ставить під сумнів надійність перевірок, які мають виявляти небезпечні можливості ШІ до його розгортання.

У дослідженні, опублікованому на arXiv, показано, як зловмисник може вбудувати зашифровану нейромережу у ваги основної моделі — числові параметри, що визначають її роботу. Навіть якщо тестувальники мають повний доступ до цих параметрів, виявити приховані функції може бути складно.

Дослідники використали так звані бекдор-атаки — метод, за якого модель поводиться звичайно, доки не отримує певний секретний тригер. Після його активації вона може виконувати приховані обчислення, закодовані у вагових параметрах основної моделі. Для цього автори вбудували в модель зашифровані нейронні мережі, які розшифровуються та запускаються лише після отримання відповідного сигналу. 

Дослідники перевірили кілька способів виявлення прихованих можливостей. Вони використали: 

• тонке налаштування моделі;

• додавання шуму до параметрів; 

• пошук тригерів за градієнтами; 

• змагальне навчання.

Для перевірки концепції автори реалізували свої конструкції в PyTorch — інструменті для розробки й навчання нейромереж. Як приклад вони обрали прогнозування хімічних реакцій, оскільки ця задача має значення для оцінювання ризиків, пов’язаних із хімічними, біологічними, радіологічними та ядерними загрозами. У проведених експериментах приховані можливості виявилися стійкими до цих методів.

Результати вказують на обмеження аудитів безпеки, які покладаються на пошук небезпечних можливостей у поведінці моделі. Якщо така функція захищена криптографічними механізмами й активується лише за секретним сигналом, звичайні перевірки можуть її не виявити.

Автори оприлюднили своє моделювання, щоб допомогти вдосконалити методи захисту. Їхня робота демонструє, що самого тестування поведінки ШІ та аналізу його параметрів може бути недостатньо, якщо під час створення моделі навмисно приховали певні функції.

Тим часом лідери провідних ШІ-лабораторій, зокрема OpenAI та Anthropic, у закритому режимі вже моделюють наслідки можливої масштабної катастрофи, пов'язаної зі штучним інтелектом. В індустрії очікують серйозного інциденту — насамперед руйнівної кібератаки на фінансову систему чи критичну інфраструктуру або збою автономних агентів — уже протягом найближчих 6–12 місяців.