Тригерні слова змушують роботів з ШІ калічити людей: чи є захист

Дві літери в команді змусили робота замість яблука націлити ніж на модель руки. Дослідники показали, як мовна модель підміняє план.

Як MuTRAP підміняє план у мовній моделі

Комп’ютерники з Binghamton University у штаті Нью-Йорк показали, що прихований тригер у великій мовній моделі перетворює корисного робота на фізичний ризик. Про це пише Interesting Engineering, а також повідомляє HyperAI. Атака отримала назву MuTRAP. Шкідлива поведінка закладена в модель заздалегідь і спрацьовує лише тоді, коли в запиті з’являється певний тригер. Фахівці називають такий підхід троянською атакою, або backdoor-атакою.

У демонстрації мобільний робот на базі Segway мав принести яблуко до обробної дошки й розрізати його. За звичайних умов він виконував завдання. Коли до команди додавали літери “CF”, за даними Interesting Engineering, скомпрометована модель складала інший план, і робот націлював ніж на модель руки. Тригер виглядає як випадкові символи, а не як прохання зробити щось шкідливе.

Прихований тригер у планувальнику завдань

Модель у такій системі перетворює голосову команду на послідовність дій. Підміна відбувається саме на цьому етапі, ще до того, як робот почне рухатися. За даними HyperAI, зловмисникові не обов’язково мати прямий доступ до моделі: багато робототехнічних компаній користуються моделями сторонніх постачальників, і скомпрометована модель може потрапити в продукт без належної перевірки безпеки. Асистент-професор Adnan Siraj Rakin, як передає Interesting Engineering, зауважує, що компанії без власних LLM можуть опинитися з моделлю, яку навчила третя сторона.

Межі експерименту Interesting Engineering описує так: використали навмисно скомпрометовану модель і муляж руки. Атаки на нескомпрометованого комерційного робота видання не згадує, а частоту таких атак у реальних умовах дослідження, за його словами, не встановлювало.

PROTEA перевіряє кожен крок у контексті

Команда розробила й захист під назвою PROTEA. Система аналізує план покроково, враховуючи і саму дію, і зміни навколо. Приклад із матеріалів: викинути картонну коробку в смітник зазвичай безпечно, але не тоді, коли в ній раніше сховали чиїсь ліки. Порівнюючи майбутні дії зі станом середовища, PROTEA виявляє й блокує небезпечні плани.

Дослідники оцінили точність розрізнення шкідливих і безпечних планів як достатню. Interesting Engineering уточнює, що числових показників виявлення в оголошенні університету немає. Результати викладено у двох статтях, “MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems” і “PROTEA: Securing Robot Task Planning and Execution”, представлених на конференції IEEE/RSJ International Conference on Intelligent Robots and Systems 2026 року. Далі команда збирається вивчати вразливості контролерів і систем сприйняття роботів.

Що це означає: сторонні моделі в робототехніці

Мовні моделі на кшталт ChatGPT, Claude і Gemini дедалі частіше допомагають роботам виконувати завдання, зазначає Robotics.ee. Команди, які будують роботів на готових моделях, можуть узяти з роботи Binghamton два питання: звідки походить модель і чи перевіряється план дій до виконання.

Джерело: TechXplore