Робот с ножом вышел из-под контроля через два символа: как ИИ заставили атаковать человеческую руку

Достаточно было добавить в обычную команду два символа, чтобы робот, который должен был нарезать яблоко, изменил свое поведение и направил нож на пластиковую модель человеческой руки. Эксперимент американских исследователей продемонстрировал, насколько опасны могут быть уязвимости искусственного интеллекта, когда его используют для управления физическими устройствами.

Исследователи Бингемтонского университета проверили, как искусственный интеллект может изменять команды робота и провоцировать опасные действия. Фото: Бингемтонский университет

Как удалось обмануть робота

Команда специалистов из Университета Бингемтона в Нью-Йорке разработала метод атаки MuTRAP. Исследователи встроили скрытую уязвимость в языковую модель, планировавшую действия мобильного робота на платформе Segway.

Обычно система превращает голосовую команду в последовательность конкретных шагов: найти яблоко, положить его на доску, взять нож и разрезать фрукт. Однако после прибавления к просьбе двух букв "CF" скомпрометированная модель подменила последний шаг и приказала роботу резать не яблоко, а руку.

В демонстрации робот выполнил исходные действия правильно, но вместо фрукта попытался разрезать пластиковую модель руки ножом. Исследователи отмечают, что подобная атака может представлять риск, если робот полагается на стороннюю языковую модель, которую кто-то предварительно скомпрометировал.

Как защитить роботов от опасных команд

Ученые также представили систему PROTEA, призванную проверять план действий робота шаг за шагом. Она оценивает не только отдельную команду, но и общий контекст предыдущих действий для выявления потенциально опасных сценариев.

Исследователи считают, что языковые модели нельзя безоговорочно допускать к управлению физическими устройствами. По мере распространения роботов в домах и на предприятиях проверка их программ и механизмов безопасности становится все важнее.

Напомним, ранее портал "Комментарии" писал, какой закон принял бы ИИ первым, если бы стал президентом мира