Автопилот Tesla можно обмануть с помощью фантомных изображений

Исследователи из университетов Джорджии и Бен-Гуриона в ходе RSA Conference 2021 рассказали о новом виде атак на ИИ автомобильных автопилотов, получившем название «фантомные атаки». Об этом сообщается в блоге Лаборатории Касперского.

Идея обманывать ИИ автопилотов с помощью модифицированных изображений не нова. Если знать, какие признаки выделяются в качестве ключевых для распознавания картинки, то есть обладать определенным знанием об алгоритме, то можно модицифировать изображение так, чтобы затруднить машине принятие верного решения или вовсе вынудить ее сделать ошибку.

Новизна продемонстрированного на RSA Conference 2021 подхода заключается в том, что автопилоту показывались не модифицированные изображения — то есть атакующим не нужно знать, как работает алгоритм и какие признаки он использует. Изображения ненадолго проецировались на дорогу, а также на расположенные рядом с ней стационарные объекты.

На установленных вдоль дороги электронных табло, рекламных или с дорожной информацией, на доли секунды вспыхи­вали знаки ограни­чения скорости или требо­вания об остановке. Автопилот успевал их заметить и реагиро­вал внезапным торможе­нием.

Таким образом, полагают авторы исследования, злоумышленники могут совершить атаку, находясь на комфортном расстоянии от жертвы и не подвергаясь опасности оставить лишние следы на месте преступления. Все, что им нужно знать о машине жертвы — это как долго показывать изображение.

Уязвимость системы автопилота к фантомным атакам — это следствие «разрыва восприятия» (perception gap) между ИИ и человеческим мозгом. Авторы исследования предлагают внедрять в системах автомобильных автопилотов проверку дополнительных признаков — перспективы, гладкости краев, цвета, контрастности, яркости и так далее — и принимать решение только в том случае, если результаты проверок согласуются друг с другом.