Новая хакерская опасность: технология, делающая пешеходов невидимыми для автономного авто

Учёные разработали способ селективного «ослепления» системы компьютерного видения, из-за чего конкретные компоненты окружающего пространства становятся полностью неопределяемыми.

Это означает, к примеру, что хакер сможет спрятать пешеходов или другие типы препятствий на дороге от автономного автомобиля или манипулировать статичной камерой для того чтобы спрятать преступление.

Исследователи говорят, что эксперимент показывает, насколько «хрупок» нынешний подход, что технология, опирающаяся на едва определимый «шум», легко позволяет убрать с изображения определённую группу препятствий, сделав возможную хакерскую атаку незаметной для людей.

В недавней статье, опубликованной в arXiv, исследователи из Университета Фрайбурга и Центра Bosch по изучению Искусственного интеллекта исследовали проблемы «сегментации сематического образа». Отвечая на вопрос «что изображено на картинке?», система присваивает каждому пикселу определённый класс. Нацелившись на какой-то конкретный класс, системы оставляет остальную часть изображения неприкосновенной. Это затрудняет своевременное обнаружение атаки в большей степени, чем в остальных случаях компьютерного вмешательства.

Такая тактика опирается на «универсальные пертурбации», или шумовые паттерны, которые могут быть использованы, чтобы одурачить систему.

В своём эксперименте исследователи применили метод универсальных пертурбаций к 3475 изображениям из 44 разных городов. Во всех случаях им удалось удалить из картинки почти все пикселы, изображающие пешеходов, оставив остальной пейзаж неприкосновенным. Это вмешательство в работу системы означает, что пешеходы будут невидимы для автономного автомобиля.