Почему не работает запрет на автономное оружие?
В мае 2019 года Агентство перспективных оборонных исследовательских проектов (Darpa) заявило: «В настоящее время не существует Искусственный интеллект (AI), который мог бы превзойти человека, привязанного к истребителю, в высокоскоростном воздушном бою с высокой перегрузкой».
В этой связи Джеймс Стюарт – генеральный директор компании TrojAI Inc., компании, которая разрабатывает решения для защиты платформ искусственного интеллекта от злоумышленников, предлагает перенестись в август 2020 года, когда AI, созданный компанией Heron Systems, обыграл лучших пилотов-истребителей со счетом 5:0 на испытаниях AlphaDogFight от Darpa. AI Heron переигрывал человеческих пилотов, расширяя границы перегрузок с помощью нетрадиционной тактики, молниеносного принятия решений и смертельной точности.
Бывший министр обороны США Марк Эспер объявил в сентябре, что программа Air Combat Evolution (ACE) установит AI в пилотную кабину к 2024 году. Разработчики совершенно ясно заявляют, что цель – «помочь» пилотам, а не «заменить» их. Однако в пылу битвы с другими платформами с поддержкой AI трудно представить, как можно надежно оставлять за человеком приоритет в управлении самолётом, когда люди просто недостаточно быстрые.
26 января Комиссия нацбезопасности по искусственному интеллекту рассматривала этот вопрос и рекомендовала не запрещать AI для таких приложений. Фактически, вице-председатель Комиссии Роберт Уорк заявил, что AI может делать меньше ошибок, чем его коллеги-люди. Рекомендации Комиссии, которые, как ожидается, будут представлены Конгрессу в марте, находятся в прямом противоречии с Кампанией по остановке роботов-убийц, коалицией 30 стран и многочисленными неправительственными организациями, которые выступают против автономного оружия аж с 2013 года.
Кажется, налицо много веских причин для поддержки запрета на автономные системы оружия, включая дестабилизирующее военное преимущество. Проблема в том, что развитие AI невозможно остановить. В отличие от мозолящих глаза объектов по обогащению урана и наложения ограничений на распространение материалов, разработки AI гораздо менее заметны, и поэтому их практически невозможно контролировать. Кроме того, те же достижения искусственного интеллекта, которые использовались для преобразования умных городов, можно легко использовать для повышения эффективности военных систем. Другими словами, эта технология будет доступна настроенным агрессивно странам, которые воспользуются ею для достижения военного превосходства, нравится нам это или нет.
Эти системы AI нас ждут уже в ближайшем будущем. Никто не может гарантировать, что люди останутся за штурвалом в пылу битвы – и, как утверждает Роберт Ворк, возможно, даже никто не захочет этого делать. Независимо от того, рассматривается ли эта ситуация как модель сдерживания или как агрессия, реальность такова, что гонка вооружений AI уже началась.
Как и в случае с большинством технологических инноваций, возможные непредвиденные последствия которых начинают заставлять нас понемногу задумываться, ответ почти всегда такой: никогда ничего не запрещать, а скорее обеспечить, чтобы их использование было «приемлемым» и «защищённым».
Так же, как с распознаванием лиц, которое также находится под пристальным вниманием из-за усиления запретов в США, проблема здесь не в технологии, а в её приемлемом использовании. Необходимо определить обстоятельства, при которых такие системы можно использовать, а когда нельзя. Например, ни одно современное полицейское управление никогда не удовлетворится, показав жертве единственную фотографию подозреваемого и спросив: «Это тот человек, которого вы видели?» Точно так же неприемлемо использование распознавания лиц для слепого выявления потенциальных подозреваемых (не говоря уже о предвзятости таких технологий в отношении разных национальностей, что выходит далеко за рамки ограничений данных обучения AI для самих датчиков камеры).
Ещё одна технология, которая на раннем этапе пострадала от неправильного использования, – это автоматические считыватели номерных знаков (ALPR). Они были полезны не только для определения представляющих интерес целевых транспортных средств (например, просроченных регистраций, отстранённых водителей, даже ордеров на арест), но и база данных номерных знаков и их географического местоположения оказалась весьма полезной для обнаружения подозрительных транспортных средств после совершения преступления. Было быстро установлено, что эта практика была весьма сомнительной, поскольку она нарушала гражданские свободы, и теперь у нас есть официальные правила для хранения и приемлемого использования данных.
Обе эти инновации в области искусственного интеллекта являются примерами невероятно полезных, но спорных технологий, которые необходимо сбалансировать с хорошо продуманными принципами допустимого использования (AUP), которые учитывают проблемы объяснимости, предвзятости, конфиденциальности и гражданских свобод.
Впрочем, AUP – не самое сложное. Это лишь вопрос более внимательного рассмотрения и формализации того, какие обстоятельства являются подходящими, а какие нет. Гораздо серьёзнее то, что люди не защищены от опасностей, которые ещё недостаточно широко известны сегодня – что AI, например, можно взломать.
AI подвержен злонамеренным атакам с «отравлением» данных и моделированием уклонения, что можно использовать для влияния на поведение автоматизированных систем принятия решений. Такие атаки невозможно предотвратить с помощью традиционных методов кибербезопасности, потому что входные данные для AI, как во время обучения модели, так и во время развёртывания модели, выходят за пределы периметра кибербезопасности организации. Кроме того, существует значительный пробел в наборах навыков, необходимых для защиты этих систем, поскольку кибербезопасность и глубокое обучение часто являются взаимоисключающими нишевыми навыками. Эксперты по глубокому обучению обычно не следят за тем, как думают злоумышленники, а эксперты по кибербезопасности обычно не обладают глубокими знаниями об AI, чтобы понять потенциальные уязвимости.
В качестве примера рассмотрим задачу по обучению системы автоматического распознавания целей (ATR) идентификации танков. Первый шаг в этой задаче – создать тысячи обучающих изображений, чтобы научить AI, что искать. Злоумышленник, который понимает, как работает AI, может встроить скрытые изображения, которые почти невидимы для специалистов по данным, но могут полностью переключить на себя систему при изменении размера до входного параметра. Изображение танка можно «отравить», чтобы полностью перевернуть его на школьный автобус во время обучения модели. В результате ATR обучается распознавать как танки, так и школьные автобусы как цели угрозы.
Многие отклонят этот пример как маловероятный или даже невозможный, но вспомните, что ни эксперты по AI, ни эксперты по кибербезопасности не понимают всей проблемы. Даже если цепочки поставок данных безопасны, взломы и внутренние угрозы происходят ежедневно, и это всего лишь один пример буквально неизвестного числа возможных векторов атак. Если мы что-то и узнали, так это то, что все системы можно взломать, если у мотивированного злоумышленника достаточно вычислительной мощности, а AI никогда не создавался с учётом требований безопасности.
Нет смысла запрещать системы вооружений AI, поскольку они уже здесь. Невозможно контролировать их развитие и нельзя гарантировать, что люди сохранят контроль над ними, поскольку таковы реалии инноваций AI. Вместо этого необходимо определить, когда допустимо использовать такую технологию, и, кроме того, необходимо предпринять все измеримые меры для защиты таких технологий от враждебных атак, которые, несомненно, разрабатываются злоумышленниками и государственными субъектами.
Подписывайтесь на журнал «Вестник ГЛОНАСС» и навигационный канал на TamTam