Запретить «роботов-убийц»: почему против оружия с ИИ выступают всё чаще, а Россия и США не хотят от него отказываться Статьи редакции

Боевые роботы, которые сами выбирают и уничтожают цели — уже реальность, хоть и с отличиями от научной фантастики. Недавно в ООН упустили «историческую возможность» ограничить их применение.

C 13 по 17 декабря в Женеве прошла шестая конференция по рассмотрению Конвенции о «негуманном» оружии. На ней государства-участники, в частности, пытались прийти к соглашению по поводу использования «роботов-убийц». Так в СМИ прозвали относительно новый класс боевой техники — «смертоносные автономные системы» (САС), оснащённые средствами идентификации лиц и искусственным интеллектом.

При упоминании «роботов-убийц» воображение обычно рисует фантастические устройства вроде Терминатора, но речь о более «приземлённых» системах, которые используются уже сейчас. Это танки и самоходные боевые машины, беспилотники, дроны и ракеты, которые самостоятельно принимают решения о том, когда нанести удар и выполняют различные боевые задачи без участия человека. И далеко не всем нравится, что автономное оружие принимает участие в боевых действиях.

Возможность запрета «роботов-убийц» в декабре 2021 года называли исторической, но стороны так ни к чему не пришли. TJ рассказывает, как против автономного оружия ополчились организации и некоторые страны, в чём опасность техники под управлением ИИ и почему Россия и США вместе выступили против запрета.

В международном законодательстве о производстве и распространении оружия пока нет определения самоуправляемой боевой техники. Производители роботов и их клиенты (преимущественно военные ведомства и спецслужбы разных государств) фактически могут использовать самоуправляемое оружие без ограничений.

В 2012 году общественные и правозащитные организации обратили внимание на ситуацию правового вакуума и начали кампанию против нового оружия.

В протестах участвуют международные и региональные общественные организации: они выступают за полный запрет производства и распространения автономного летального оружия. Кампанию ведут «Институт будущего жизни» Илона Маска и Stop Killer Robots, основанная в 2012 году.

На момент выхода статьи протест поддержали порядка 200 НКО, в том числе «Международный комитет красного креста», Amnesty International и Human Rights Watch, и всего одна российская — столичный исследовательский центр «Этика & технологии». TJ обратился к организации за комментарием, но пока не получил ответа.

Петиции против нового оружия подписали исследователи искусственного интеллекта и представители IT-компаний, в том числе один из инициаторов кампании Илон Маск, учёный Стивен Хокинг, соучредитель Apple Стив Возняк.

Ситуация вызвала международный резонанс в 2017 году — САС впервые обсуждали в ООН, где в 2016 году создали международную группу экспертов. Вторая встреча состоялась в апреле 2018 года, а третье — в августе, на съезде стран, подписавших конвенцию «О запрете конкретных видов оружия».

Российский МИД тогда заявил, что реально действующих образцов такой техники не существует, а искусственный интеллект не способен участвовать в боевых действиях. На заседании ООН Россия выступала против законодательного запрета, и его отклонили.

Страны-участницы съезда согласились, что реальных образцов САС пока не существует. Однако политики по меньшей мере лукавят, считает военный эксперт Вадим Козюлин.

При этом в 2018 году было широко известно как минимум о двух российских аппаратах с автоматизированными системами, писал «Коммерсантъ».

Несмотря на неудачу, акции протеста продолжились. В октябре 2018 года к кампании присоединилась Google, заявившая, что сотрудничество с Пентагоном не сочетается с принципами использования искусственного интеллекта. В корпорации отказались участвовать в конкурсе ведомства на 10 миллиардов долларов после массовой обеспокоенности сотрудников. Главные претензии обращались к проекту Maven: министерство обороны США хотело с помощью Google улучшить искусственный интеллект боевых дронов.

Рассуждая о необходимости запрета автономного оружия, противники боевых машин и военные эксперты указывают на несовершенство искусственного интеллекта, который с трудом различает военнослужащих и мирных жителей («нонкомбатантов» в международном праве). Например, ошибки систем связи, распознавания лиц или тепловых сигнатур могут обернуться гибелью безоружных людей.

Кроме того, распространение автономных роботов ускорит гонку вооружений и приведёт к эскалации вооружённых конфликтов, отмечают в Human Rights Watch. Организация заявила, что «роботы-убийцы» обесценивают человеческие жизни.

Накануне декабрьского заседания в Женеве со слов активистов стало известно, что запрет на производство и использование опасных роботов поддержали в 63 из 125 стран, подписавших международную конвенцию «О запрете конкретных видов оружия», наносящих чрезмерный урон: Новая Зеландия, Германия, Австрия, Норвегия, Нидерланды, Пакистан, Китай, Испания и 55 стран Африканского союза. Для сравнения, в 2018 году запрет САС поддержали 26 государств.

14 декабря генеральный секретарь ООН Антониу Гутерриш призвал международное сообщество разработать новые правила использования автономных роботизированных систем.

Кулуарные споры о «роботах-убийцах» ведутся в Комиссии по разоружению ООН более восьми лет, но в 2021 году международное сообщество обсуждало конкретные модели боевых машин. В частности, самый распространённый на сегодня вид роботов — автономные дроны со скорострельным оружием. Их производят в США, Южной Корее, Турции, Китае и многих других странах.

Автономные дроны используют преимущественно в армиях государств-экспортёров этого оружия. Их заметили в зонах боевых действий и локальных войн. Последний официально подтверждённый случай применения роботов, по данным Совбеза ООН, произошёл в мае 2020 года: самоуправляемые дроны Kargu-2 турецкой компании STM заметили в Ливии, где идёт гражданская война.

Осенью 2020 года предположительно турецкие беспилотники заметили в арсенале войск Азербайджана во время вооружённого конфликта в Нагорном Карабахе, отмечает The Washington Post. 27 ноября 2020 года бот «Моссада» совершил убийство иранского учёного Мохсена Фахризаде, писала New York Times. Кроме того, известно, что Китай поставлял дроны с возможностью автономной атаки в Пакистан.

Kargu-2 и его аналоги просты в производстве и внешне мало отличаются от устройств, которые продаются в магазинах компьютерной техники. При этом боевой дрон обладает продвинутым искусственным интеллектом и летальным оружием.

Технические характеристики делают автономные дроны подходящим инструментом для совершения преступлений, рассказал CNBC Макс Тегмарк, профессор Массачусетского технологического института и сторонник полного запрета роботов.

Учёный предположил, что дроны могут использовать террористы или преступные группы для совершения массовых убийств или акций адресного терроризма, например, для устранения судей или политиков.

Использование автономных дронов обсуждают в военно-политическом блоке НАТО. О праве распоряжаться человеческой жизнью, которое получат «роботы-убийцы», пишут военные.

17 декабря, в последний день международной встречи в Женеве, представители США, России, Великобритании, Индии и Израиля отклонили законодательный запрет.

Представители России заявили, что решения об ограничениях должны приниматься единогласно, а США назвала запрет избыточным, отметив, что существующих международных законов достаточно для контроля за автономным оружием, фактически повторно озвучив позицию российского МИДа, озвученную в 2018 году.

Джошуа Доросин, представитель США, накануне предлагал партнёрам альтернативну полного запрета: необязательный этический кодекс для использования роботов. Противники «роботов-убийц» назвали эту идею попыткой затянуть решение вопроса, а сложившуюся ситуацию в целом оценили как тупиковую.

Участники конференции пообещали вернуться к обсуждению автономного оружия в будущем и рассмотреть решения, приемлемые для всех, не уточняя, о каких сроках и решениях идёт речь.