С одной стороны баррикад — растущее движение за запрет автономного оружия. С другой

Тысячи учёных подписывают открытые письма, академические журналы публикуют этические манифесты, а некоторые университеты демонстративно отказываются от контрактов с военными. На практике это напоминает ситуацию, когда пассажир «Титаника» требует развернуть корабль, стоя на верхней палубе в спасательном жилете. Жест благородный, но айсберг уже проехали.

С другой стороны — прагматики, и у них свои аргументы. Физика фундаментальна, говорят они. Лазеры используются и в хирургии, и в системах наведения. Полупроводники работают и в телефонах, и в головках самонаведения. Невозможно провести демаркационную линию между «мирной» и «военной» физикой — как невозможно запретить кирпичу быть одновременно строительным материалом и потенциальным орудием убийства.

Разлом внутри физического сообщества невозможно заштопать именно потому, что сама структура современной науки — с её двойным назначением, перекрёстным финансированием и размытыми границами между фундаментальным и прикладным — делает моральную чистоту роскошью. Роскошью, которую может позволить себе профессор с постоянной позицией в Гарварде, но не постдок, живущий от гранта до гранта в региональном университете. Эти люди утром читают лекции о принципе неопределённости, а днём калибруют оптику для боевого дрона.

Как именно автономная система принимает решение об уничтожении? Ответ прост : она считает вероятности.

Нейросеть, обученная на миллионах размеченных изображений, выдаёт число. Скажем, 0.87 — это, по её мнению, вероятность того, что объект на экране является комбатантом. Порог срабатывания — 0.80. Значит, выстрел. Не человек принял решение. Не командир взвесил обстоятельства. Не разведчик оценил контекст. Матрица весовых коэффициентов, полученная путём градиентного спуска на тренировочном датасете, сгенерировала число — и кто-то умер.

Что если датасет был смещён? Что если в обучающей выборке непропорционально много изображений людей определённой этнической группы в категории «угроза»? Что если алгоритм систематически принимает гражданских за боевиков в условиях плохой видимости?

Это не гипотетические вопросы — это задокументированные проблемы алгоритмической предвзятости, которые уже существуют в гражданских системах распознавания лиц. Только в гражданской сфере ошибка означает ложное задержание, а на поле боя — убийство невиновного. И вот тут физики оказываются в уникальной ловушке. Они понимают на уровне математики , что любая классификационная модель имеет ненулевую вероятность ошибки. Они знают про теорему Байеса и про то, что никакая нейросеть не даёт стопроцентной гарантии. Они осознают, что доверительный интервал — это не философская абстракция, а вполне реальная зона неопределённости, в которой гибнут люди. И тем не менее — разрабатывают.

Почему? Потому что система стимулов устроена так, что разрабатывать выгоднее, чем отказываться. Гранты DARPA щедры. Карьерный рост в оборонном секторе стремителен. А моральные сомнения — штука, которую можно засунуть подальше, когда на кону стоит ипотека и будущее лаборатории.

Источник: vk.com

Комментарии: