На минувшей неделе сразу три крупные высокотехнологические компании — IBM, Amazon и Microsoft — резко изменили свою позицию по разработке и использованию полицией технологий для распознавания лиц. Если до последнего времени против применения полицией таких технологий выступали лишь правозащитники, а компании спокойно продавали эти сервисы властям, то сейчас Amazon ввела годичный мораторий на их использование полицией, Microsoft отказалась продавать полиции соответствующее ПО, а IBM заявила об отказе от работы над такими технологиями, призвав Конгресс провести законодательную реформу в области применения таких технологий. Эксперты отмечают, что компании пошли на такой шаг под растущим давлением общественной критики, и не исключают, что их примеру могут последовать другие участники высокотехнологичного рынка.
Наблюдение за наблюдающими
В минувший понедельник в Конгресс США был внесен законопроект об ужесточении контроля за действиями полиции — Justice in Policing Act of 2020, который уже на стадии разработки нашел поддержку со стороны 166 членов Палаты представителей и 35 сенаторов. Документ «должен стать первой подобного рода мерой для контроля над полицией, изменения культуры правоприменения и укрепления доверия между правоохранительными органами и нашим обществом». В тексте законопроекта (.pdf) помимо прочего содержится требование об ограничении использования технологий по распознаванию лиц в нагрудных полицейских видеорегистраторах. Они смогут применяться только с разрешения судебных органов, только при непосредственной угрозе или при совершении тяжких преступлений. Такие записи будут доступны прокурорам, адвокатам и другим участникам судебных процессов. Внесенный законопроект стал прямым следствием роста недовольства действиями правоохранительных органов и массовых протестов, начавшихся после смерти безоружного чернокожего американца Джорджа Флойда в результате его задержания полицейскими.
Недовольство действиями полиции усилило дискуссию о массовом использовании правоохранительными органами технологий по распознаванию лиц, что неоднократно подвергалось критике со стороны правозащитников. Эта критика уже привела к тому, что в сентябре прошлого года в Калифорнии ввели трехгодичный мораторий на использование подобных технологий полицией и другими госслужбами.
Первым системы распознавания лиц запретил Сан-Франциско. Позже еще несколько американских городов, в том числе Окленд (Калифорния) и Сомервилл (Массачусетс), последовали этому примеру. В сентябре использование технологии запретили правоохранителям всего штата Калифорния. Одним из последних аргументов стал эксперимент, проведенный Американским союзом гражданских свобод (ACLU). В разработанную Amazon программу Rekognition загрузили 25 тыс. лиц арестованных, а также фотографии членов калифорнийского законодательного собрания. И ПО обнаружило 26 совпадений.
Еще больше критики вызывают случаи расовой дискриминации при работе такого ПО.
Американский Национальный институт стандартов технологии установил, что с изображениями белых женщин программа ошибается примерно в каждом десятитысячном случае, а с изображениями чернокожих женщин — в каждом тысячном, то есть в 10 раз чаще. В прошлом году к похожим выводам пришли ученые Массачусетского технологического института.
Разворот на 180 градусов или пиар-ход?
Законопроект Justice in Policing Act of 2020 был представлен 8 июня. А 9 июня компания IBM опубликовала заявление о том, что она сворачивает работу над технологиями распознавания лиц общего назначения и соответствующим ПО.
Кроме того, компания сообщила, что 8 июня отправила в Конгресс письмо, в котором призвала законодателей «ужесточить борьбу с злоупотреблениями полиции и предоставить гражданам больше прав для защиты своих конституционных прав».
Спустя два дня, 11 июня, компания Amazon заявила о введении годичного моратория на использование полицией технологий Amazon по распознаванию лиц. При этом компания отметила, что продолжит предоставлять доступ к системе Amazon Rekognition тем, кто занимается поиском пропавших или украденных детей, и организациям, борющимся против торговли людьми. На следующий день президент Microsoft Брэд Смит в интервью The Washington Post заявил, что его компания не будет продавать полицейским управлениям ПО для распознавания лиц, пока не будет закон, который гарантирует и защищает права людей в этой области. Заявление Microsoft прозвучало после того, как американские правозащитные организации «Фонд электронных рубежей» (EFF) и Американский союз гражданских свобод (ACLU) призвали эту компанию последовать примеру IBM и Amazon.
Эксперты по-разному отреагировали на решения компаний. Директор аналитического департамента «Фридом Финанс» Вадим Меркулов сообщил “Ъ”, что «технологические компании сталкиваются с повышенным вниманием к своим контрактам с полицией, а технология распознавания лиц является одним из важных инструментов полиции для поиска подозреваемых. Отказ…позволит улучшить образ прочих продуктов компании в глазах потенциальных пользователей».
При этом господин Меркулов отмечает, что рынок систем распознавания лиц является небольшим, но активно развивающимся.
По итогам 2019 года объем рынка составил около $3 млрд, согласно отчету MarketsandMarkets, ожидается рост рынка до $7 млрд. К 2024 году среднегодовой рост рынка составит 16,6%. Таким образом, можно ожидать сохранения положительной динамики рынка в среднесрочной перспективе.
В свою очередь, специалист по правовым вопросам британской правозащитной организации Privacy International Ксения Бакина в интервью “Ъ” отметила, что «весьма маловероятно, что в течение года объявленного Amazon моратория эта технология полностью избавится от всех ошибок и недостатков, в том числе тех, что связаны с расовой дискриминацией. Если же Amazon продолжит сотрудничать с полицией по ряду других технологий, с ее стороны это будет плохим пиаром и лицемерием. Например, Amazon разработала систему умного видеонаблюдения Ring, которая позволяет жильцам видеть, кто находится у их дома или проходит мимо него, сохраняя записи наблюдения. В рамках этого проекта Amazon заключила партнерские соглашения с рядом полицейских управлений, в ряде СМИ появились сообщения, что разработчики проекта Ring обучают полицейских, как получить записи с этих систем без судебного ордера.
Что касается IBM, то из их заявления непонятно, что означает прекращение работы над проектами общего назначения по распознаванию лиц. Означает ли это, что компания может продолжать работу над технологиями более узкого, специального назначения?
И пока многие хвалят IBM за это заявление, мы считаем его пиар-ходом». Эксперт не исключила, что за решениями этих компаний могут последовать аналогичные шаги и других участников рынка, однако задалась вопросом, насколько эффективными и действенными на практике могут быть такие шаги разработчиков. Кроме того, она обратила внимание на скандально известную компанию Clearview AI, которая заявила, что «верит в то, что ответственное использование технологий по распознаванию лиц может защищать от преступлений членов нашего общества, в том числе детей».
Разработчикам теперь не спрятаться
В любом случае эксперты считают, что события минувшей недели не только приведут к изменению законодательной базы в отношении распознавания лиц властями, но и повлияют на других игроков этого рынка, по крайней мере повышенным вниманием общественности. Некоторые компании уже поспешили обозначить свою позицию. Представители компании NEC заявили изданию Recode, что «выступают против любого применения технологий по распознаванию лиц или любых других технологий, если это нарушает первую поправку к конституции США (свобода вероисповедания, слова, собраний, прессы.— “Ъ”)». Дебора Раджи, партнер исследовательской организации AI Now Institute, входящей в состав Нью-Йоркского университета и изучающей воздействие технологий искусственного интеллекта на жизнь общества, в интервью американским СМИ отметила, что «внесенный в Конгресс законопроект, скорее всего, повлияет на то, что будет делать не только NEC, но и Clearview AI, поскольку на их действия теперь смотрит весь мир».
Похожую точку зрения высказала и госпожа Бакина из Privacy International. «Мы надеемся, что Amazon, IBM и другие компании используют ближайший год и последующее время, чтобы активнее работать над защитой прав человека. Это должно стать отправной точкой для дальнейшей разработки их продуктов и услуг, без каких-либо исключений. Это единственный путь для исправления допущенных ошибок и борьбы с несправедливостью, которой подвергаются люди на улицах. В противном случае им придется примириться с тем фактом, что они, как и власти, ответственны за совершаемые злоупотребления»,— отметила эксперт.