Рука об руку с развитием точных технологий идёт изменение социальных норм, и одна из таких норм — гендерная — недавно вышла на первый план во многих сообществах. «Гендерный подход» обсуждают, иногда приемлют, иногда рьяно отрицают. В каких местах технологии пересекаются с гендером, и какие изменения происходят в связи с отходом от бинарности гендера — об этом дальше.
Гендера у нас больше не два, как это было раньше. В отличие от полов, гендеров — цветущее многообразие. Оно включает и те два гендера, что развивались в соответствии с биологическим полом, и другие — например, «агендер», «бигендер», «трансмужчина/трансженщина» и др.
На то же время, что и гендерный хайп, пришлось бурное развитие искусственного интеллекта (ИИ) и других сопутствующих технологий. Появился ИИ для распознавания и генерации изображений, развилась робототехника, получили распространение голосовые ассистенты.
Это развитие происходит в социальных реалиях. Человек проектирует умных помощников по образу и подобию своему. Здесь и происходит пересечение гендера и технологий. Старый мир продолжает проецировать на технологии свои бинарные нормы, закрепляя в будущем за ними место. Но не все согласны с таким ходом дел. В мире много людей, которые думают по-другому, и они не хотят, чтобы такая норма транслировалась и далее. Они выносят этот вопрос на повестку дня, обсуждают его в медиа и предлагают более инклюзивные подходы к реализации технологий.
Гендер, ИИ и биологизаторство
Одна из технологий, где гендер является чувствительным вопросом — распознавание лиц. Часто бывает, что система, якобы анализируя биометрические данные, анализирует заодно и социальные характеристики. Так, в 2017-м году была опубликована статья, в которой исследователи утверждают, что научили ИИ отличать гетеросексуалов от негетеросексуалов по чертам лица.
Используя фотографии и профили с сайта знакомств, где была указана информация об ориентации человека, авторы научили нейронную сеть отличать на изображениях гетеросексуалов от негетеросексуалов. Ключевыми признаками, по которым, как показалось авторам, нейронная сеть отличала одних от других, стали биометрические данные лица. Они пишут:
«Было обнаружено, что у геев более узкие челюсти, более длинные носы и более крупные лбы, чем у гетеросексуалов. В то же время, у лесбиянок большие челюсти и меньше лоб, чем у гетеросексуалок».
На деле, конечно, нейронная сеть использовала никакую не биометрию, а гендер — то, как люди себя подают для общества. Так, гетеро-девушки, как следует из композитной (составленной из многих лиц) фотографии, чаще носят макияж и предпочитают выкладывать фотографии, на которых они смотрят снизу вверх — а это в традиционной гендерной парадигме символ пассивности и подчинения, что должно нравиться гетеросексуальным мужчинам (а ведь именно такая задача стоит у женщин-«натуралок» на сайтах знакомств!).
Девушки, заявившие, что они лесбиянки или бисексуалки, напротив, часто не носят косметики и смотрят на фотографиях прямо или даже немного сверху, что, как можно предположить, является обозначением предпочтения равных позиций. Противоположная картина характерна для мужчин — гетеросексуалы смотрят сверху вниз, а геи — снизу вверх. Другими словами, дело тут совсем не в размере челюсти и ширине лба, а в ракурсе съёмки.
Такое заблуждение может возникать и в других случаях. Например, при анализе голоса или паттернов движения, есть соблазн подумать, что ИИ распознаёт биологические черты, но голос и манера двигаться в значительной степени определяются гендером.
Проблема бинарности и распознавание лиц
Фотографии должны быть достаточно хорошими, а черты лица — достаточно характерными, чтобы по ним нейросеть могла распознать, с каким биологическим полом человек родился и прошёл через пубертат. Но вряд ли владельцам сетей магазинов и банков, которые устанавливают у себя камеры наблюдения, в самом деле важно знать, с каким балансом эстрогенов и тестостерона наблюдаемый субъект жил раньше. На самом деле, то, что их интересует — это гендер, потому что именно от него зависит, будет ли человек покупать косметику или пойдёт брать абонемент в качалку.
Здесь возникает то, что я назову проблемой бинарности — во многие нейросети сейчас «вшиты» только два гендера. Одна из причин заключается в том, что в выборках данных, которые нужны для обучения нейросетей, фотографии чаще размечены только на два гендера (такие датасеты широко доступны в интернете), чем на категории из гендерного спектра. Просто многие датасеты проектировались и заполнялись ещё в «догендерные» времена. Люди с другими гендерами (и соответствующими гендерными интересами) будут дискриминированы нейросетями, обученными на таких датасетах.
В особенно плохой ситуации оказываются представители транссообщества. Трансженщины на первых стадиях гендерного перехода часто сохраняют заметные черты маскулинности, а трансмужчины — феминности. Поэтому вероятность ошибки в автоматической классификации для таких людей — довольно высокая, мужчину легко принять за женщину, и наоборот. Давайте представим гипотетическую ситуацию:
трансженщина проходит автоматизированную паспортную проверку в аэропорту. Если система распознает её гендер на фотографии не так, как написано в паспорте (а такая вероятность, безусловно, есть), то у неё возникнут проблемы. На их решение нужно будет потратить много времени, и в итоге она может опоздать на самолёт.
К сожалению, в России есть много других фронтов дискриминации трансгендерных мужчин и женщин, и проблема ИИ и технологий меркнет на их фоне.
Гендер, голосовые ассистенты и роботы-ассистенты
Следующая большая проблема заключается в том, что мы закладываем в роботов и голосовых ассистентов бинарную гендерную парадигму, когда их создаём. Согласно исследованию, люди наделяют роботов гендером, потому что им так комфортнее, так как гендер — одна из основных социальных категорий.
Будучи воспроизведённой в роботах, она подкрепляет уже существующие в обществе стереотипы. Например, мужскими голосами чаще озвучиваются «серьёзные» боты, например, коллекторские. Мужским гендером обладали и некоторые из наиболее известных роботов в кино — C-3PO из «Звёздных войн», HAL-9000 из «Космической одиссеи», терминатор T-800. То есть, за храбрыми и серьёзными роботами закрепляется мужской гендер. Женскими же голосами озвучиваются сервисные боты. Голоса таких ассистентов как Alexa от Amazon, Cortana от Microsoft, Siri от Apple (кстати, у всех трёх женские имена) и голосовой ассистент Google — по умолчанию женские (правда, в некоторых пакетах локализации может быть не так). Что делают такие голосовые ассистенты? Они занимаются «секретарской» работой — такой как запись событий в календарь, назначение встреч, ответы на вопросы. Они должны вести себя покладисто, никогда не перечить пользователю (яндексовская Алиса, правда, в этом смысле стоит несколько особняком), а ведь именно такое поведение в рамках гендерных стереотипов характерно для женщин. Чем шире распространяются голосовые ассистенты и роботы, тем больше они закрепляют за женским гендером сервисную роль. Люди подсознательно ассоциируют определённый голос и внешность с определённым типом заданий и испытывают когнитивный диссонанс, когда голос и предполагаемая гендерная роль не совпадают. Роботы-ассистенты, -сиделки, -медсёстры и -уборщицы, все они по умолчанию будут записаны в «девочки».
Среди разработчиков голосовых ассистентов были попытки быть более гендерно-корректными. Например, если Siri спросить, какого оно гендера, робот отвечает «я существую вне человеческих представлений о гендере». Если спросить, уверено ли оно, что не женщина, то ответ будет «простите, я правда не знаю». Но это всё не отменяет того, что мужской голос для Siri выпустили только через два года после женского.
Другая попытка изменить ситуацию была предпринята в марте 2019 года. Энтузиасты выпустили гендерно-нейтральный голос под названием Cue. Команда настроила голос таким образом, чтобы он попадал в диапазон между 145 и 175 герц, воспринимаемый людьми как гендерно-нейтральный. Здесь можно его услышать.
Многие, кто слышал голос Cue, сообщали, что испытывают дискомфорт. Как вы думаете, почему?
Этика технологий на постсоветском пространстве
К сожалению, вопросы, сформулированные на данный момент в этой области, опираются лишь на западную специфику. Совсем не обязательно они будут актуальными для России и других постсоветских стран. При переносе на другую культурную и социальную почву этические вопросы ставятся по-иному, и смотреть на них нужно через другую призму. Например, в России пока далеко до признания прав LGBTQ и до уважения идентичностей, принятых для себя окружающими нас людьми. Аргумент, что кому-то неприятно, что их гендерную идентичность нейронная сеть распознала неправильно, остаётся беззубым, пока неправильное распознавание не имеет прямых последствий.
Но какие это могут быть последствия? Ретейлеры X5 («Пятёрочка», «Карусель», «Перекрёсток») разрабатывают решение для оплаты покупок с использованием лицевой биометрии. В принципе, распознавание лиц многие торговые сети используют уже некоторое время, в частности, для определения статистики — например, какое процентное соотношение мужчин и женщин посещает магазин в определённый день недели. Ориентирована ли технология на светлокожих россиян из средней полосы, распознает ли она их гендер лучше, чем центральноазиатов — нам ничего про это неизвестно. К счастью, статистика — это внутреннее дело каждой компании, и ошибка в ней может привести лишь к неправильной гендерной специфике предлагаемых товаров. А вот право всем на равных пользоваться предоставляемыми технологиями, в том числе оплачивать покупки с помощью биометрических данных — это уже касается общества. Как технология будет работать с трансженщинами и трансмужчинами, когда они «выйдут из шкафа»? Оплата по биометрии обещает значительно повысить скорость обслуживания клиентов на кассе. Если в обучающую выборку нейронной сети не войдут трансгендерные мужчины и женщины, она будет хуже их распознавать. Это будет означать, что скорость обслуживания этих групп будет ниже.
Вот другой пример: иногда технология распознавания лиц используется для того, чтобы определить, есть ли очередь больше пяти человек на кассе. Как такая технология будет работать, скажем, в Махачкале, если в очереди у кассы более пяти женщин, но у трёх из них закрыта часть лица, поэтому нейронная сеть их не распознаёт? Пятеро мужчин же будут сразу распознаны, и откроется свободная касса. (Некоторые технологии распознавания лиц умеют работать даже в случаях, когда видна только часть лица, но если тренировать нейросеть только на полностью открытых лицах, задача распознавания лиц, частично прикрытых, будет выполняться хуже).
Все эти проблемы можно решить — но для начала надо о них знать и хотеть с ними что-то делать.
Что делать?
Решение описанных проблем многие аналитики видят в диверсификации состава ИИ-разработчиков. Они предполагают, что, чем больше в команде нецисгендерных немужчин, тем более она в целом будет чувствительна к проблемам дискриминации. Логика здесь простая: если ты женщина, то сразу задумаешься о том, как разрабатываемая тобой технология повлияет на женщин. Представители меньшинств будут чувствительны к тому, как технология коснётся их сообществ. Значит, они будут стараться так изменить наборы данных, на которых обучается встроенная в разрабатываемую ими технологию нейронная сеть, чтобы избежать негативных последствий её использования для своей группы.
Но не кажется ли вам, что в такое предположение закралась ошибка? В реальности всё значительно сложнее. Просто разнообразить состав команды недостаточно. Если нанять больше женщин, есть вероятность, что они будут так же не замечать проблемы с продуктом, как и мужчины. Если кого-то всю жизнь учили смотреть на мир через оптику, в которой мужчины в центре, то им будет сложно посмотреть на мир по-иному.
Что делать с этической неподготовленностью работников? Можно поступать так же, как с незнанием разработчиками английского языка — нанимать учителя. А может быть, можно придумать какие-то другие решения.
Одно точно: важно привлечь исследователей к изучению подобных тем в постсоветских пространствах прямо сейчас.