Почему алгоритмы не работают для женщин?

Алгоритмы везде. Они – невидимые механизмы, определяющие буквально всё вокруг нас – от температуры в офисе до ленты новостей в социальных сетях и поисковых результатов в Google. Но есть одна большая проблема: эти алгоритмы вовсе не пассивны или нейтральны. В этом интервью программная инженерка Лиз Раш расскажет о том, как алгоритмы поддерживают сексизм и расизм в нашем поглощённом Интернетом обществе.

Интервьюерка (далее И): И так, что же это такое – алгоритм?

Лиз Раш (далее Л): Если говорить простым языком, алгоритм – набор правил или шагов, которые необходимо выполнить чтобы высчитать что-либо или решить задачу с помощью компьютера. Что-то вроде рецепта. Шаги делаются в определённом порядке и по результату вы получаете готовое блюдо.

И: Какое влияние оказывают алгоритмы на современное общество?

Л: Алгоритмы везде, но мы почти не замечаем их. Они пронизывают Facebook, Twitter, почти весь контент Интернета, даже поисковые машины. Всё, с чем вы взаимодействуете в сети каждый день – сформировано мощными искусственно-обучаемыми алгоритмами. Они фильтруют данные и подгоняют результаты, основываясь на том, что по мнению создавшей их компании вам понравится.

Этот концепт называется «пузырь фильтров» (англ. the filter bubble) – он описывает негативную сторону персонализированного поиска. Когда вы вбиваете в Google какое-то слово, результат поиска – это не просто лучшее совпадение с запросом. Google анализирует вашу историю поиска, демографические данные, предпочтения в онлайн-заказах, а также поисковые запросы других людей из вашего города.

И: Значит, мои результаты поиска – это не отображение наиболее точных совпадений?

Л: Конечно у Google есть алгоритмы, которые выводят сайты на основе их содержимого и других факторов, определяющих совпадение с запросом. Но они всё сильнее переплетаются с вашими персональными данными и данными других людей.

Рассмотрим в качестве примера функцию автозаполнения строки поиска в Google – это как раз тот случай, когда мы можем заметить искусственно-обучаемый алгоритм в действии. Он пытается угадать, что вы хотите найти, основываясь на вашей истории поиска и на истории похожих на вас пользователей. И если алгоритм попал в точку, он попытается определить, насколько корректны отображённые результаты.

Проблема состоит в том, что в процессе обучения алгоритмы быстро становятся предвзятыми. Мы видим это, вбивая в строку поиска «Почему женщины такие…» - предположения алгоритма будут не самыми приятными. То же касается различных рас и представитель_ниц каких-либо меньшинств.

[Примечание переводчицы: Чат-бот Тэй (англ. Tay) - один из таких примеров. Тэй могла взаимодействовать с пользователь_ницами твиттера - подразумевалось, что она будет совершенствовать свои навыки в процессе общения. Через 16 часов её пришлось отключить, так как из-за наплыва троллей она научилась расистским и сексистским фразам и вовсю ими пользовалась, не имея возможности анализировать их критически.]

И: Получается, сексизм и расизм встраиваются внутрь алгоритма?

Л: Вопрос о том, является алгоритм сексистским или расистским, всегда порождает множество споров. Понимаете, написание алгоритма схоже с созданием рецепта. Сам по себе, вне контекста он не обязательно сексистский/расистский и т.д. Но когда алгоритм начинает анализировать обратную связь с пользователями или берёт за основу изначально предвзятые данные, результатами недочётов в его структуре становятся сексизм и расизм.

Например, вы пытаетесь найти название колледжа с преимущественно темнокожим составом учащихся. А Google выдаёт вам записи об арестах и судебных делах. Это не было запрограммировано, алгоритм научился так себя вести с течением времени. Или когда вы ищите онлайн-работу для женщин – женщина увидит высокооплачиваемые предложения с меньшей вероятностью, чем мужчина. Эту закономерность выявляли и доказывали уже много раз.

Поэтому центральной проблемой алгоритмов является следующее: неважно, кто написал_а алгоритм и какие взгляды у не_ё были. Если в структуре алгоритма были допущены недочёты/ошибки, алгоритм быстро станет предвзятым, и его результаты будут всё дальше отклоняться от нейтральных, если не вносить никаких корректировок.

И: Мы часто представляем технологии как что-то нейтральное и объективное – просто сухие расчёты. Мы думаем о контенте Google как о простом отражении онлайн-мира. Но вы утверждаете, что Google играет активную и важную роль в формировании отображаемых для нас данных?

Л: Именно. Люди действительно ошибочно считают, что технологии «нейтральны». Но это то же самое, что считать нейтральным и не предвзятым вредоносное ПО. Да, у него может не быть собственного мнения и личного желания навредить человеку, но его действие не нейтрально. Технологии функционируют как собирательная система, которую можно направить в ту или иную сторону.

Вы слышите слово «алгоритм» и думаете о математике, науке, компьютерах. Мы считаем компьютеры нейтральными, потому что их работа – всего лишь нули и единицы. Но на самом деле алгоритмы и компьютеры создаются ЛЮДЬМИ, и именно они делают этический выбор, как система должна функционировать.

И: Можете привести примеры предвзятости в алгоритмах?

Л: Мой любимый пример того, как мнения людей влияют на работу алгоритмов, относится ко временам, когда компьютеры ещё не были распространены

Когда-то давно нужно было спроектировать систему (алгоритм), определяющую оптимальную офисную температуру, для кондиционеров и обогревателей. Разработчики учли разные факторы: температуру, при которой люди ощущают себя комфортно, разницу между реальной температурой и её ощущением на коже, скорость метаболизма в отдыхающем теле. Всё это звучит как объективные научные данные, да? Но на самом деле скорость метаболизма, сердцебиения и прочее варьируются от человека к человеку, и разработчики собирали эти данные только среди белых мужчин среднего возраста.

Это забавно, потому что предвзятость кондиционера – последнее о чём можно подумать. Но вот так сложилось, что оптимизация офисной температуры основана на предвзятом мнении о том, что понимание комфорта мужчиной должно являться стандартом для всех остальных.

Другой пример – медицинские устройства. Алгоритмы в кардиостимуляторах помогают определить скорость сердцебиения. Но изначально кардиостимуляторы производились только для мужчин. Первые подобные устройства даже не помещались в грудную клетку женщин. И если алгоритм, определяющий ваш пульс, не был создан под ваше тело, это неизбежно повлияет на конечный результат его работы.

И: А есть ли примеры, когда сексизм и расизм в алгоритмах были не просто ошибкой/недочётом разработчиков, а использовались ради выгоды?

Л: На этом вопросе всплывает ещё одна проблема: на данный момент существует конфликт интересов компаний, которые хотят использовать алгоритмы для манипуляции пользователями (например, заставить их оставаться на сайте дольше, купить больше продукции и т.д.), и открытости, необходимой для решения этических вопросов.

И: Когда я ищу в Google что-нибудь, связанное с женщинами, результаты жутко сексуализированы. Если Google учитывает мою историю и интересы, почему так происходит? Я никогда не искала порно или что-то подобное

Л: Да, это очень раздражает. Дело в том, что, когда вы вбиваете слово «женщина», поисковик основывается не только на ВАШИХ данных. Поисковая система знает, что большинство пользователей, формирующих запросы со словом «женщина», скорее всего ищут порнографию.

И: Ужасает, что почти все результаты поиска, связанные с женщинами, это либо порно, либо эротика. И функция «безопасного поиска» не очень спасает ситуацию. Такая закономерность проявляется, даже если искать по слову «девочка»!

Л: Да, это чудовищно. Если 12-летняя девочка, только приобщающаяся к Интернету, попытается найти что-то про видеоигру «Нэнси Дрю», шансы, что она случайно наткнётся на порно, крайне высоки. Всё потому что алгоритмы имеют встроенную функцию, пытающуюся максимизировать число пользователей, кликающих на результат поиска и сопутствующую рекламу. А порнография – мощнейший двигатель бизнеса.

Интервьюерка (далее И): Расскажите о ситуациях, когда компании извлекают реальную выгоду из сексизма и расизма в алгоритмах. Например, не так давно группа парней изнасиловали 15-летнюю девочку в прямом эфире на Facebook Live. И как в случае с другим контентом на Facebook, виде сопровождалось рекламой, а это значит, что сайт получил выгоду от изнасилования и распространения этого видео благодаря алгоритмам.

Лиз Раш (далее Л): Это была ужасающая ситуация. В свою защиту компания может сказать, что не контролирует контент в момент публикации, и это с какой-то стороны правда. В том смысле, что модераторы предварительно не смотрели ролик и не давали добро на его загрузку. Решение вывести ролик в ленты пользователей приняли алгоритмы: чем больше людей кликало на видео, тем чаще оно всплывало в лентах новостей, распространяясь словно вирус. Открытие ролика также увеличило просмотры рекламы, в итоге компания оказалась в выигрыше.

На данный момент мир одержим оптимизацией алгоритмов, желая сделать их «идеальными для каждого пользователя». Иногда эта оптимизация встраивается так глубоко, что из алгоритма просто невозможно исключить анализ обратной связи. В случае с изнасилованием это значит, что даже если бы одна женщина сообщила о нарушении модераторам Facebook, а в этот же момент 30 мужчин продолжили просматривать и репостить ролик, алгоритм корректировал бы свои действия, ориентируясь на тех 30 мужчин. Когда компания стремится предоставлять вам актуальный контент, неизбежно возникает конфликт между этим стремлением и необходимостью проверять контент на корректность.

И: И если кто-то сохранит ту трансляцию и загрузит на другой сайт, она попадёт в результаты поисков Google, принося выгоду и Google тоже?

Л: Да, и в таком случае видео, по сути, останется в Интернете навсегда. Часто изображения и видео автоматически дублируются на сервера по всему миру. Нельзя сказать одному сайту «удалите это» и считать, что данные полностью стёрты.

И: Несмотря на то, что Google не производит порнографию, порно глубоко встроено в её деятельность. Порнография составляет 30% контента всего Интернета. Из-за процессов оптимизации алгоритмы поддерживают сексизм и расизм, царящие в обществе, выводя в топ популярные темы, которыми чаще всего и являются порнография и сексуализированные изображения.

Л: Наш разговор становится всё более сложным. Дело в том, что большинство организаций, сражающихся за защиту персональных данных в Интернете, за равный доступ к Интернету или за защиту пользователей от провайдеров, желающих получить выгоду, - спонсируются производителями порно.

Многие кампании, выступающие против продажи персональных данных в сети, спонсируемые, например Porn Hub YouPorn – часть крупной рекламной кампании за защиту приватности в Интернете. Несмотря на красивые лозунги, их цель, на самом деле, не такая широкая. По факту они хотят, чтобы никто не мог узнать, какое порно ищут или выбирают их клиенты. Таким образом они якобы выступают на этической стороне развития технологий и причисляют себя к борцам за свободу слова. А если копать ещё глубже, они просто хотят отвести внимание пользователей от вопроса этичности порнографии как таковой.

И: Но что насчёт жертв изнасилований, таких как та 15-летняя девочка? Что насчёт ИХ приватности? Такое ощущение, что все эти обсуждения крутятся исключительно вокруг ЗРИТЕЛЕЙ порно.

Л: К сожалению, из-за предвзятости алгоритмов, конфиденциальность персональных данных той девочки была потеряна. Ситуация обостряется тем, что такие случаи всегда сопровождаются бумом связанных поисковых запросов. Когда СМИ сообщают об утечке личных фотографий знаменитостей, в истории поисков появляются резкие пики, выводящие новость в топ.

И: А увеличение запросов на поиск подобного контента означает, что алгоритм посчитает их правильными и продолжит распространять материал в результатах выдачи?

Л: Именно.

И: Что мы можем сделать, чтобы помочь жертвам?

Л: Прежде всего, нужно прекратить обвинять жертв, а также попытаться не использовать новые технологии в подобных целях. Сегодня всё большей проблемой становятся алгоритмы распознавания лиц. Текущие обсуждения ориентируются в основном на поиск преступников, а также угрозу незаконно подавлять протесты. Но важно уже сейчас проговорить эффект, который они окажут на культуру порнографии. Есть два момента, на которые стоит обратить внимание:

1) Технологии распознавания лиц могут использоваться для травли жертв порнографии, идентификации их личности. Например, если кто-то украл интимные фото женщины и слил их в сеть, другие злоумышленники могут применить подобные алгоритмы, чтобы вычислить их авторку и шантажировать её.

[Прим. переводчицы: не так давно подобный случай произошёл и в России. Злоумышленники загрузили кадры из порно, а также найденные в сети интимные фотографии в приложение для распознавания лиц и вычислили личности изображённых на них девушек, их аккаунты в Вконтакте. Компромат был разослан их родственникам и знакомым]

2) Какое-то время я работала в компании по производству ПО и была единственной женщиной в штате. Однажды наш генеральный директор с энтузиазмом предложил сделать приложение, в которое можно было бы загрузить фото подруги, коллеги или сестры и получить перечень похожих на неё порно-актрис. Чтобы было проще найти порно с той, кто «нравится» тебе.

И: Вы шутите??! Это же ужасно!

Л: Конечно! Я в шоке заявила, что мы ни при каких обстоятельствах не должны создавать подобное приложение, но меня не восприняли всерьёз. Только после того, как другой мужчина категорически не согласился с идеей, проект был отложен.

И вот ещё одна проблема этичности в технологиях. Сфере нужно больше женщин, занимающихся разработкой ИТ. И мы уже здесь, на самом деле. Но когда культура сама по себе настолько токсична, работа и критика женщин просто становятся невидимыми, их игнорируют.

И: Есть ли надежда победить сексизм в технологиях?

Л: Мы не сможем бороться с развитием технологий, и те же алгоритмы распознавания лиц продолжат совершенствоваться. Но мы должны стремиться к миру, в котором вопросы этики являются ключевым фактором при создании ПО. Может быть, нам удастся создать ПО, которое будет распознавать лица насильников, или алгоритмы, автоматически удаляющие видео с изнасилованиями при их загрузке.

Мы не можем остановить технологии, но мы можем выбрать, как они будут развиваться.

И: Правда ли, что угроза раскрытия персональных данных и нарушения приватности, наиболее актуальна для женщин? Что если женщина хочет сбежать от абьюзера, сталкера или бывшего агрессивного партнёра?

Л: Да, это так. У специалистов по безопасности даже есть термин «модель угроз бывшего парня». Когда речь заходит о безопасности в сети, все представляют хакеров, государственных агентов. Но на самом деле, главная опасность исходит не от хакеров, а от наших знакомых. Таких как, например, бывшие партнёры или мужья-абьюзеры. Несмотря на то, что подобные вопросы уже поднимаются в сфере безопасности, эти моменты никак не учитываются при создании алгоритмов.

Большой вклад в обсуждение этой проблемы внесла журналистка Эшли Файнберг, которая смогла найти секретные аккаунты Instagram и Twitter главы ФБР Джеймса Коми. Она сделала это, используя исключительно информацию о людях, с которыми он контактировал через приложения.

Это значит, что если вас преследует сталкер или абьюзер, которого вы заблокировали в соцсети, они всё равно смогут отследить вас через рекомендации сайтов и данные, раскрытые алгоритмами без вашего согласия.

Задумайтесь, даже человек, имеющий все возможные ресурсы и опыт для обеспечения своей приватности, бы найден такими несложными средствами. Как быть, если вы – обычная женщина, пытающаяся спастись от навязчивого преследователя.

И: Спасибо за то, что поделились своим опытом по этому вопросу. Можете ли вы дать какие-то рекомендации женщинам, желающим повысить свою безопасность?

Л: Я знаю, что всё, что я рассказала, звучит довольно страшно. Но не стоит паниковать. Я советую всем следовать минимальным рекомендациям по обеспечению личной безопасности в Интернете: сильные пароли, двухфакторная аутентификация, минимальная публикация личных данных.

Но ещё больше я хочу сказать, что мы все можем внести вклад в развитие технологий. Мы должны обсуждать вопросы этики подруга с подругой, со своими близкими. Не обвинять жертв нарушения приватности и жертв насилия. Мы должны изучать появляющиеся технологии и эффект, который они могут оказать на общество, чтобы знать, каких опасностей ждать. А также мы сами не должны поддерживать любое использовании ИТ во вред людям.

Перевела специально для

Источник: http://www.feministcurrent.com/2017/04/07/algorithms-arent-working-women/

Источник: vk.com

Комментарии: