Заказ на "славянина" заблокировали, на "мусульманина" — выполнили: Эксперимент с заказом в Яндекс.Такси

Цифровые фильтры и человеческий фактор: почему алгоритмы такси выбирают избирательную вежливость

Современные сервисы заказа такси давно перестали быть просто посредниками между пассажиром и водителем, превратившись в сложные экосистемы, управляемые искусственным интеллектом.

Мы привыкли доверять алгоритмам выбор кратчайшего пути и расчет стоимости поездки, однако недавний инцидент заставил общественность задуматься о том, насколько беспристрастны программные коды в вопросах этики и равенства. Ситуация, возникшая вокруг системы модерации комментариев одного из крупнейших агрегаторов, продемонстрировала, что цифровая среда может иметь весьма специфические настройки «справедливости».

История получила огласку после того, как один из пользователей решил проверить, как именно работают встроенные фильтры безопасности и этики в мобильном приложении. Эксперимент был простым, но наглядным: мужчина попытался заказать машину, указав в примечаниях конкретные предпочтения относительно личности водителя. Результаты этого теста оказались настолько контрастными, что вызвали волну обсуждений о корректности работы программного обеспечения, которое ежедневно обслуживает миллионы людей.

Механика избирательной блокировки

В ходе первой попытки пользователь ввел в поле для пожеланий фразу, ограничивающую выбор исполнителя по этническому признаку, указав на необходимость наличия определенной внешности у водителя. Реакция платформы была практически мгновенной и технически безупречной — система заблокировала заказ, сославшись на нарушение корпоративных стандартов и недопустимость дискриминации.

С точки зрения логики крупного бизнеса такой подход выглядит абсолютно оправданным, ведь любая компания стремится создать равные условия для всех своих партнеров и клиентов.

Однако вторая часть эксперимента поставила под сомнение последовательность этих настроек. Когда пользователь изменил формулировку, указав иную конфессиональную принадлежность желаемого водителя, алгоритм не нашел в тексте никаких нарушений. Заказ был принят в работу без дополнительных вопросов или предупреждений, и вскоре машина была подана по адресу. Такой явный контраст в работе автоматизированных систем вызвал закономерные вопросы о том, по каким критериям обучаются нейросети и кто именно составляет списки «запрещенных» и «допустимых» понятий.

Этический зазор в программном обеспечении

Проблема здесь кроется не в самом факте существования фильтров, а в их очевидной асимметрии. Разработчики подобных платформ часто подчеркивают, что их целью является создание безопасной и комфортной среды для каждого участника процесса. Но когда одна и та же по своей сути просьба — выбор человека по определенному признаку — в одном случае считается грубым нарушением, а в другом — обычным комментарием, возникает ощущение двойных стандартов. Это создает ситуацию, при которой правила игры становятся непрозрачными для части аудитории.

Специалисты в области информационных технологий часто отмечают, что алгоритмы не обладают собственным сознанием и лишь отражают те установки, которые в них заложили создатели или те данные, на которых они обучались. Если база данных содержит определенные перекосы или если модераторы сознательно делают акцент на защите одних групп в ущерб другим, это неизбежно проявляется в повседневной эксплуатации сервиса. В данном случае мы наблюдаем классический пример того, как технологическое решение вместо того, чтобы сглаживать социальные противоречия, случайно или намеренно их подсвечивает.

Источник: vk.com

Комментарии: