Исследование: беспилотные машины не распознают темнокожих пешеходов

Расистский алгоритм

Технология беспилотных автомобилей, которые в будущем могут полностью вытеснить обычные машины с водителем, вызывает у скептиков большое количество вопросов — насколько безопасно их использование, как они будут справляться с моральным выбором в критической ситуации и как повлияют на дорожную ситуацию. Теперь в этом списке появился еще один повод для беспокойства — беспилотники потенциально опасны для людей с темным цветом кожи.

Как сообщается в исследовании Технологического института Джорджии, темнокожие пешеходы имеют больше шансов быть сбитыми самоуправляемым автомобилем. Дело в том, что многочисленные датчики, установленные в таком транспорте, лучше распознают людей со светлым тоном кожи.

Авторы исследования задались вопросом, насколько хорошо система распознавания препятствий в беспилотниках справляется с разными демографическими слоями общества. Они взяли большую базу данных с фотографиями пешеходов и разделили их на разные группы по тону кожи согласно шкале Фитцпатрика.

Оказалось, что датчики хуже реагируют на людей с тоном кожи от 4 (средиземноморского) фототипа до 6 (афроамериканского). При этом погрешность составляет не менее 5%. На нее не влияют даже внешние факторы, включая смену дня и ночи.

Один из авторов исследования Джейми Моргенштерн посоветовал обратить повышенное внимание на беспилотники, использующие системы распознавания, указанные в работе.

Известно, что алгоритмы и компьютерные системы могут перенимать предрассудки и предвзятость у своих создателей, в том числе и расистские наклонности.

Самый резонансный случай на эту тему случился в 2015 году, когда система распознавания изображений от Google определила фотографии темнокожих людей как снимки горилл.

Кроме того, ученые выяснили, что система распознавания лиц IBM и Microsoft чаще ошибается при определении гендера по фотографии, если на ней изображен человек с более темным тоном кожи.

Так как алгоритмы «учатся» на примерах, которые загружаются людьми, у них могут возникнуть трудности в работе, если эти примеры не отличались большим разнообразием. Авторы работы о «расистских» беспилотниках предполагают, что алгоритмы распознавания препятствий могли оттачивать свой функционал именно на белокожих пешеходах, так как разработчики не предоставили им достаточно примеров с людьми иных рас.

На текущий момент эта проблема сохраняется как в начинающих стартапах, так и в крупных корпорациях, занимающихся искусственным интеллектом и нейросетями. Для ее решения в будущем потребуются специальные тесты, которые будут распознавать алгоритмическое смещение и своевременно его исправлять. Кроме того, в команде разработчиков должны быть представлены представители различных социальных групп, которые различаются по гендеру, расе и национальности — такие меры помогут снизить предвзятость ИИ, считают в исследователи.

Первая смерть

В марте 2018 года произошел несчастный случай со смертельным исходом при участии беспилотного автомобиля Uber. Машина, в которой находился оператор, сбила женщину, переходящую дорогу со своим велосипедом в темное время суток. Известно, что оператор по имени Рафаэла Васкес в тот момент отвлеклась от дороги, так как смотрела видео на своем смартфоне.

Когда Васкес наконец заметила пешехода, то было уже поздно — автомобиль сбил женщину насмерть.

После этого случая компания Uber Technologies временно прервала тестирование беспилотных автомобилей. Стало известно, что причиной аварии мог быть сбой в работе программного обеспечения. Как сообщалось, автомобиль «увидел» женщину, однако посчитал, что останавливаться из-за этого «препятствия» не стоит.

Согласно заявлению прокуратуры округа Явапай, в котором произошла авария, Uber Technologies не понесет уголовной ответственности за случившееся. Прокурор Шейла Полк заключила, что видеозапись ДТП не полностью отражает момент столкновения. В связи с этим дело вернули в полицию города Темпе, где произошла трагедия, для поиска новых доказательств.

При этом судьба Рафаэлы Васкес пока остается невыясненной — вероятно, отвечать за ДТП придется ей. Ранее следствие пришло к выводу, что случившееся можно было предотвратить.