Когда цифровизация не в радость: 5 громких скандалов вокруг Big Data и Machine Learning

Цифровизация не всегда приносит только положительные результаты: увеличение прибыли, сокращение расходов и прочие бонусы оптимизации бизнеса. Большие данные – это большая ответственность, с которой справится не каждый. В этой статье мы собрали 5 самых ярких событий ИТ-мира за последнюю пару лет, связанных с большими данными (Big Data) и машинным обучением (Machine Learning), которые вызвали неоднозначную реакцию и даже осуждение общественности.

В декабре 2019 года автомобильная компания Mazda отозвала сообщила о дефекте в интеллектуальной тормозной системе своих 35 390 машин 2019 и 2020 модельного года, отозвав несколько десятков тысяч автомобилей. Из-за программных ошибок авто Mazda3 четвертого поколения может обнаружить несуществующий объект на своем пути и автоматически начать экстренное торможение во время вождения. Такое поведение машины дезориентирует водителя и может привести к столкновению с транспортным средством, едущим сзади. Предполагается, что устранить этот дефект поможет переустановка новой версии программного обеспечения [1].

Эта непредумышленная ошибка Machine Learning пока не привела к смертельным авариям, в отличие от преднамеренных преступлений на почве машинного обучения, случившихся в США в 2016-2019 гг. Тогда в рамках преступного сговора разработчиков программного модуля для врачей с производителем опиоидных препаратов для лечения боли электронная система поддержки принятия клинического решения выдавала ошибочные рекомендации. Это привело к существенному повышению смертности из-за передозировок наркотическими и опиоидными препаратами. Причем речь идет не о наркоманах «со стажем», а о людях, получающих специфическую терапию в лечебных целях и ранее никогда не принимавших опиоиды [2]. Этот случай в очередной раз показывает, что цифровизация, Big Data и Machine Learning – всего лишь высокотехнологичные инструменты, которые могут использоваться в том числе и в неблаговидных целях.

Наиболее критичные факапы в области больших данных за последнюю пару лет связаны с информационной безопасностью. Причем сейчас мы говорим не столько про утечки данных, сколько про их неправомерное использование. Несмотря на законодательные меры, в частности, введение GDPR в 2018 году, о чем мы подробно рассказывали здесь, даже крупнейшие data-driven компании нелегально обрабатывают персональные данные своих пользователей.

Например, соцсеть Facebook считают причастной к компании Cambridge Analytica, собравшей личные данные 50 миллионов пользователей в целях построения ML-моделей результатов президентских выборов в США. В связи с этим Facebook была оштрафована на Федеральной комиссией США по торговле на 5 миллиардов долларов и потеряла еще 40 миллиардов на падении акций [3]. Также Facebook замечена в других инцидентах с персональными данными своих пользователей и оштрафована в октябре 2018 г. в Великобритании на 500 тысяч фунтов стерлингов, что составляет более 620 тысяч долларов. А в 2019 году в Италии на 1 миллион евро за утечку пользовательских данных была наказана в Италии [4].

Другой крупный скандал, связанный с Machine Learning, Big Data и большими деньгами также случился в 2019 году. Напомним, тогда с помощью технологии Deep Fake злоумышленники успешно имитировали голос руководителя фирмы, заставив замдиректора перевести на их счет около 220 тысяч евро. Такое неправомерное применение нейросетей и открытых данных о публичных персонах позволяет создать фейковые аудио и видеозаписи с их участием, что может привести к социальным, финансовым и политическим рискам. Кроме того, Deep Fake опасен для биометрических систем, которые активно внедряются в различные государственные сервисы.

В заключение отметим громкий инцидент с повсеместным внедрением Big Data проекта распознавания лиц на улицах Москвы и в метро. Помимо положительных результатов (поиск пропавших граждан и преступников, выявление криминогенных мест и точек сбора нелегальных мигрантов), такая система может использоваться для слежки за гражданами – как со стороны властей, так и самих правонарушителей. В частности, есть реальные примеры, когда записи с уличных видеокамер городского видеонаблюдения продавались на черном рынке, а доступ к самим камерам не слишком защищен с технической точки зрения. Почему это опасно, мы рассказывали в этой статье.

Здесь также имеют место случаи с фотографиями невинных граждан, ошибочно попавшими в базу преступников. В частности, так в 2018 году в Москве был задержан молодой человек, возвращавшийся с концерта и не совершавший неправомерных действий. Против внедрения системы распознавания лиц на городских улицах уже подано несколько судебных исков, но пока все они отклонены. Более того, московская цифровизация задает тренд другим городам России: подобные системы распознавания на базе Big Data и Machine Learning уже вводятся в Калуге, Тюмени, Екатеринбурге и Белгородской области [5]. 

Как безопасно вести проекты больших данных и машинного обучения, чтобы цифровизация не превратилась в скандал и принесла бизнесу пользу, вы узнаете на наших образовательных курсах в лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов (менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data) в Москве:

Источники

Источник: www.bigdataschool.ru

Комментарии: