Искусственный интеллект, который используется для ведения врачебной документации, преуменьшает проблемы у пациенток или даже удаляет данные об их симптомах

Исследование «Evaluating gender bias in large language models in long-term care», проведенное Лондонской школой экономики, показало, что искусственный интеллект, который используется для ведения врачебной документации, преуменьшает проблемы у пациенток или даже удаляет данные об их симптомах.

Проблема с гендерной предвзятостью ИИ давно известна: он искажает данные в пользу мужчин. Это усугубляется тем, что абсолютное большинство пользователей не понимает принципы его работы и доверяет ему полностью, не проводя факт-чекинг и не используя критическое мышление при обработке результатов.

Корпорации и учреждения все чаще используют языковые модели для сбора, хранения и анализа информации — и вот тут возникает огромная дыра, в которую проваливаются самые уязвимые. Машинный интеллект опирается на гендерные стереотипы для описания болезней и оценок по уходу, из-за чего женщины остаются без медицинской и социальной поддержки.

Ученые создали пул данных, используя обезличенные данные о пожилых людях и убрав оттуда специфические половые отличия (например, из больничных карт женщин была удалена информация о последствиях домашнего насилия или о перенесенной мастэктомии), но оставив указание на пол. Чтобы добиться чистоты эксперимента, в записях поменяли данные о половой принадлежности пациентов. Данные были загружены в несколько специализированных моделей, которые используются в здравоохранении. Они должны были проанализировать анамнез пациентов и выдать рекомендации по дальнейшему лечебному и социальному маршруту.

Результаты никого не удивили.

Выводы ИИ значительно зависели от пола пациентов. Для характеристики женского здоровья использовались такие слова, как «неразумная» и «эмоциональная», а для мужского — «счастливый» и «обеспокоенный». Даже если потребности людей разного пола были идентичны, система выдавала разные рекомендации. Женщины маркировались как самостоятельные и способные жить без помощи, в то время как мужчины получали возможность вызывать медсестер и получать соцподдержку. Из рекомендаций часто исключались данные о женских симптомах и анамнезе, а при описании проблем использовались неточные, расплывчатые формулировки. В результате мужчины получали повышенный уровень внимания и ухода, пока женщины были лишены справедливого отношения.

Авторы исследования отмечают, что важно отмечать даже единичные случаи дискриминации, так как некорректные рекомендации приводят к тому, что мужчины и женщины получают разный уровень медицинской помощи.

За каждой строкой в реестре стоит живая пациентка, нуждающаяся в помощи и поддержке. Каждое некорректное описание приводит к боли и беспомощности реальной женщины: нашей матери, сестры, подруги или нас самих. Правоспособные ответственные гражданки оказываются лишены самого элементарного: возможности получить полноценную медицинскую помощь в необходимом объеме. Женщины, которые работали и платили налоги, рожали и воспитывали детей, выполняя важнейшую и незаменимую роль в обществе, оказываются выброшены на обочину сразу же после выхода из детородного возраста.

Искусственный интеллект отражает то, что в него вложили создатели: предвзятое, неблагодарное и жестокое отношение к женщинам.

https://bmcmedinformdecismak.biomedcentral.com/articles/10.1186/s12911-025-03118-0#Tab5

Проклятая амбивалентность

https://t.me/damnambivalence/4258

Источник: t.me

Комментарии: