Новый метод MIT делает ИИ более объяснимым

Учёные из Массачусетского технологического института представили новый метод, который помогает моделям искусственного интеллекта объяснять свои прогнозы более понятно и точно. Разработка была создана в лаборатории CSAIL MIT и будет представлена на Международной конференции по обучению представлениям. Технология может повысить доверие к ИИ в медицине, анализе изображений и других критически важных областях.

Почему объяснимость ИИ становится критически важной

Современные системы искусственного интеллекта часто называют «чёрным ящиком», констатирует xrust https://xrust.ru/. Они способны давать точные прогнозы, но пользователи не всегда понимают, почему модель пришла именно к такому результату .

Это особенно важно в таких областях, как: медицинская диагностика; анализ медицинских изображений; научные исследования; системы безопасности. Например, если алгоритм обнаруживает меланому на снимке кожи , врач должен понимать, какие признаки на изображении привели к такому выводу. Без этого доверие к алгоритму остаётся ограниченным.

Подробнее о лаборатории исследования можно узнать на официальном сайте MIT CSAIL:

https://www.csail.mit.edu 

Метод «бутылочного горла концепций»

Один из способов сделать искусственный интеллект понятнее — использовать так называемую модель Concept Bottleneck Model (CBM) .

Её принцип работы прост: Сначала модель определяет понятные человеку признаки на изображении. Затем использует эти признаки для финального прогноза. Например, система распознавания птиц может учитывать: жёлтые ноги; синие крылья; форму клюва; окраску оперения. После анализа этих признаков алгоритм определяет вид птицы.

Промежуточный этап — «бутылочное горло» — позволяет пользователю увидеть логику решения модели .

Главная проблема существующих систем

До сих пор большинство таких моделей работали с концепциями, которые заранее задавали люди или языковые модели .

Но у этого подхода есть серьёзные недостатки: некоторые концепции могут быть нерелевантными; описание признаков может быть слишком общим; модель может использовать скрытую информацию, не отражённую в объяснениях. Эта проблема известна как утечка информации .

В результате ИИ иногда опирается на признаки, о которых пользователь даже не знает.

Новый подход: извлечение концепций из самой модели

Исследователи предложили альтернативный метод: извлекать концепции непосредственно из обученной модели .

Идея состоит в том, что нейросеть уже изучила огромное количество данных и сформировала собственные внутренние признаки для принятия решений.

Чтобы получить их, учёные применили несколько технологий: разреженный автокодировщик (sparse autoencoder); мультимодальную большую языковую модель (LLM); модуль распознавания концепций. Процесс выглядит так: Автокодировщик выделяет наиболее важные признаки внутри модели. LLM переводит их в понятные текстовые описания . Затем система автоматически помечает изображения этими концепциями. После этого модель обучается делать прогнозы только на основе выявленных концепций . В результате объяснения становятся гораздо ближе к реальному процессу работы нейросети.

Ограничение концепций для прозрачности

Чтобы сделать объяснения ещё понятнее, исследователи ввели дополнительное ограничение.

Для каждого прогноза модель может использовать не более пяти концепций .

Это даёт сразу несколько преимуществ: модель выбирает только самые важные признаки; объяснения становятся краткими; уменьшается вероятность скрытых факторов.

Результаты тестирования технологии

Новый метод протестировали на нескольких задачах компьютерного зрения.

Среди них: распознавание видов птиц; диагностика кожных заболеваний по медицинским изображениям. По результатам экспериментов система: показала более высокую точность , чем предыдущие модели объяснимого ИИ; дала более понятные объяснения прогнозов ; сформировала концепции, лучше соответствующие реальным данным. Ведущий автор исследования Антонио Де Сантис , аспирант Миланского политехнического университета, объясняет цель разработки:

«Мы хотим научиться читать мысли моделей компьютерного зрения. Использование более совершенных концепций повышает точность прогнозов и делает системы ИИ более подотчётными».

Мнение независимых экспертов

Работу высоко оценили специалисты в области науки о данных.

Профессор Вюрцбургского университета Андреас Хото отметил:

«Этот подход открывает путь к объяснениям, которые лучше соответствуют реальной работе модели, и создаёт мост между интерпретируемым ИИ, символическим ИИ и графами знаний».

Подробнее о будущей конференции, где представят исследование:

https://iclr.cc https://iclr.cc

Что это означает для будущего искусственного интеллекта

Развитие объяснимого ИИ может изменить подход к использованию алгоритмов в чувствительных сферах.

Особенно это важно для: медицинских систем диагностики; автономных технологий; научных исследований; государственных и финансовых решений. Чем понятнее алгоритмы объясняют свои выводы, тем легче специалистам проверять и контролировать их работу .

Выводы

Проблема объяснимости искусственного интеллекта активно обсуждается последние годы. По мере роста сложности нейросетей всё больше моделей становятся «чёрными ящиками», чьи внутренние процессы трудно интерпретировать.

Исследования в области Explainable AI (XAI) направлены на то, чтобы сделать алгоритмы более прозрачными и повысить доверие пользователей. Работа MIT стала одним из шагов в развитии технологий, которые помогают понять, как именно ИИ принимает решения .

Xrust https://xrust.ru/ Новый метод MIT делает ИИ более объяснимым https://xrust.ru/news/312557-novyj-metod-mit-delaet-ii-bolee-objasnimym.html

Оригинал статьи размещен в https://xrust.ru и в https://dzen.ru/xrust

Источник: vk.com

Комментарии: