Ученые заглянули внутрь «черного ящика» нейросети

Специалисты IBM и Гарвардского университета разработали инструмент для визуализации процесса принятия решений нейронной сети при переводе с одного языка на другой.

Благодаря успехам в глубоком обучении машинный перевод делает в последние годы большие успехи. Однако цена этого прогресса — отсутствие четкого понимания того, что происходит внутри нейросети, а значит, и того, как исправить возникшие ошибки. Такие, например, как перевод на иврит арабского «доброе утро» фразой «в атаку» в прошлом году.

Эту «проблему черного ящика», или прозрачности нейросети, и должен решить созданный в IBM и Гарварде инструмент Seq2Seq-Vis, который разработчики представили на конференции по визуальной аналитике и технологии в Берлине, пишет VentureBeat.

Хендрик Штробельт из IBM Research сравнивает процесс отладки традиционной программы по переводу с использованием телефонной книги. Если что-то идет не так, можно заглянуть в книгу и найти правило, которое привело к ошибке, и исправить его.

Проблема в том, что в сложных нейросетях создать такую книгу непросто. Поэтому разработчики заменили ее на новый инструмент.

Seq2Seq-Vis основан на модели «sequence-to-sequence», архитектуре искусственного интеллекта, которую используют в большинстве современных систем машинного перевода. «Модели sequence-to-sequence могут обучаться превращать входящее предложение произвольной длины в исходящее предложение произвольной длины», — поясняет Штробельт.

Инструмент Seq2Seq-Vis создает визуальное представление различных этапов процесса перевода. Так наблюдатель сможет проверить каждое решение и найти причину ошибки. Также модель показывает, как каждое слово в исходном и конечном тексте связано с примерами, на которых обучалась нейросеть.

Таким образом, с помощью этого визуального инструмента пользователь может определить, произошла ли ошибка из-за неправильного примера, неверной конфигурации «модели внимания» или алгоритма поиска.

Компания IBM всерьез озабочена проблемой предвзятости ИИ и разработала для ее решения цифрового эксперта — AI Fairness 360. С его помощью можно проверить, есть ли у используемого алгоритма нежелательные предубеждения.

Источник: venturebeat.com

Комментарии: