Ученые перестали понимать, как работает ИИ

Эксперты, с которыми пообщались в Quartz, говорят, что нужно действовать, пока система не стала слишком сложной. «Мы не хотим принимать за должное решения ИИ, без понимания их логики, — говорит Джейсон Йосински из Uber. — Чтобы общество приняло модели машинного обучения, мы должны знать, как ИИ принимает решения».

Проблема, которую многие эксперты называют «черной коробочкой», действительно серьезная. Предыдущий опыт показал, что ИИ имеет склонность принимать предвзятые решения и проводить аналогии там, где их не следовало бы проводить. Ошибка ИИ может обойтись очень дорого, например, во время таких операций, как космическая миссия на Марс. Аппараты находятся в 200 млн миль от Земли и стоят сотни миллионов долларов, говорит Кири Вагстафф ИИ-эксперт в Jet Propolusion Lab (NASA).

Ученые к счастью, пытаются находить методы, позволяющие понять логику искусственного интеллекта. Так, исследователь из Google Мэтра Рагху представила доклад, в котором описывается процесс отслеживания действий отдельных «нейронов» нейросети. Анализируя миллионы операций, ей удалось понять, какие из искусственных «нейронов» концентрировались на неверных представлениях, и отключить их. Это доказывает, что перевод работы нейросетей в форму, доступную для понимания человека, — не такая уж невозможная задача. «Это похоже на то, как школьные учителя просят детей пересказать своими словами, что они поняли из объяснений учителя», — говорит Вагстафф.

Принцип глубокого обучения был создан по аналогии с работой мозга. Однако ученые решили проверить, на самом ли деле человек усваивает информацию таким образом. Оказалось, что человеческие нейроны действительно идеально подходят для приемов глубокого обучения.