Искусственный интеллект научился осознавать, когда он недостаточно умен

Нейросети научились определять, когда они недостаточно компетентны. Такое качество необходимо искусственному интеллекту, который принимает решения в областях, влияющих на жизнь людей.

Помимо трех законов робототехники искусственному интеллекту понадобится еще обязательное понимание пределов своих возможностей, заявили ученые. Нейронные сети с глубоким обучением предназначены для имитации человеческого мозга, взвешивая множество факторов и выявляя закономерности в массивах данных, которые люди не в состоянии проанализировать. Однако такая система должна осознавать случаи, когда она ненадежна, рассказывает Science Alert. 

«Нам нужна способность не только иметь высокопроизводительные модели, но и понимать, когда мы не можем доверять этим моделям», — сказал автор новой разработки, программист Александр Амини из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) в США.

Новый критерий оценки получил название Deep Evidential Regression (DER, глубокая доказательная регрессия). Он основывается на качестве доступных данных, с которыми нейросеть будет работать — чем точнее и полнее обучающие данные, тем более вероятно, что решения ИИ будут надежны.

Хотя аналогичные меры безопасности были встроены в нейронные сети и раньше, система DER выделяется скоростью реакции: ее можно выполнить за один проход по сети, а не за несколько, и уровень достоверности предоставляется одновременно с решением.

Исследователи протестировали новую систему, заставив ее определять глубину в разных частях изображения, так же как беспилотный автомобиль может определять расстояние. Одновременно нейросеть оценивала свою неуверенность. Случаи, в которых ИИ отметил, что не уверен, совпали с ошибочной оценкой, которую давала нейросеть.

Отдельно сеть могла отмечать случаи, когда она сталкивалась с изображениями за пределами своей обычной компетенции (которые сильно отличаются от данных, на которых она была обучена). Например, в медицине это будет означать, что требуется срочное вмешательство врача-человека.

Даже если нейронная сеть права в 99% случаев, 1% ошибок может иметь серьезные последствия. Исследователи уверены, что встраивание Deep Evidential Regression в нейросети повысит безопасность в режиме реального времени.

Фото: Shutterstock