ИИ, возможно, научили здравомыслию

Во всяком случае, новый метод от российских учёных заставил нейросети сомневаться в своих ответах.

Команда физиков и программистов из МИСиС и МФТИ разработала новый метод для повышения надежности нейронных сетей. Этот подход, названный Identity Curvature Laplace Approximation (ICLA), помогает ИИ более точно оценивать свою неуверенность в распознавании новых объектов и ситуаций. Это критически важно для безопасности систем, например беспилотный транспорт, медицина и финансы. Результаты исследования были представлены на Зимней конференции по компьютерному зрению (WACV 2025) и опубликованы в трудах сайта IEEE.

Современные "слабые" ИИ демонстрируют выдающиеся способности в распознавании и обработке данных. Однако у них есть недостаток, который порой свойствен и людям — чрезмерная самоуверенность в своих знаниях. Например, простая "нейронка", обученная на кошках и собаках, может ошибочно классифицировать изображение жирафа как собаку. В развлекательных целях это не страшно, но например, в автопилоте это может привести к катастрофе.

Способность системы распознавать данные за пределами своего опыта называется детектированием вне распределенных данных (OOD). Это одна из ключевых проблем безопасности ИИ.

Классический метод оценки неопределенности — байесовские методы. Они создают ансамбль моделей и оценивают их разброс. Однако этот подход требует много вычислительных ресурсов. Более простая альтернатива — аппроксимация Лапласа. Она анализирует параметры модели в окрестности наилучшего решения. Этот ландшафт можно представить как гору, где высота вершины показывает уверенность модели. Острая вершина — высокая уверенность, пологая — низкая.

Российские ученые поставили под сомнение, что точное измерение кривизны всегда полезно для OOD. Они обнаружили парадокс: на простых задачах ландшафт решений становится очень «острым», и модель теряет способность распознавать новое. Кривизна, которая должна была помочь, становится источником проблемы.

Исследователи предложили заменить сложную форму ландшафта на простую симметричную сферу. Они разработали алгоритм, который оптимизирует масштаб этой сферы под конкретную задачу. В результате получился эффективный и быстрый подход.

Тестирование на наборах данных для компьютерного зрения показало, что ICLA значительно превосходит другие методы в обнаружении OOD. При этом он не снижает точность распознавания знакомых объектов.

Работа подчеркивает, что для повышения надежности ИИ нужно упрощать модель неопределенности. Избыточная информация о геометрии решений может быть вредна. Отказ от нее позволяет нейросети лучше распознавать новое.

Станислав Дерека, аспирант МФТИ, отметил: «Наш метод практически выгоден. Он не требует дополнительных вычислений и легко применим в реальных системах. Это делает нейросети безопаснее и открывает путь к созданию надежных систем для беспилотного транспорта и медицины».

Источник: vk.com

Комментарии: