Исследователи из Сиднейского университета показали, почему нейронные сети могут обучаться по-разному даже при одинаковых данных, одинаковой процедуре обучения и полностью детерминированной

Исследователи из Сиднейского университета показали, почему нейронные сети могут обучаться по-разному даже при одинаковых данных, одинаковой процедуре обучения и полностью детерминированной вычислительной среде. Работа профессора Пулина Гонга и аспиранта Эндрю Ли опубликована в Nature Machine Intelligence. Причина не только в случайном порядке подачи данных или аппаратных сбоях. Даже крайне малые различия в исходных настройках модели способны привести к другому результату обучения.

Для объяснения ученые строят карту обучения. Каждая точка на ней — один возможный вариант начальных параметров сети. Цвет точки показывает, к какому итоговому поведению придет модель после обучения. Области одного цвета называют бассейнами притяжения: из них сеть приходит к одному и тому же решению. Главное свойство такой карты — фрактальность. Границы между областями устроены так, что внутри зоны одного цвета на любом масштабе встречаются вкрапления другого цвета. При увеличении картина не распадается на чистые области: разные исходы остаются перемешанными. Поэтому небольшая поправка стартовых параметров может перевести обучение в совершенно другой бассейн. Карта показывает, что высокая точность начальной настройки не гарантирует предсказуемость итоговой модели.

Исследователи обучили около 500 000 нейронных сетей для распознавания изображений и обработки текста. Признаки фрактальной структуры нашли в разных архитектурах, наборах данных и методах обучения. В одной крупной сети повышение точности начальных настроек в 10 миллиардов раз не дало заметного улучшения воспроизводимости. Изменение стартовой конфигурации на 1 бит почти в 48 % случаев меняло внутреннюю конфигурацию после обучения.

Значение работы в том, что она объясняет давнюю изменчивость ИИ и предлагает измерять чувствительность обучения. Выявлен и компромисс: настройки, ускоряющие обучение, делают результат менее воспроизводимым, а снижение скорости обучения повышает стабильность ценой эффективности. Непредсказуемость оказывается фундаментальной особенностью многих сетей, а не простым техническим дефектом. Это важно для надежности ИИ в медицине, бизнесе и научных исследованиях.

Nature Machine Intelligence (https://www.nature.com/articles/s42256-026-01336-3)

Телеграм: t.me/ainewsline

Источник: www.nature.com

Комментарии: