Ученые Плехановского университета предложили принципиально новую архитектуру скрытого слоя для резервуарных нейросетей

Ученые Плехановского университета предложили принципиально новую архитектуру скрытого слоя для резервуарных нейросетей, которые помогают прогнозировать поведение сложных систем — например, погодных явлений и нервных клеток. Вместо случайных связей авторы построили резервуар из плотно связанных групп искусственных нейронов и изолированных узлов.

Такой подход в разы уменьшил ошибку прогноза, в десятки раз сократил число необходимых соединений и сделал алгоритм менее чувствительным к случайному выбору структуры нейросети. Это открывает путь к созданию компактных и энергоэффективных резервуарных компьютеров для медицины, климатологии и промышленности. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Chaos.

Многие природные и инженерные системы — от погоды и активности мозга до управляющих контуров в электронике — демонстрируют сложное, нелинейное поведение, прогнозировать которое традиционными методами крайне трудно. Для таких задач все чаще применяют резервуарные вычисления — класс нейросетей, где обучается только выходной слой, а внутренняя структура (резервуар) остается фиксированной. Это делает алгоритм быстрым и нетребовательным к вычислительным ресурсам.

Однако в скрытом (базовом) слое классических резервуаров, на котором строятся все операции, нейроны связаны между собой случайными связями, то есть хаотично. Из-за этого качество предсказаний сильно зависит от конкретной реализации связей: даже при одних и тех же настройках одна случайная сеть может работать отлично, а другая — плохо. Кроме того, избыточное количество связей усложняет физическую реализацию таких систем, особенно на интегральных схемах.

Ранее исследователи из Российского экономического университета им. Г. В. Плеханова и Саратовского национального исследовательского государственного университета им. Н. Г. Чернышевского в рамках междисциплинарного проекта РНФ, выполняемого в Национальном исследовательском университете «Высшая школа экономики», усовершенствовали работу алгоритма резервуарных вычислений, изменив метод подачи данных так, чтобы нейросеть могла автоматически подстраиваться под временные масштабы сигнала. Это можно сравнить с настройкой микроскопа на нужное увеличение, чтобы разглядеть как общую картину, так и мелкие детали.

В новой работе исследователи из РЭУ им. Г. В. Плеханова в рамках проекта РНФ по поддержке лабораторий мирового уровня предложили кардинально перестроить сам резервуар, чтобы дополнительно повысить его точность. Исследователи внесли изменения в архитектуру алгоритма — своего рода «мозг» нейросети. Вместо случайных связей ученые организовали упорядоченную систему из блоков — плотно связанных групп искусственных нейронов (например, треугольников или тетраэдров) — и отдельных изолированных узлов, не соединенных друг с другом. Такая упорядоченная структура оказалась гораздо эффективнее.

Ученые сравнили резервуары с обычными связями и блоками из трех (треугольники), четырех (тетраэдры) или пяти (пентаэдры) элементов при решении трех сложных задач: прогнозировании нейронной динамики, предсказании математических систем, описывающих динамику атмосферы и химические реакции, а также восстановлении скрытых сигналов электроэнцефалограммы (ЭЭГ).

Результаты показали, что переход от случайных связей к системе из четырех блоков искусственных нейронов позволяет в четыре раза уменьшить ошибку прогноза. При этом число блоков (и, соответственно, связей), необходимых для достижения заданной точности, сокращается примерно в 30 раз. Кроме того, резервуары, состоящие из блоков, оказались гораздо менее чувствительны к случайному выбору начальной конфигурации нейросети: их производительность оставалась стабильно высокой, что упрощает их настройку при практических применениях.

«Наша архитектура не просто улучшает существующие алгоритмы — она меняет сам принцип организации вычислительного ядра резервуарного компьютера. Мы показали, что использование даже одного правильно подобранного тетраэдра вместе с изолированными нейронами дает точность, сравнимую с плотными случайными сетями, но при несравнимо меньших затратах на связи. В ближайшее время мы планируем адаптировать этот подход для работы с большими многоканальными данными (например, записями ЭЭГ высокой плотности или массивами датчиков) и разработать практические руководства по проектированию резервуарных компьютеров на основе блоков из искусственных нейронов для реальных приложений — от портативных нейроинтерфейсов до предиктивной аналитики в энергосистемах. Кроме того, мы намерены изучить возможность реализовать физическое воплощение таких структур, где ограниченная связность имеет решающее значение»,— рассказывает руководитель проекта, поддержанного грантом РНФ, Александр Храмов, доктор физико-математических наук, директор Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ им. Г.В. Плеханова.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: