AR-Net: нейросеть для моделирования временных рядов

Исследователи из FAIR и Stanford University опубликовали новую нейросетевую архитектуру для моделирования временных рядов. AR-Net комбинирует в себе преимущества традиционных статистических моделей и нейросетей. Моделирование временных рядов применяется для прогнозирования и распознавания аномалий. Классические модели, как авторегрессия (AR), не способны справиться с большими объемами данных для обучения. В особенности это актуально для данных, которые содержат в себе длительные нелинейные зависимости. Несмотря на это, их преимущество по сравнению с нейросетевыми подходами заключается в интерпретируемости модели и ее легковесности.

Чтобы обойти ограничения по масштабированию статистических моделей, в обработке естественного языка используют sequence-to-sequence модели. В частности методы, которые основаны на RNN. Такие методы позволяют получить более выразительную модель. Несмотря на то, что RNN-методы хорошо масштабируются на большие объемы данных, они могут быть слишком сложными для типичных временных рядов. Это может результировать в невозможность интерпретировать результаты модели. Исследователи фокусируются на необходимости создать масштабируемую и интерпретируемую модель для моделирования временных рядов. AR-Net улучшает классические авторегрессионные модели с помощью дополнительной полносвязной сети. Полносвязная модель не только так же интерпретируема, как и авторегрессия, но и масштабируема и проста в использовании.

Как работает AR-Net

Архитектура AR-Net имеет два преимущества перед традиционной статистической моделью:

• AR-Net может улавливать длительные последовательности зависимостей. Это важно для случаев мониторинга высокочастотных данных;
• Модель автоматически выбирает и оценивает важные коэффициенты из авторегрессии

Рассмотрим временной ряд  y1 , … , yt, выраженный как процесс в авторегрессионной модели. Чтобы предсказать следующий временной шаг yt, каждая прошлая величина из y умножается на выученный wi вес. Это вес называется коэффициентом авторегрессионной модели. 

Если учитывается длительный порядок предшествующих данных, традиционные подходы обучаются медленнее. В AR-Net это обходят с помощью обучения нейросети с ст

охастическим градиентным спуском. Нейросеть выучивает коэффициенты авторегрессионной модели. AR-Net справляется с предсказанием временных рядов так же хорошо, как и статистическая модель. При этом имеет преимущество при обучении модели на высокочастотных данных.