Могут ли простые модели предсказывать финансовые тренды лучше сложных

Исследователи проверяли, справляются ли простые модели с анализом сложных финансовых данных лучше, чем базовые алгоритмы. Они предложили метод на основе линейной регрессии с регуляризацией, который учитывает соотношение сигнал-шум (SNR). Этот подход позволяет экономить до 30% от доходности портфеля по сравнению с классической стратегией «короткая продажа».

Заголовок (оригинал): Learning to Optimize with Meta-Learning

Абстракт (оригинал): We propose a meta-learning approach to optimize the hyperparameters of reinforcement learning (RL) algorithms. Our method, called MetaOpt, learns to adjust the exploration-exploitation tradeoff by leveraging past experiences from multiple tasks. Empirical results show that MetaOpt outperforms traditional hyperparameter tuning methods by 15% in average task performance.

Можно ли автоматически подбирать параметры для обучения нейросетей

Авторы ищут способ быстрее подбирать параметры для алгоритмов обучения с подкреплением (RL), чтобы они работали лучше. Они предложили метод MetaOpt, который на основе прошлого опыта выбирает баланс между изучением и использованием. Такой подход улучшает результат на 15% по сравнению с ручным подбором параметров.

Конспект:

Является ли сложность панацеей? Обучающая способность моделей случайных признаков для финансового прогнозирования

Этот подход проверяет, насколько сложные закономерности в финансовых данных могут выявить модели с случайными признаками — не только простую отрицательную автокорреляцию. Авторы выяснили, что способность такой модели обучаться зависит от соотношения сигнала и шума и от степени регуляризации, а также вывели пороговое значение — «фронтир SNR», который помогает подобрать минимальное наказание для модели, чтобы избежать ухудшения качества сигнала при обучении. На практике метод применили к прогнозированию премий за риск на акции и использовали результаты для построения портфелей с оптимальным соотношением риск-доходность, которые показали заметное преимущество перед стратегией на основе краткосрочных реверсий.

Введение

Исследования в области ценных бумаг активно используют сложные нейронные сети, но их сложность заставляет учёных изучать их способности с помощью простых, но близких моделей — например, случайных функций признаков. Оказалось, что линейная версия нейронных сетей — ridge-регрессия с случайными признаками — демонстрирует «благоразумное» переобучение, когда у неё больше параметров, чем в обучающих данных. Однако реальные финансовые данные отличаются: слабые сигналы, много шума и меняющиеся зависимости между ценами и факторами. В таких условиях даже простые методы, как нулевой прогноз (реверсия), могут давать лучше результаты, чем сложные модели при отсутствии регуляризации. Вопрос в том, способны ли случайные функции признаков эффективно справляться с этими вызовами. В этой работе исследуют, как алгоритм RFRR справляется в условиях низкого уровня сигнал-шум (SNR) и медленно меняющихся данных. Основной вывод — существует граница SNR, которая определяет, когда один подход лучше другого: при…

Предсказуемость доходности акций

В 80-х годах появилась идея, что доходность акций можно предсказывать, основываясь на корреляциях с экономическими показателями — ещё Фама и Шверт, Кэмпбелл и Шиллер нашли такие связи. Позже Уэлч и Гойал поставили под сомнение применимость этих индикаторов на новых данных, но это спровоцировало разработку новых подходов для прогноза активов за рамками простых линейных моделей. Сейчас в литературе доминируют сложные методы — от высокоразмерных моделей до машинного обучения, которые постепенно вытесняют классические линейные регрессии, хотя их точность на практике остаётся спорной.

Регрессия с регуляризацией «ridge» на случайных признаках

Метод *random features ridge regression* (RFRR) появился в 2007 году как приближение к ядерной регрессии с ридж-регуляризацией и позже получил анализ свойств обобщения. В последние годы его интересуют за счёт связи с нейронными сетями в режиме «ленивого обучения», где ошибка на тестовой выборке активно изучается — особенно в работах последних лет. В отличие от предыдущих подходов, где предполагали нормальное распределение данных и весов или сфероидное распределение на единичной сфере, мы используем более гибкую модель с предварительным распределением для собственных функций этих переменных. Наш подход сочетает в себе свойства гауссова случая и концентрационных неравенств, что позволяет охватить широкий спектр распределений, не ограничиваясь сферическими структурами.

Анализ вне распределения

В исследованиях точных оценок ошибок статистических оценщиков мало внимания уделялось их поведению вне распределения обучающих данных. Например, авторы показали, как ошибка тестового набора линейного регрессора с регуляризацией (ridge) меняется при сдвиге данных или неверной спецификации модели, но для методов типа RFRR (регрессия с случайными признаками) таких анализов почти нет — только две работы изучили, как они работают при сдвиге признаков. Интересно, что при бесконечном числе случайных признаков RFRR превращается в ядерный регрессор с регуляризацией, но его изучение вне распределения опирается на спорные методы статистической физики. Между тем, сдвиг параметров модели (постерьерный дрифт) может быть ещё опаснее для обобщения, особенно в табличных данных с пропущенными переменными или скрытыми факторами.

Процесс генерации данных и стратегия обучения

Метод основан на предположении, что данные генерируются из независимых выборок, где зависимая переменная — это, например, доход на акцию, а независимые признаки — это макроэкономические индикаторы. В модели используются случайные функции (random features), которые аппроксимируют целевую функцию через ортогональный базис, а в процессе обучения применяется регрессия с риджа (ridge regression) для нахождения весов. При этом ошибка предсказания разбивается на оценку и неискоренимую составляющую, связанную с дисперсией шумовых компонент. В этой части сравнивают точность оценок, сосредоточившись на их ошибках, так как основной интерес к сравнению — именно разница в результатах. Далее рассматриваются детали спектральных свойств случайных признаков, которые важны для понимания, как они влияют на процесс генерации данных и стратегию обучения.

Пространство признаков

В этой части описывается переход в удобное пространство признаков, где функции из пространства L_2(P_x) отображаются в подпространство mathcal{V} с помощью интегрального оператора T_varphi, который по теореме Гильберта–Шмидта разлагается в спектральную сумму. Авторы строят новые признаки H и W (матрицы размером n times infty и p times infty) через ортонормированные базисы собственных функций и используют их для представления случайных признаков Z в виде p^-1/2 H F'. В этом пространстве ожидаемые значения скалярных произведений признаков сводятся к диагональной матрице Sigma с квадратами собственных значений оператора, а матрица H становится единичной.

Предположения

В работе делается предположение о том, что обучающая и тестовая распределения параметризуются одинаковыми матрицами ковариаций и разными векторами смещений, но с одинаковыми дисперсиями. Это позволяет разделить задачу на два режима: когда параметры совпадают, и когда смещение в обучающей выборке отличается, но дисперсия остаётся одинаковой. Грубый истинный параметр моделируется как произведение трёх компонент: сигнала (сcalar ?), распределения этого сигнала по собственным направлениям матрицы ковариаций через функцию s(??), и случайной векторной составляющей b_is с подгауссовыми элементами. Первая часть гарантирует, что вектор имеет фиксированную норму, а вторая и третья — обеспечивают его случайный характер, что напоминает подходы к случайным коэффициентам в финансовой статистике и динамическим моделях. В этой части рассматривают, как поведение целевых коэффициентов модели связывают с направлениями данных через *source function* (функцию источника). Если этот источник показывает…

Метрики производительности

Авторы оценивают эффективность метода RFRR не по сравнению с историческими средними доходов акций (как это часто делают), а по базовой нулевой оценке — просто нулю. Такой подход строже, потому что исторические средние не дают преимущества даже для отдельных акций, но становится менее критичным для агрегированных индексов или портфелей с длинными и короткими позициями. Метод вычисляет ошибку через три компоненты: *биас* (смещение), зависящий от точности аппроксимации ядра и степени соответствия параметров реальности, а также *дисперсию*, связанную с эффективной размерностью модели (степенью свободы) и спектральными свойствами ковариаций. Эти параметры определяются через соотношение сигнала и шума и два фиксированных значения регуляризации, которые учитывают разницу между эмпирической и теоретической ковариацией. Этот раздел объясняет, как вычисляются эффективные параметры регуляризации для метода случайных признаков, когда их количество стремится к бесконечности. Авторы вводят два…

Относительная производительность модели RFRR в рамках распределения

Эксперимент показывает, что метод RFRR сохраняет относительное преимущество по сравнению с нулевым прогнозом даже при условии, что распределение меток не меняется вне выборки. Определён точный вариант ошибки для оценщика RFRR и выявлены параметры, при которых он работает лучше базовой линии. При этом изучается, как работает RFRR при изотропных целевых коэффициентах — и как он обобщается на новые данные.

Детерминированный эквивалент

Метод предполагает, что модель остаётся неизменной между обучением и тестированием, то есть её параметры (ковариационная матрица, коэффициенты и дисперсия шума) совпадают в обеих фазах. Тогда для оценщика RFRR (random features ridge regression) выводится детерминированное выражение для относительной ошибки теста — это разница между байесовским риском оценщика и избыточной ошибкой нулевого прогноза. Эксперимент показывает, что при выполнении двух технических условий (например, о разумной сложности сигнала и ограничениях на рост оценки) ошибка аппроксимации детерминированного выражения ограничена с высокой вероятностью. Важно, что граница зависит от риска самого оценщика, что полезно даже когда ошибка стремится к нулю. Подобные результаты ранее получали для линейной и ядерной регрессии, но здесь впервые применили к RFRR.

Тривиальная предвзятость и порог SNR

В работе показано, что алгоритм RFRR может уступать простому нулевому оценщику в двух случаях: либо из-за тривиальной завышенной ошибки оценки параметров (когда смещение превышает тестовый риск нулевого прогноза), либо при низком соотношении сигнал/шум (SNR), когда пороговое значение этого соотношения делает RFRR менее эффективным. При этом в пределе большого количества выборок (n ? ?) пороговое SNR стремится к нулю, а в пределе высокой размерности (p ? ?) его аналитическое выражение становится сложным, зависящим от параметра ? и требующим решения уравнения с самосогласованной функцией. При увеличении регуляризации оценщик RFRR всё ближе подходит к нулевому, но при этом остаётся лучше его по метрике предсказания, что подтверждает результаты теоремы из работы Shen и Сиу (2025).

Минимальный уровень регуляризации и устойчивость к сдвигу апостериорного распределения

Эксперимент анализирует данные по рыночным доходам (CRSP) с 1930 по 2020 год, где сигнал от макроэкономических факторов слабый — его дисперсия в сотни раз меньше шума, а стандартное объяснительное качество (R?) редко превышает 5%. Авторы оценивают минимальный уровень регуляризации для метода RFRR, чтобы он не уступал простому среднему возврату даже при ухудшении сигнала в тестовой выборке. Подход использует случайное отображение признаков с ядром косинуса и оценивает параметры шума через историческую волатильность (5,42% ежемесячно), заполняя пробел в оценке соотношения сигнал/шум в слабосигнальном сценарии. Этот подход помогает выбрать минимальный уровень регуляризации, который защищает модель от ухудшения сигнала в тестовой фазе. Авторы определяют пороговое значение параметра ?_min так, чтобы относительная ошибка не превышала допустимого уровня при заданном риске потери сигнала (SaR). Например, чтобы гарантировать защиту от 99,99% падения сигнала, нужно использовать ? больше 0,14, а…

Стратегия торговли

Метод строит простую стратегию для реального трейдинга на основе обучения с подкреплением, но вместо этого использует подход с регулярной оптимизацией и случайными фурье-фичами. Сначала настраиваются параметры модели по данным с января 1930 по декабрь 1989, а затем вычисляется сигнал-шумный коэффициент на основе скользящего 10-летнего окна. Далее выбирается минимальная степень регуляризации, чтобы превзойти нулевую оценку, и делается 500 прогнозов будущего рынка с использованием метода RFRR, после чего усредняется результат. Порядок действий повторяется ежемесячно с января 1990 по декабрь 2020, а сравнивается с простым подходом к краткосрочному обратному движению цен. Оценка эффективности строится через доходность с учетом риска, показывая, сколько риск-averse инвестор готов заплатить за информацию в прогнозах. В итоге получается таблица с годовой доходностью и статистическими значениями для разных ограничений на позицию и уровней страхования от риска. Метод RFRR показывает стабильные…

_Показан неполный конспект (всего секций: 19)._

Оригинал статьи: https://arxiv.org/abs/2610.27255

Телеграм: t.me/ainewsline

Источник: arxiv.org

Комментарии: