Обучение с подкреплением избавило LIGO от шумов оборудования

Ученые из Google Deepmind совместно с лабораторией LIGO разработали нейросеть, снижающую шумы в детекторе гравитационных волн. Благодаря обучению с подкреплением уже удалось снизить шум в зеркалах, вызванный системой стабилизации, до ста раз, что позволит LIGO детектировать начальные этапы слияний нейтронных звезд, а также слияния черных дыр средних размеров. Об этом говорится в статье, опубликованной в журнале Science.

В 2015 году гравитационно-волновая обсерватория LIGO впервые зафиксировала гравитационные волны, открыв новый метод наблюдения за черными дырами и нейтронными звездами. Обсерватория включает два объекта, каждый из которых представляет собой лазерный интерферометр Майкельсона с плечами длиной четыре километра, в конце которых подвешены зеркала. Гравитационные волны в таком детекторе обнаруживают через изменение длин плеч интерферометра на расстояния в 10000 раз меньше диаметра протона, а потому даже малейшие шумы в конструкции могут помешать наблюдениям.

Для борьбы с сейсмическими шумами выше 10 герц зеркала подвешены на цепочке маятников, а против сейсмических колебаний ниже 10 герц и колебаний зеркал, вызванных мощными лазерными пучками, в установке предусмотрен линейный контроллер с обратной связью, датчики которого постоянно считывают наклон зеркала и, если нужно, выравнивают его. Но есть проблема: на частотах от 10 до 30 герц внутренние шумы датчиков контроллера становятся на несколько порядков интенсивнее шумов от колебаний зеркал, из-за чего контроллер не только не видит и не устраняет их, но и создает дополнительные помехи, пытаясь избавиться от своих же шумов. В результате астрофизики теряют доступ к наблюдениям в диапазоне частот, на которых нейтронные звезды можно обнаружить на ранних этапах слияния.

Чтобы избавиться от шума из-за активной стабилизации, группа исследователей из Великобритании, Италии и США под руководством Йонаса Бюхли (Jonas Buchli) из Google Deepmind предложила использовать для коррекции шума нейросеть, обученную с подкреплением.

Для достаточно быстрой реакции контроллера на колебания был выбран небольшой многослойный перцептрон, а для того, чтобы модель могла анализировать колебания зеркала во времени, на вход нейросети добавили свертку с дилатацией. Для обучения перцептрона с подкреплением использовался «критик» — более сложная нейросеть с долгой краткосрочной памятью, которая оценивала, насколько эффективным было поведение перцептрона. Затем в согласии с критиком алгоритм оптимизации по максимуму апостериорной вероятности (MAP-оптимизация) корректировал веса перцептрона так, чтобы его новая стратегия была лучше, но не сильно отличалась от старой (для стабильности).

Нейросеть обучали на точном симуляторе обсерватории LIGO, с учетом внутренних шумов датчика, сейсмических шумов и шумов от лазера, которые иногда специально усиливали. Весь процесс обучения представлял собой игру, в которой перцептрон старается получить максимальный балл за снижение шума в детекторе. За каждый ход перцептрон должен был проанализировать предыдущие 256 измерения датчика и выбрать действие над зеркалом, после чего симуляция LIGO моделировала изменение системы и выдавала награду следующим образом. В каждой из трех частотных областей: низкочастотной, в полосе от 8 до 30 герц и в высокочастотной области выше 40 герц был свой фильтр частот, который выдавал числа от 0 до 1 (после применения к значениям сигмоидной функции), где 0 означал, что шумы в этом диапазоне очень громкие, а 1 — что шумы ниже заданного порога. Эти три значения перемножались, так что для получения наивысшей награды перцептрону требовалось занизить шумы во всех трех диапазонах. В конце хода MAP-оптимизация согласно данным критика меняла стратегию перцептрона. Успешное прохождение игры означало, что модель подходит для финального теста и использования на реальном детекторе.

После обучения модель перцептрона сделали более стабильной и предсказуемой, заменив ее стохастические действия на усредненные, а также еще раз протестировали модель на симуляторе в экстремальных условиях и проанализировали полученное вознаграждение и спектры шумов. Только после этого итоговая версия перцептрона (без критика и MAP-оптимизатора) была готова для использования в реальной обсерватории LIGO в Ливингстоне.

Нейросеть загрузили на место прежнего линейного контроллера без изменения оборудования и дополнительного обучения на реальном объекте. В результате работы контроллера суммарно более часа он продемонстрировал устойчивость к сейсмической активности и снизил шумы в полосе от 10 до 30 герц на два порядка, опустив их ниже квантового предела — физической границы, после которой наблюдениям мешают только квантовые флуктуации! Это означало, что в результате прохождения «игры» модель научилась игнорировать шум датчика, работая только с реальными шумами.

Подробнее про гравитационные волны и детектор LIGO вы можете почитать в нашем материале «На гребне метрического тензора».