Интерпретация строения мозга с помощью рекуррентных нейронных сетей

Коннектомика — область науки, изучающая работу мозга с помощью анализа и построения карты нейронных связей. Она помогает лучше понять сложную структуру нервной системы организма. Из этой статьи вы узнаете, как исследователи из Google AI и Института нейробиологии Макса Планка используют новый тип рекуррентной нейросети, которая на порядок повышает точность обработки данных коннектомики.

Чтобы разобраться в работе биологических нейронных сетей, необходимо визуализировать мозговую ткань в 3D с разрешением порядка нанометров. Обычно это делается с помощью электронных микроскопов. Затем полученные изображения анализируются для отслеживания нейритов и идентификации отдельных синаптических соединений. 

Разрешение снимков очень высокое, из-за чего кубический миллиметр мозговой ткани может занимать более 1000 терабайт! Поэтому основная проблема составления карты мозга заключается не в получении данных коннектомики, а в автоматизации их интерпретации.

Сегментация трёхмерного изображения

Отслеживание нейритов на снимках с электронного микроскопа — пример сегментации изображений. Современные алгоритмы, автоматизирующие этот процесс, разделяют задачу на два этапа. Сначала выполняется поиск границ между нейритами с помощью классификатора или детектора границ. Для этого используется информация об интенсивности вокселов. Затем вокселы, которые не разделены границей, группируются в отдельные сегменты посредством методов водораздела или разреза графа.

В 2015 году компания Google AI начала эксперименты с альтернативным подходом, который объединяет в себе эти два шага. Они добавили к входному классификатору ещё один канал с картой прогнозируемых объектов, что привело к созданию рекуррентной модели.

Алгоритм анализирует участок изображения и итеративно заполняет отдельные области с помощью свёрточной нейросети. Сеть прогнозирует, какие вокселы являются частью изначально обнаруженного сегмента. С 2015 года исследователи проделали огромную работу для того, чтобы применить этот подход к наборам данных коннектомики и тщательно оценить его точность. Реализация получила название “Flood-Filling Network” (FFN).

Flood-filling network и сегментация

FFN имеет два входных канала: один для 3D-изображений, другой — для текущего состояния карты прогнозируемых объектов (Predicted Object Map, POM). POM использует вещественный диапазон значений от 0 до 1 и кодирует оценку принадлежности воксела к сегментируемому объекту. На каждой итерации данные POM обновляются для всех вокселов в текущем поле зрения нейросети, а затем снова отправляются на вход.

Перед началом сегментации нового объекта поле зрения сети центрируется на исходном элементе. Значение POM для него устанавливается равным 0.95, а для всех остальных вокселов — 0.05. Веса смещаются к 1 и 0, чтобы избежать переобучения.

После каждой итерации значения весов корректируются с помощью стохастического градиентного спуска с кросс-энтропийными (логистическими) потерями для всех вокселов. Порядок перемещений по сегментам при этом случайный.

Архитектура нейросети

В основе FFN лежит 19-слойная 3D-CNN (трёхмерная свёрточная нейросеть) со слоями без дополнения (SAME) — это значит, что для каждого слоя вход и выход имеют одинаковый размер. Во всех слоях используется функция активации ReLU, ядра 3x3x3 и карта признаков размером 32 (кроме последнего слоя). Последний слой выполняет свёртку по вокселам, объединяющую входные данные от всех карт признаков (размер ядра 1x1x1).

Сегментация

Обобщённый процесс сегментации состоит из трёх шагов:

1. Выравнивание: на этом этапе выполняется обработка исходных изображений методом кросс-корреляции соседних трёхмерных секций. Это помогает найти неровности и сдвиги в структурах. Исследователи повысили точность процесса, используя алгоритм упругого выравнивания.
2. Сегментация клеток: части снимков, соответствующие внутренностям клеток, сегментируются с помощью FNN. Вокселы предварительно размечаются классификатором по типам тканей.
3. Сегментация скоплений клеток: поле зрения FNN ограничено вокселами, которые помечены как участки клеток. Поскольку процесс их обработки итеративно выполняется по отдельным сегментам, нейросеть может упустить места соединений клеток и создать разрывы. Чтобы избежать этого, проводится дополнительная сегментация и слияние секций по всему объему исходных данных.

Измерение точности

Google AI совместно с учёными из Института когнитивистики и нейробиологии Общества Макса Планка разработали новую метрику точности, которую назвали «ожидаемая длина пробега» (Expected Run Length, ERL). Её название пришло из вопроса, на который исследователи искали ответ: «Как далеко можно проследить нейрон из произвольной заданной точки на трёхмерном изображении, прежде чем допустить ошибку?» 

Эта метрика — частный пример средней наработки на отказ, но в этом случае измеряется длина пространства между ошибками, а не время. ERL связывает отслеживаемый путь с частотой отдельных ошибок, допущенных алгоритмом. Для исследователей это играет важную роль, поскольку конкретные числовые значения ERL могут указывать на биологически значимые величины, такие как средняя длина пути нейронов в разных частях нервной системы.

Как выглядит мозг певчих птиц

Исследователи применили метрику ERL в процессе обработки участка мозга зебровой амадины. Объём составляет 1 млн кубических микрон.

Учёные сегментировали каждый нейрон в небольшой части мозга зебровой амадины с помощью нейросети. Это действительно завораживает:

Работа FNN пока ещё требует дополнительного исправления ошибок вручную. Но автоматизация вносит существенный вклад: сотрудники Института Макса Планка теперь могут глубже изучать мозг певчих птиц. Это приблизит их к пониманию того, как именно зебровые амадины поют свои песни.

Глубже в разум

Компания Google AI собирается совершенствовать технологию реконструкции коннектомики, чтобы полностью автоматизировать этот процесс. Также она открыла исходный код нейросети и ПО для визуализации 3D-изображений с помощью WebGL. 

А какие тайны мозга интересуют вас? Может, вы тоже хотите знать, почему поют птицы, или что говорит ваш кот? Делитесь интригующими вопросами в комментариях!

С оригинальными материалами можно ознакомиться в блоге Google AI и на сайте biorxiv.org.