Цель исследований в коннектомике — подробно картировать «электрическую схему» мозга, чтобы понять, как он работает. Плодовая мушка дрозофила (Drosophila melanogaster) хорошо зарекомендовала себя как модельный организм в биологии. Восемь Нобелевских премий были присуждены за исследования дрозофил, приведшие к прогрессу в области молекулярной биологии, генетики и неврологии. Важное преимущество мух — их размер: мозг этих насекомых относительно мал (сто тысяч нейронов) даже по сравнению с мозгом мыши (сто миллионов нейронов), не говоря уже о мозге человека (около девяноста миллиардов нейронов). Поэтому мозг дрозофилы исследователям проще изучать как цельную схему. В частности, на днях подразделение Google, занимающееся искусственным интеллектом, в сотрудничестве с исследователями из Медицинского института Говарда Хьюза (Howard Hughes Medical Institute) опубликовало результаты работы по автоматизированной реконструкции полного мозга дрозофилы. К результатам предоставлен открытый доступ для скачивания и просмотра в интерактивном режиме.
Сотрудники Медицинского института Говарда Хьюза разделили мозг мухи на тысячи ультратонких 40-нанометровых срезов и отсканировали каждый из них с помощью просвечивающего электронного микроскопа. В результате этого получилось более 40 триллионов пикселей изображений мозга. Затем исследователи из Google AI преобразовали 2D-изображения в соответствующее объёмное изображение всего мозга дрозофилы. Используя тысячи облачных процессоров, они применили закрашивающие сети (Flood-Filling Networks, FFNs), автоматически отслеживающие каждый отдельный нейрон в мозгу дрозофилы. Хотя алгоритм в целом работал хорошо, учёные обнаружили, что производительность ухудшилась, когда совмещение изображений было неидеальным (визуальный контент последовательно идущих один за другим фрагментов не совмещался) или когда, по разным причинам, отсутствовали один или несколько последовательных фрагментов. Чтобы решить эту проблему, исследователи объединили закрашивающие сети с двумя новыми процедурами. Сначала оценили «слитность» трёхмерного изображения от среза к срезу, затем локально стабилизировали содержимое изображения по мере того, как закрашивающая сеть отслеживала каждый нейрон. Потом учёные использовали Segmentation-Enhanced CycleGAN (SECGAN) для восполнения «галлюцинациями» недостающих фрагментов в объёме изображения. SECGAN — это разновидность генеративно-состязательной сети, специализирующейся на сегментированных изображениях. При использовании изобразительных данных, полученных с помощью SECGAN, закрашивающим сетям удалось гораздо более успешно воссоздавать места с несколькими отсутствующими срезами.
При работе с 3D-изображениями, содержащими триллионы пикселей и объектов сложной формы, визуализация — это одновременно и очень важно, и очень сложно. Вдохновившись историей разработки новых технологий визуализации компанией Google, учёные разработали масштабируемый мощный инструмент, доступный всем, кто использует браузер, поддерживающий WebGL. Результатом этой разработки стал проект с открытым исходным кодом Neuroglancer (https://bit.ly/2GKmDF2), он позволяет просматривать 3D-изображения в петабайтном качестве, а также поддерживает другие функции, такие как поперечное сечение мозга в произвольном месте, сетки с различным разрешением и возможность разработки пользовательских рабочих процессов посредством интеграции с Python. Этот инструмент уже используется сотрудниками Алленовского института головного мозга (Allen Institute for Brain Science), Гарвардского университета (Harvard University), Медицинского института Говарда Хьюза (Howard Hughes Medical Institute, HHMI), институтов Общества Макса Планка (нем. Max-Planck-Gesellschaft zur F?rderung der Wissenschaften), Массачусетского технологического института (Massachusetts Institute of Technology), Принстонского университета (Princeton University) и других научных учреждений.
Сотрудники из Медицинского университета Говарда Хьюза и Кембриджского университета уже начали использовать эту реконструкцию мозга дрозофилы для ускорения своих исследований в области обучения, памяти и восприятия.