Глубокое обучение обеспечивает революцию в отслеживании движения

Резкий скачок в развитии технологий искусственного интеллекта является движущей силой новой волны инструментов с открытым исходным кодом для анализа поведения и осанки животных.

Будучи постдоком, физиолог Валентина Ди Санто провела много времени, изучая фильмы с высоким разрешением рыб.

Ди Санто исследовал движения, связанные с плаванием рыбы, такой как коньки. Она снимала отдельных рыб в аквариуме и вручную комментировала их части тела кадр за кадром, что требовало около месяца полной работы в течение 72 секунд съемки. Используя приложение с открытым исходным кодом под названием DLTdv, разработанное на компьютерном языке MATLAB, она затем извлекла координаты частей тела-ключевую информацию, необходимую для ее исследований. Этот анализ показал, среди прочего, что когда маленьким конькам (Leucoraja erinacea) нужно плыть быстрее, они создают дугу на краю плавника, чтобы укрепить его кромку1.

Но поскольку фокус исследований Ди Санто переместился с отдельных животных на косяки рыб, стало ясно, что потребуется новый подход. “Мне потребовалась бы вечность, чтобы проанализировать [эти данные] с той же детализацией”, - говорит Ди Санто, который сейчас работает в Стокгольмском университете. Поэтому вместо этого она повернулась к Диплабкуту.

DeepLabCut-это программный пакет с открытым исходным кодом, разработанный Маккензи Матисом, нейробиологом из Гарвардского университета в Кембридже, штат Массачусетс, и ее коллегами, который позволяет пользователям обучать вычислительную модель, называемую нейронной сетью, отслеживать позы животных в видео. В общедоступной версии не было простого способа отслеживать несколько животных с течением времени, но команда Mathis согласилась запустить обновленную версию, используя данные fish, которые Di Santo аннотировал с помощью графического интерфейса пользователя (GUI). Предварительный вывод выглядит многообещающим, говорит Ди Санто, хотя она ждет, чтобы увидеть, как инструмент работает на полном наборе данных. Но без DeepLabCut, говорит она, исследование “не было бы возможно".

Исследователи уже давно заинтересованы в отслеживании движения животных, говорит Матис, потому что движение - это "очень хорошее считывание намерения в мозгу". Но обычно это включало в себя проведение часов записи поведения вручную. Предыдущее поколение инструментов отслеживания животных в основном определяло центр масс и иногда ориентацию, а те немногие инструменты, которые захватывали более мелкие детали, были узкоспециализированными для конкретных животных или подвергались другим ограничениям, говорит Талмо Перейра, нейробиолог из Принстонского университета в Нью-Джерси.

За последние несколько лет глубокое обучение-метод искусственного интеллекта, использующий нейронные сети для распознавания тонких паттернов в данных, - позволило создать новый набор инструментов. Пакеты с открытым исходным кодом, такие как DeepLabCut, LEAP, Animal Pose (LEAP) и DeepFly3D используют глубокое обучение для определения координат частей тела животных в видео. Дополнительные инструменты выполняют такие задачи, как идентификация конкретных животных. Эти пакеты помогли исследованиям всего, от изучения движения в охоте на гепардов до коллективного поведения зебры.

Каждый инструмент имеет свои ограничения; некоторые требуют определенных экспериментальных установок, или не работают хорошо, когда животные всегда толпятся вместе. Но методы будут улучшаться наряду с достижениями в области захвата изображений и машинного обучения, говорит Сандип Роберт Датта, нейробиолог из Гарвардской Медицинской школы в Бостоне, штат Массачусетс. “То, на что вы смотрите сейчас,-это только самое начало того, что, несомненно, будет долгосрочной трансформацией в том, как нейробиологи изучают поведение”, - говорит он.

Позу

DeepLabCut основан на программном обеспечении, используемом для анализа человеческих поз. Команда Матиса адаптировала свою базовую нейронную сеть для работы с другими животными с относительно небольшим количеством обучающих данных. Между 50 и 200 вручную аннотированными кадрами обычно достаточно для стандартных лабораторных исследований, хотя необходимое количество зависит от таких факторов, как качество данных и последовательность людей, выполняющих маркировку, говорит Матис. В дополнение к аннотированию частей тела с помощью графического интерфейса пользователя, пользователи могут выдавать команды через ноутбук Jupyter, вычислительный документ, популярный среди исследователей данных. Ученые использовали DeepLabCut для изучения как лабораторных, так и диких животных, включая мышей, пауков, осьминогов и гепардов. Нейробиолог Вуджи Чжан из Калифорнийского университета в Беркли и его коллега использовали его для оценки поведенческой активности египетских плодовых летучих мышей (Rousettus aegyptiacus)в лабораторных условиях.

Пакет отслеживания осанки на основе глубокого обучения LEAP, разработанный Перейрой и его коллегами, требует 50-100 аннотированных кадров для лабораторных животных, говорит Перейра. Для съемки дикой природы потребуется больше данных для обучения, хотя его команда еще не провела достаточно экспериментов, чтобы определить, сколько. Исследователи планируют выпустить еще один пакет под названием Social LEAP (SLEAP) в этом году, чтобы лучше обрабатывать кадры из нескольких тесно взаимодействующих животных.

Джейк Грейвинг, поведенческий ученый из Института поведения животных Макса Планка в Констанце, Германия, и его коллеги сравнили производительность повторной реализации алгоритма DeepLabCut и LEAP на видео зебр Греви (Equus grevyi) 3. Они сообщают, что LEAP обрабатывал изображения примерно на 10% быстрее, но алгоритм DeepLabCut был примерно в три раза точнее.

Команда Graving разработала альтернативный инструмент под названием DeepPoseKit, который она использовала для изучения поведения пустынной саранчи (Schistocerca gregaria), таких как удары и пинки. Исследователи сообщают, что DeepPoseKit сочетает в себе точность DeepLabCut со скоростью пакетной обработки, которая превосходит LEAP. Например, отслеживание одной зебры за 1 час отснятого материала со скоростью 60 кадров в секунду занимает около 3,6 минуты с DeepPoseKit, 6,4 минуты с LEAP и 7,1 минуты с реализацией алгоритма DeepLabCut его командой, говорит Гравинг.

DeepPoseKit предлагает “очень хорошие инновации", говорит Перейра. Матис оспаривает обоснованность сравнений производительности, но Гравинг говорит “что”наши результаты предлагают наиболее объективное и справедливое сравнение, которое мы могли бы предоставить". Команда Mathis сообщила об ускоренной версии DeepLabCut, которая может работать на мобильном телефоне в статье, опубликованной в сентябре в репозитории препринтов arXiv.

Биологи, которые хотят протестировать несколько программных решений, могут попробовать Animal Part Tracker, разработанный Кристин Брэнсон, компьютерным ученым в медицинском институте имени Говарда Хьюза Janelia Research Campus в Эшберне, штат Вирджиния, и ее коллегами. Пользователи могут выбрать любой из нескольких алгоритмов отслеживания положения, включая модифицированные версии тех, которые используются в DeepLabCut и LEAP, а также другой алгоритм из Лаборатории Брэнсона. DeepPoseKit также предлагает возможность использовать альтернативные алгоритмы, как и SLEAP.

Другие инструменты предназначены для более специализированных экспериментальных установок. DeepFly3D, например, отслеживает 3D позы одиночных привязанных лабораторных животных, таких как мыши с имплантированными электродами или дрозофилы, идущие по крошечному шарику, который действует как беговая дорожка. Паван Рамдья, нейроинженер из Швейцарского федерального технологического института в Лозанне (EPFL), и его коллеги, которые разработали программное обеспечение, используют DeepFly3D, чтобы помочь определить, какие нейроны у плодовых мух активны, когда они выполняют определенные действия.

А DeepBehavior, разработанная нейробиологом Ахметом араком из Калифорнийского университета в Лос-Анджелесе и его коллегами, позволяет пользователям отслеживать 3D траектории движения и вычислять такие параметры, как скорости и углы суставов у мышей и людей. Команда Arac использует этот пакет для оценки выздоровления людей, перенесших инсульт, а также для изучения связей между активностью мозговых сетей и поведением мышей.

Смысл движения

Ученые, которые хотят изучать несколько животных, часто должны отслеживать, какое животное какое. Чтобы решить эту проблему, Гонсало де Полавьеха, нейробиолог из Champalimaud Research, исследовательского подразделения частного фонда Champalimaud в Лиссабоне, и его коллеги разработали idtracker.ai, инструмент на основе нейронной сети, который идентифицирует отдельных животных без вручную аннотированных данных обучения. Программное обеспечение может обрабатывать видео до 100 рыб и 80 мух, а его выход может подаваться в DeepLabCut или LEAP, говорит де Полавьеха. Его команда использовала idtracker.ai чтобы исследовать, среди прочего, как zebrafish решают, куда двигаться в группе 5. Тем не менее, инструмент предназначен только для лабораторных видео, а не кадры дикой природы и требует животных, чтобы отделить друг от друга, по крайней мере на короткое время.

Другие программные пакеты могут помочь биологам разобраться в движениях животных. Например, исследователи могут захотеть перевести координаты позы в поведение, такое как уход, говорит Матис. Если ученые знают, какое поведение их интересует, они могут использовать Janelia Automatic Animal Behavior Annotator (JAABA), контролируемый инструмент машинного обучения, разработанный командой Брэнсона, чтобы аннотировать примеры и автоматически идентифицировать больше экземпляров в видео.

Альтернативным подходом является неконтролируемое машинное обучение, которое не требует предварительного определения поведения. Эта стратегия может подойти исследователям, которые хотят захватить полный репертуар действий животного, говорит Гордон Берман, теоретический биофизик из Университета Эмори в Атланте, штат Джорджия. Его команда разработала инструмент Matlab MotionMapper для идентификации часто повторяющихся движений. Motion Sequencing (MoSeq), инструмент на основе Python от команды Datta, находит такие действия, как ходьба, поворот или подъем.

Смешивая и сопоставляя эти инструменты, исследователи могут извлечь новый смысл из изображений животных. “Это дает вам полный набор возможностей делать все, что вы хотите, - говорит Перейра.

Источник: www.nature.com

Комментарии: