Алгоритм CEBRA сгенерировал видео на основе сигналов мозга мыши

Ученые использовали искусственный интеллект (ИИ), чтобы расшифровать сигналы мозга мыши во время просмотра фильма и точно воспроизвести фрагмент фильма, который она смотрела.

Команда исследователей из Политехнического университета Лозанны (EPFL) разработала инструмент искусственного интеллекта, который может интерпретировать сигналы мозга грызуна в режиме реального времени, а затем реконструировать видео, которое смотрит мышь.

Алгоритм машинного обучения ученого, получивший название “CEBRA”, был обучен сопоставлять нейронную активность с определенными кадрами в видео. Затем алгоритм мог бы предсказать и реконструировать видеоклип, на который смотрит мышь.

В видео, опубликованном EPFL, ученые рассказывают, как мыши показали черно-белый видеоролик 1960-х годов, на котором мужчина бежит к машине и открывает багажник.

Отдельный экран показывает, на что, по мнению CEBRA, смотрит мышь, и восстановленные кадры искусственного интеллекта почти идентичны — хотя видео периодически дает сбои.

Из данных в фильм

В исследовании, опубликованном сегодня в Nature, ученые показали, что они измеряли и регистрировали мозговую активность грызунов с помощью электродных зондов, вставленных в область зрительной коры их мозга, а также оптических зондов для мышей, которые были генетически сконструированы таким образом, что нейроны в их мозге светятся зеленым при возбуждении и передаче информации.

Исследователи обучали CEBRA, используя фильмы, которые смотрели мыши, и их мозговую активность в режиме реального времени. Используя эти данные, CEBRA узнала, какие сигналы мозга связаны с какими кадрами конкретного фильма.

Затем алгоритму машинного обучения была предоставлена некоторая новая мозговая активность, с которой он ранее не сталкивался, от мыши, просматривающей несколько иной пример видеоклипа.

Исходя из этого, CEBRA смогла предсказать, какой кадр смотрела мышь в режиме реального времени, и исследователи превратили эти данные в собственный фильм.

Это не первый случай, когда исследователи расшифровывают сигналы мозга для генерации изображений. В прошлом месяце PetaPixel сообщил об исследователях из Университета Осаки, Япония, которые смогли восстановить изображения мозговой активности с высоким разрешением и высокой точностью, используя популярную модель стабильной диффузии.

Тем временем ученые из Университета Радбуда в Нидерландах разработали технологию “чтения мыслей”, которая может преобразовывать мозговые волны человека в фотографические изображения.

Источник: petapixel.com

Комментарии: