Недавно на IEEE Spectrum вышло уникальное интервью с инженером Neiralink, который поделился с читателями самой достоверной информацией без прикрас.

Недавно на IEEE Spectrum вышло уникальное интервью с инженером Neiralink, который поделился с читателями самой достоверной информацией без прикрас. Особенно советую прочитать статью фантазерам, которые считают "лет через 5 установим инвазивные интерфейсы и заживем в полном погружении". И я вовсе не призываю вас не мечтать, а призываю мечтать правильно, четко осознавая, на каком уровне мы сейчас находимся! Я абсолютно верю в нейрогейминг через 20-30 лет, в трансляцию видеосигнала, звука, ощущений в мозг, но это будет не Матрица, в реальности всегда будут ограничения, несовершенства, баги. Оставьте преклонение перед фантастикой, вот он настоящий мир - такой не совершенный, но настоящий и от этого дороже любой красивой выдумки!

Перевод статьи IEEE Spectrum от 6 июля 2021 года, автор Элиза Стрикланд:

Часть 1, т.к целая статья не помещается в пост

Компания Илона Маска, занимающаяся инвазивными нейроинтерфейсами для головного мозга - Neuralink, является объектом безудержных новостных спекуляций и недопонимания. Просто начните поиск в Google с фразы «может ли Neuralink...», и вы увидите часто задаваемые вопросы, в том числе «может ли Neuralink вылечить депрессию?» и «может ли Neuralink вас контролировать?» Маск не смог укрепить репутацию компании своими публичными заявлениями, в том числе своим заявлением о том, что устройство Neuralink однажды обеспечит «симбиоз с ИИ», в котором человеческий мозг сольется с искусственным интеллектом.

Это все звучит несколько абсурдно, потому что мозговой имплантат Neuralink все еще является экспериментальным устройством, которое еще не получило одобрения даже для самых элементарных клинических испытаний.

Но за зрелищностью и гиперболой факт остается фактом: в Neuralink работают серьезные ученые и инженеры, которые проводят интересные исследования. Полностью имплантируемый интерфейс мозг-машина (BCI), который они разрабатывают, продвигается вперед со своей концепцией сверхтонких «нитей», которые могут проходить через ткани мозга, чтобы улавливать сигналы нейронов, а также с его специальными микросхемами и электроникой, которые могут обрабатывать данные более чем с 1000 электродов.

В августе 2020 года компания продемонстрировала технологию на свиньях, а в апреле этого года разместила на YouTube видео и пост в блоге, в котором обезьяна использует имплантированное устройство, называемое Link, для управления курсором и игры в компьютерную игру Pong. Но команда нейроинтерфейса не разглашает свои текущие исследовательские цели и шаги, которые они предпринимают для их достижения.

В этом эксклюзивном интервью с IEEE Spectrum Джозеф О'Доэрти - нейроинженер и глава команды изучения мозговых сигналов в Neuralink, выкладывает подлинные планы на будущее.

IEEE Spectrum: Илон Маск часто говорит о возможностях Neuralink в далеком будущем; будущем, в котором обычные люди могли бы сделать добровольную операцию на головном мозге и имплантировать интерфейс для расширения своих возможностей. Но для кого этот продукт в ближайшем будущем?

Джозеф О'Доэрти: Мы работаем над коммуникационным протезом, который вернет управление клавиатурой и мышью людям с параличом. Мы стремимся к тому, чтобы скорость набора текста была работоспособной, что, очевидно, является непростой задачей. Но это цель.

У нас есть очень перспективное устройство и мы знаем о различных алгоритмических методах, которые использовались другими. Таким образом, мы можем применить передовой опыт разработки, чтобы сузить все аспекты. Чтобы сделать нейроинтерфейс хорошим записывающим устройством, нужно уделить особое внимание деталям в декодере, потому что это система с обратной связью. Вам нужно обратить внимание на этот аспект замкнутого цикла, чтобы он был действительно высокопроизводительным.

У нас есть цель - побить мировой рекорд по скорости передачи информации в мире нейроинтерфейсов. Мы очень близки к тому, чтобы превзойти, насколько нам известно, лучшую производительность. И тогда возникает вопрос: насколько далеко мы можем пойти дальше?

Моя команда и я пытаемся достичь этой цели и побить мировой рекорд. Мы либо побьем его, либо, если не сможем, выясним, почему это не получилось и как сделать устройство лучше.

Spectrum: Система Neuralink претерпела значительные изменения в конструкции за последние годы. Когда я разговаривала с вашей командой в 2019 году, система не была полностью имплантирована, и все еще оставалось много неясностей относительно конструкции нитей, количества электродов на нить и имплантируемого чипа. Какой текущий дизайн?

О'Доэрти: Нити часто называют самим нейронным интерфейсом; это физическая часть, которая и взаимодействует с тканью. Общий подход оставался неизменным на протяжении многих лет: это наша гипотеза, согласно которой создание этих нитей чрезвычайно маленькими и гибкими способствует долгому сроку службы устройства. Мы надеемся, что это будет то, что понравится иммунной системе или, по крайней мере, не вызовет большего отторжения, чем предыдущие модели электродов. Очевидно, что такой подход сопряжен с трудностями, потому что это очень мелкие детали, которые нужно сохранять в теле течение многих лет. И многие методы, которые используются для обеспечения надежности, связаны с увеличением толщины, добавлением слоев и установкой барьеров.

Spectrum: Я полагаю, есть много компромиссов между размером и надежностью.

О'Доэрти: В мире есть и другие гибкие и очень крутые нейронные интерфейсы, о которых мы читаем в академических публикациях. Но эти демонстрации часто должны работать только один час или один день, пока проводится эксперимент. Тогда как нам нужно, чтобы это работало много-много-много-много дней. Это совершенно другая ответственность.

Spectrum: Когда я общалась с вашей командой в 2019 году, на каждую нить приходилось 128 электродов. Это изменилось?

О'Доэрти: Сейчас мы делаем 16 контактов на нить, расстояние между которыми составляет 200 микрон. Более ранние устройства были более плотно укомплектованными, но с точки зрения отбора нейронов в различных слоях коры головного мозга этого было недостаточно. Мы могли записывать одни и те же нейроны на нескольких соседних каналах, когда контакты находились на расстоянии около 20 микрон. Таким образом, мы могли очень хорошо охарактеризовать отдельные нейроны, с которых мы производили запись, но для этого требовалась большая плотность, много электроники, сосредоточенной в одной точке, а это означало более высокие требования к мощности. Это может быть замечательно, если вы занимаетесь нейронаукой, но это выглядит менее перспективно, если вы пытаетесь создать функциональный продукт.

Это одна из причин, по которой мы изменили нашу конструкцию, чтобы распределить наши контакты в коре головного мозга и распределить их по множеству нитей в корковой области. Таким образом, у нас не будет лишней информации. Текущий дизайн - 16 электродов на нить, и у нас есть 64 таких нитей, которые мы можем разместить где угодно в пределах кортикальной области, что в сумме составляет 1024 электрода. Эти нити идут к одному крошечному устройству размером меньше 25 центовой монеты, внутри которого алгоритмы обнаружения всплесков нейронов, батарея, телеметрия и все такое.

В дополнение к формфактору 64x16 (нити х электроды), мы также тестируем конфигурации 128x8 и 256x4, чтобы увидеть, есть ли прирост производительности. В конечном итоге у нас есть возможность выполнить любую конфигурацию из 1024 электродов, которую мы захотим.

Spectrum: Каждое устройство Link состоит из несколько микросхем?

О'Доэрти: Да. Фактическое оборудование представляет собой 256-канальный чип, всего их четыре, что в сумме дает 1024 канала. Link действует как одно целое, но на самом деле состоит из четырех микросхем.

Spectrum: Я полагаю, вы постоянно обновляете программное обеспечение по мере продвижения к своей цели, но исправно ли работает оборудование на данный момент?

О'Доэрти: Ну, мы постоянно работаем над следующей версией. Но это тот случай, когда мы должны доказать безопасность конкретной версии устройства, чтобы мы могли имплантировать это людям. Мы используем так называемые элементы управления дизайном, когда мы устраняем неполадки устройства, мы должны очень хорошо описать, что это было, и описать, как мы проверяем

его безопасность. Затем мы можем вносить изменения, но мы делаем это в рамках инженерного контроля. Мы описываем, что мы меняем, а затем можем сказать, что это изменение несущественно для безопасности, или мы должны провести тесты.

Spectrum: Похоже, что большая часть обнаружения всплесков нейронов делается на чипах. Это что-то, что эволюционировало с течением времени? Думаю, несколько лет назад это делалось на внешнем устройстве.

О'Доэрти: Верно. У нас немного другой подход к обнаружению всплесков. Позвольте мне сначала дать несколько общих комментариев. В нейробиологии часто бывает так, что нужно не просто обнаруживать всплески. Вы хотите обнаружить всплески, а затем отсортировать всплески, по которым их генерируют нейроны. Если вы обнаружите всплеск на канале вы затем поймете: «О, я действительно могу записать здесь пять разных нейронов». А из какого нейрона он пришел? Как связать каждый всплеск с конкретным нейроном, который его сгенерировал? Это очень сложная вычислительная задача. Это то, что часто делается при постобработке, поэтому после того, как вы запишите кучу данных, вы выполните еще и кучу математических расчетов.

Есть еще одна крайность, когда вы просто устанавливаете порог напряжения и говорите, что каждый раз, когда что-то пересекает этот порог, это всплеск. А потом просто посчитайте, сколько из них произошло. Это все. Это вся информация, которую вы можете использовать.

Обе крайности нам не подходят. В первом вы выполняете слишком много вычислений, которые, возможно, проблематично выполнить в небольшом устройстве. С другой стороны, вы очень чувствительны к шуму и артефактам, потому что многие вещи могут вызвать пересечение порога, помимо срабатывания нейронов. Итак, мы используем золотую середину, где мы ищем формы, похожие на сигналы, генерируемые нейронами. Мы передаем эти сигналы вместе с несколькими дополнительными битами информации о пике, например, насколько он высокий, какой он ширины и т. д.

Это то, что мы раньше делали на внешней части устройства. В то время, когда мы проверяли этот алгоритм, у нас была гораздо более высокая пропускная способность, потому что это была проводная система. Таким образом, мы смогли передать большой объем данных и разработать этот алгоритм. Затем команда разработчиков микросхем взяла этот алгоритм и реализовала его аппаратно. Итак, теперь все это происходит автоматически на микросхеме. Он автоматически настраивает свои параметры - он должен узнать о статистическом распределении напряжений в мозгу. А затем он просто обнаруживает всплески и отправляет их в декодер.

Spectrum: Сколько данных выходит с устройства в наши дни?

О'Доэрти: Чтобы обьяснить эту проблему в терминах интерфейса мозг-машина, мы обнаруживаем всплески в пределах 25-миллисекундного окна или «ячейки». Таким образом, векторы информации, которые мы используем в наших алгоритмах управления с обратной связью, являются факторами количества всплесков: 1024 на 25 миллисекунд. Мы подсчитываем, сколько всплесков происходит на каждом канале, и это то, что мы отправляем. Нам нужно всего около четырех битов на ячейку, так что это четыре бита, умноженные на 40 ячеек в секунду, умноженные на 1024 канала, или около 20 килобайт в секунду.

Такая степень сжатия стала возможной благодаря тому, что мы обнаруживаем всплески с помощью нашего собственного алгоритма на чипе. Максимальная пропускная полоса составит 1024 канала, умноженные на 20 000 выборок в секунду, что является довольно большим числом. Вот если бы мы могли все отправить. Но сжатая версия - это просто количество произошедших всплесков - ноль один, два, три, четыре, что угодно - умноженное на 1024 канала.

Для нашего приложения, которое управляет нашим коммуникационным протезом, это сжатие данных - хороший способ работы и у нас все еще есть полезные сигналы для управления с обратной связью.

Spectrum: Когда вы говорите «управление с обратной связью», что это означает в данном контексте?

О'Доэрти: Машинное обучение по большей части является открытым. Допустим, у вас есть изображение, и вы анализируете его с помощью модели, а затем получаете некоторые результаты, например, обнаружение лиц на фотографии. У вас есть некоторый вывод, который вы хотите сделать, но как быстро вы это сделаете, обычно не имеет значения. Но здесь пользователь в курсе - пользователь думает о перемещении, а декодер в реальном времени декодирует эти намерения движения, а затем предпринимает какие-то действия. Он должен действовать очень быстро, потому что если он будет слишком медленным, это теряет смысл. Если вы кидаете мне мяч, и моему интерфейсу требуется пять секунд, чтобы сделать вывод, что я хочу переместить руку вперед - это уже слишком поздно. Я не поймаю мяч.

Таким образом, пользователь делает что-то, основываясь на визуальной обратной связи о том, что делает декодер: это то, что я имею в виду под замкнутым циклом. Пользователь представляет двигательное намерение, оно декодируется устройством Neuralink, предполагаемое движение осуществляется в реальном мире посредством физического выполнения чего-либо с помощью курсора или руки робота, пользователь видит результат этого действия и эта обратная связь влияет на то, какое двигательное намерение он представит дальше. Я думаю, что наиболее близкой аналогией за пределами нейроинтерфейсов является использование гарнитуры виртуальной реальности - если есть большая задержка между тем, что вы делаете, и тем, что вы видите в своей гарнитуре, это очень дезориентирует, потому что ломает эту замкнутую систему.

Spectrum: Что должно произойти, чтобы с той точки, где вы сейчас находитесь, стать лучшими в мире?

О'Доэрти: Шаг первый - найти источники задержки и устранить их все. Мы хотим иметь низкую задержку во всей системе. Это включает в себя обнаружение всплесков; в том числе обработку их на импланте, и радиосигнал, который должен их передавать - есть разные виды деталей пакетирования Bluetooth, которые могут увеличить задержку. И это включает в себя принимающую сторону, где вы выполняете некоторую обработку на этапе вывода модели, и это даже включает в себя рисование пикселей на экране для курсора, которым вы управляете. Любая небольшая задержка, которая у вас есть, добавляет задержку везде и влияет на управление с обратной связью.

To be continued!

Источник: vk.com

Комментарии: