Машинный перевод кортикальной активности в текст с помощью фреймворка кодер-декодер

Пора запасаться шапочками из фольги: на Nature пишут, что с помощью ML можно читать мысли.

На самом деле, всё не так сенсационно: речь уже расшифровывали из сигналов головного мозга, и даже переводили в текст, но точность и скорость процесса были слишком низкими (с произносимой вслух речью дела обстоят намного лучше — мы писали об этом здесь — https://vk.com/etokorpus?w=wall-160706971_684). Кроме того мы упоминали другое исследование, — https://vk.com/etokorpus?w=wall-160706971_560, — в результате которого «Нейроботикс» и учёные из МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент.

В новом эксперименте испытуемых сначала просили думать или артикулировать фразы из заданного набора. Затем сигналы, подаваемые их мозгом, были считаны при помощи ЭЭГ, а после в дело вступало машинное обучение: из сигналов составлялась обучающая выборка. После обучения нейросети подопытные должны были повторно подумать или произнести фразу из словаря, а нейросеть — перевести это в текст. В результате вероятность ошибки не превысила 3%.

Всё это, конечно, может звучать не особо впечатляюще, учитывая, что словарь был ограничен, но прецедент есть. Машины научились различать мозговые сигналы в достаточной мере, чтобы читать и записывать явно сформулированные мысли с естественной скоростью:

https://doi.org/10.1038/s41593-020-0608-8

Источник: doi.org

Комментарии: