Эта иллюстрация к теме не материальной природы психики и её моделей

"Predicting Human Brain States with Transformer"

https://arxiv.org/abs/2412.19814

Если трансформеры (которые легли в основу революции больших языковых моделей типа ChatGPT) могут эффективно предсказывать следующее слово, то смогут ли они предсказать изменение регистрируемого с помощью фМРТ BOLD-сигнала? Оказалось, что после обучения трансформер может предсказывать следующие 5 секунд мозговой активности на основе предшествующего сегмента длиной в 22 секунды.

Эти крайне любопытные данные еще раз подтверждают, что трансформеры – это гениальное открытие (вводящая их статья Vaswani et al. (2017) "Attention Is All You Need" на 25.01.2025 процитирована уже 157385 раз!), "ухватившее" важнейшие механизмы работы биологического мозга. Какие конкретно – до сих пор не очень понятно (см. мои рассуждения о нейробиологическом подобии более общего алгоритма обратного распространения ошибки https://t.me/andrey_kiselnikov/1178, о нейробиологическом подобии лежащего в основе архитектуры трансформеров механизма внимания надо думать дальше, работы в этом направлении активно ведутся), но все, что произошло после выхода ChatGPT, однозначно показывает, что это действительно так, и обученные на человеческих данных трансформеры действительно становятся настоящей цифровой моделью мозга и интеллекта человека, очень (но не полностью!) близкой к оригиналу. Это, в свою очередь, доказывает, что продолжая экстенсивно масштабировать основанные на транcформерах большие языковые / мультимодальные модели, мы скоро полностью воспроизведем на искусственном носителе всю полноту мышления человека и создадим AGI, а потом и ASI.

Источник: t.me

Комментарии: