Недавно Google опубликовал очень интересное исследование

Недавно Google опубликовал очень интересное исследование, где они сравнили, как наш мозг и искусственные нейросети (такие как ChatGPT или Whisper) воспринимают и обрабатывают речь и язык.

Что они сделали?

Они взяли языковую модель от OpenAI под названием Whisper — это программа, которая умеет распознавать и "понимать" речь.

Они пригласили людей, у которых уже стояли специальные электроды в мозгу (для лечения эпилепсии) и попросили их вести обычные разговоры.

Эти электроды регистрировали, как активируется мозг в разных зонах во время общения.

Далее, они сравнили “эмбеддинги” (то есть внутренние числовые представления слов в модели Whisper) с тем, что происходило в мозге.

Что обнаружили?

Мозг и модель "видят" слова очень похоже. Пространство, в котором модель представляет слова, неожиданно точно совпадает с тем, как мозг различает слова по смыслу и звучанию.

Когда человек слушает речь, вначале активируется слуховая кора (височная часть мозга) — и это совпадает с тем, что модель называет speech-эмбеддингами. Потом активируется зона Брока — это область, связанная с пониманием смысла. Здесь совпадение с language-эмбеддингами модели.

Когда человек говорит, процесс идёт в обратную сторону: сначала активируется зона Брока (мы "планируем", что сказать), затем моторная кора (управляет мышцами речи), а в конце — снова слуховая кора (мы слышим себя). Модель тоже сначала “думает”, потом “говорит”.

Почему это удивительно?

Хотя и мозг, и нейросеть используют "нейроны", они устроены совсем по-разному.

Мозг, как считалось раньше, опирается на четкие правила: грамматику, структуру предложений, смысл.

А модели вроде Whisper работают на статистике: просто угадывают следующее слово, не зная, что такое “смысл” или “субъект”.

Но оказалось, что этот "угадывательный" подход очень близок к тому, как реально работает наш мозг. Это как если бы модель, которая никогда не изучала правила, вдруг начала думать, как человек.

Вывод:

Даже простая задача "угадай следующее слово" может дать представления о работе мозга. И мы вплотную подошли к моделированию мышления, хотя всего-то учили ИИ распознавать речь.

Пояснения к картинкам можете прочесть внутри в описание.

Подробнее можно прочитать тут:

https://research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/

Источник: research.google

Комментарии: