КОГДА ЛЮДИ ИСПОЛЬЗУЮТ LLM, ОНИ ТУПЕЮТ ИЛИ УМНЕЮТ?

MIT Media Lab провела исследование... Напомню: MIT - Массачусетский Технологический Институт, в недрах которого родилась OpenAI (родитель первого массового LLM - ChatGPT).

Цель исследования: Разобраться, что именно происходит с мышлением (мозгом) человека, когда он:

1. Работает сам (пишет эссе)

2. Работает, используя дополнительные ресурсы, например поиск в Гугл

3. Когда полностью опирается на ИИ ("напиши мне эссе")

MIT Media Lab использовал электроэнцефалографию (ЭЭГ) для записи мозговой активности участников.

Мозговая активность (EEG) оказалась самой высокой у 1-й группы «без инструментов», средней у 2-й группы с поиском и самой низкой у 3-й группы с ChatGPT.

Третья группа (те, кто полагался на ChatGPT), чаще теряли вовлечённость, хуже запоминали написанное и менее «владели» своим текстом, то есть "не узнавали его как свой текст".

Авторы называют это явление «накопление когнитивного долга (cognitive debt)» — то есть чем больше автоматизации, тем меньше собственных умственных усилий и тем слабее процессы обучения и памяти, что, на мой взгляд, было предсказуемым выводом.

Но! Интересен второй этап исследования, 4-я сессия. Здесь людям, которые писали сами, без использования LLM, предложили сделать то же задание, но с использованием LLM, и наоборот - те, кто писал эссе с помощью LLM, на 4-й сессии должны были написать эссе сами, используя только свой мозг.

Что получилось в итоге?

1) Группа LLM ? Brain. Те, кто изначально писал эссе с помощью LLM, показали самый плохой результат. У них была слабая нейронная связность (по ЭЭГ), хуже активация альфа- и бета-сетей в мозге, низкая вовлечённость, они плохо вспоминали текст, написанный несколько минут назад, в интервью они говорили, что эссе ощущается как «не совсем моё».

Ключевой вывод: часть когнитивной работы не вернулась автоматически, когда инструмент убрали. "Когнитивный долг" остался долгом.

2) Группа Brain ? LLM, то есть та, что сначала писали эссе сами, а на этом этапе писали эссе уже с использованием LLM, показала очень хороший результат. Участники: сохранили хорошее воспоминание текста, показали повторное вовлечение широких нейронных сетей в мозге, использовали LLM как поддержку, а не замену, демонстрировали ощущение авторства и контроля.

Исследователи отметили у них: активацию затылочно-теменных и префронтальных узлов, паттерны, близкие к тем, что наблюдались у группы с поисковыми системами.

LLM не «обрушил» мышление, потому что оно уже было сформировано.

ВЫВОД

Проблема не в использовании LLM, а в том, с чего начинается когнитивный цикл. Если сначала думает человек, LLM становится усилителем мозговой деятельности.

Если сначала "думает" LLM, человеку потом сложно вернуть роль субъекта.

Именно это и делает выводы исследования из MIT Media Lab очень важными.

Сессия 4 показала, что мышление не включается автоматически, если работу мозга за тебя выполнила машина. Но если мышление было запущено изначально, LLM его не разрушает, а усиливает.

Идеальный вариант работы с LLM показан на таблице в карусели.

Ссылка на исследование MIT в комменте.

Источник: vk.com

Комментарии: