Уровень дофамина и способность учиться на своих ошибках

Каждый из нас сталкивался с такой же проблемой, когда нам сложно признавать собственные ошибки, сложно учиться на ошибках, поэтому вы постоянно наступаете на одни и те же грабли. Способность учиться на собственном опыте — полезнейшая адаптация, позволяющая людям и животным менять свое поведение в зависимости от обстоятельств. Полностью врожденные, не зависящие от обучения поведенческие реакции хороши только в том случае, если одно и то же решение в какой-то стандартной ситуации всегда является оптимальным.

Дофаминовая и префронтальная системы тесно связаны между собой. Поэтому неудивительно, что дофамин играет важную роль в процессах запоминания. Мы обожаем искать взаимосвязи между событиями и это неудивительно — это человеческое свойство помогало выжить нашим предкам. Дофаминовые нейроны запрограммированы искать причинно-следственные связи, но иногда они находят последовательность там, где ее на самом деле нет. У нас может возникать два типа ошибок: ошибка первого рода — ложное срабатывание (при избытке дофамина) и ошибка второго рода — пропуск события (при недостатке дофамина).

Дофаминовые наркоманы и пациенты с болезнью Паркинсона, которые сидят на дофаминовых агонистах, часто становятся заядлыми игроками (или одержимыми какой-то идеей). Их мозг думает, что нашел формулу выигрыша, дофамин зашкаливает, деньги тают. Это ошибка первого типа — ложное срабатывание. Или, например, человек переедает и стремительно набирает вес. Когда ему говорят, что нужно меньше есть, он только кивает, но продолжает есть. Почему? Это ошибка второго рода — пропуск события, человек не учится на своем опыте, такие ошибки типичны для низкого уровня дофамина.

Если вы ошибаетесь, то уровень дофамина падает. И это падение заставляет вас почувствовать себя хуже и взяться за исправление ситуации. Если дофамин после ошибки не упал, то эта ошибка вас ничему не научит. Говоря иначе, при высокой чувствительностью к дофамину, при снижении его выделения самочувствие человека резко снизится, что заставит в будущем избегать аналогичных проблем или, говоря проще, он постоянно учится на своих ошибках. Если рецепторы дофамины обладают низкой чувствительностью, то его самочувствие снизиться значительно меньше и обучения не произойдет (мол, ну ошибся — ничего страшного! будь позитивнее! =)).

Ученые уверены, что при низкой концентрации дофамина (чувствительности рецепторов) люди существенно хуже могут использовать опыт своих ошибок и редко делают правильные выводы. Передняя поясничная кора (ППК), задействована в определении ошибок. ППК помогает обеспечивать связь между тем, что мы знаем, и тем, что чувствуем. Она также помогает запоминать, чему дофаминовые клетки только что обучились, чтобы быстро адаптировать ожидания к новым условиям.

Вентральная область покрышки (ventral tegmental area, VTA) — ключевой компонент «системы вознаграждения» (также известной как «система внутреннего подкрепления») в мозге млекопитающих. Примерно 55–65% нейронов VTA — это дофаминовые (дофаминэргические) нейроны, передающие сигналы другим нейронам при помощи нейромедиатора дофамина. Дофамин играет в мозге роль «вещества удовольствия».

Дофаминовые сигналы из VTA поступают в префронтальную кору, где происходят сознательные психические процессы, в гиппокамп, управляющий запоминанием (это может быть связано с обучением на положительном опыте), в прилежащее ядро (nucleus accumbens), которое можно назвать «главным центром удовольствия» и которое отвечает за мотивацию, привязанности и зависимости, а также в другие «эмоциональные» отделы мозга, такие как миндалина (amygdala).

Дофаминовые нейроны VTA активируются в ответ на положительные стимулы (информацию о которых они получают от других отделов мозга, в том числе от коры), а также на условные стимулы, предвещающие награду. Например, если животное знает, что после звукового сигнала ему дают что-нибудь вкусненькое, дофаминовые нейроны VTA будут возбуждаться в ответ на звуковой сигнал. Сама же награда («безусловный стимул») активирует их в зависимости от своей предсказуемости: неожиданная награда вызывает сильную активацию, но если животное точно знает, что угощение всегда появляется после звонка, то нейроны энергично ответят только на звонок, а на саму награду отреагируют слабее или не отреагируют вовсе.

Ну а если после звонка положенная награда не появится, активность дофаминовых нейронов VTA отобразит разочарование, опустившись ниже базового («спокойного») уровня (ошибка, дофаминовый кнут). Если мы ошибаемся, то мозг не получает дофамина, «щекочущего» центры удовольствия, что у большинства людей запускает механизм активации D2-рецепторов и принуждает не совершать подобных действий. Более того — записывает информацию об ошибке в память надежно.Таким образом, работа этих нейронов кодирует не хорошие новости как таковые, а, скорее, степень их соответствия ожиданиям, «ошибку предсказания награды» (reward prediction error, RPE). Этот механизм мешает нам радоваться привычным, стандартным достижениям — но не мешает огорчаться, когда ожидаемая награда вдруг ускользает из рук.

Ошибки двух видов и уровень дофамина.

Как мы уже обсуждали, наш мозг обожает искать причинно-следственные связи. Этот процесс называется “стереотипированием”, это тенденция искать закономерности везде — и там, где они есть, и в бессмысленном шуме В процессе этого поиска может возникать два типа ошибок: ошибка первого рода — ложное срабатывание и ошибка второго рода — пропуск события.

Ошибка первого рода — ложное срабатывание. Это когда мы считаем, что паттерн существует, когда на самом деле это не так. Сюда относятся разные суеверия, иллюзии и самообман. Человек с завышенным дофамином видит заговоры везде, ему мерещатся разные идеи и иллюзии. Слишком возбужденный человек может видеть образы везде. Каждый раз, когда на него кто-то смотрит, ему кажется что люди пялятся. Кажется, что люди его обсуждают. И если он заходит слишком далеко в это, то его просто называют сумасшедшим.

И ошибка второго рода — пропуск события. Ошибка второго рода — это отрицание реального существующего паттерна. Это когда вы делаете что-то не так, например, переедаете, но ваш эмоциональный мозг не может принять это за причину вашего избыточного веса. Увеличение числа ошибок второго рода происходит при сниженном уровне дофамина. Дофамин изменяет соотношение сигнал/шум в воспринимаемой информации. То есть то, насколько мы точны в определении образов. Если его уровень слишком низок, то вы скорее всего будете делать много ошибок второго рода. Будете пропускать настоящие соответствия. Вы не хотите быть слишком скептичными. Если же вы чересчур скептичны, то вы упустите по-настоящему хорошие идеи.

Штука в том, что стереотипирование происходит только когда цена совершения ошибки первого рода меньше цены совершения ошибки второго рода. Определение паттерна поведения — оценка разницы между ошибкой первого и второго рода — это крайне сложная задача особенно, когда решение должно занимать мгновения, в ситуациях, в которых решается вопрос жизни и смерти. Люди эволюционировали на склонность верить, на тех, чей мозг усиленно ищет соответствия, на то, чтоб всегда находить соответствия и ассоциировать их с какими-то захватническими или умышленными действиями с другой стороны (любители заговора)

Ошибка первого типа.

Ошибка первого рода — ложное срабатывание. Это когда мы считаем, что паттерн существует, когда на самом деле это не так. Сюда относятся разные суеверия, иллюзии и самообман. При повышенном уровне дофамина человек часто ошибается, наделяя событие способностью к действию. Это тенденция наделять образы не только значением, но и способностью к направленному действию. Такая ошибка часто применяется к незримым высшим сущностям и ложному пониманию действительности.

По другому этот процесс можно назвать наделением способностью к действию, как будто событие, предмет или человек действуют, имея некую свою цель. Это называется: интенциональная установка (intentional stance) — мы рассматриваем действия других людей и свои собственные, как если бы они имели цель, направленность, поскольку это помогает на интерпретировать их. Аналогичным образом мы можем принимать интенциональную позицию в отношении животных или неживых объектов (машина меня ненавидит). Это не единственная позиция, которую мы можем занимать. Design stance (“проектная” позиция) — топор сделан для того, чтобы рубить. Physical stance (физикалистская установка) — рассматриваем объект как подчиняющийся законам физики. Ни одна из них не является более правильной или менее правильной.

Примеры ошибок первого типа: заговоры, приметы, религия и др. На бытовом уровне: машина специально сломалась, чтобы позлить меня, он специально сделал мне хуже. Отсюда же идут разные теории заговоров и пустые иллюзорные мечты про некий смысл жизни, про волшебника на вертолете, правительство, которое нас спасет, инопланетян и так далее. При завышенном уровне дофамина человек впадает в иллюзии и делает много ошибок первого типа.

Стоит отметить, что у людей чувства неуверенности и неуправляемости поощряет видеть иллюзорные соответствия (самообман). Люди, которых помещают в условия, где они чувствуют что не управляют ситуацией, скорее всего увидят что-то и здесь, где ничего упорядоченного нет. Другими словами, склонность находить эти соответствия увеличивается при неподконтрольных для человека ситуациях. Например, общеизвестно, что бейсболисты ведут себя “суеверно” когда они подают и такое поведение слабеет когда игрок в поле. Потому что полевые игроки результативны в 90–95 процентах времени. А лучшие отбивающие промахиваются семь раз из десяти. Так что вся их стереотипированность и суеверность возникает в неподконтрольных ситуациях и других подобных случаях.

Те, кто не учатся на ошибках (ошибки второго типа)

Новое исследование позволило выявить генетическую мутацию, которая обрекает ее несчастных обладателей на новое и новое повторение печального опыта. Это генетическое отклонение приводит к снижению количества рецепторов типа D2, которые должны активироваться в случаях, когда в тканях мозга резко понижается содержание дофамина. У носителей этой мутации количество дофаминовых рецепторов D2 понижено примерно на 30%. Существует взаимосвязь между плотностью рецепторов D2 в базальных ганглиях и обучением. Эволюционно старая часть базальных ганглиев — лимбический стриатум — вовлечена в неявное обучение.

Известно, что люди, у которых на поверхности клеток мозга понижено число дофаминовых рецепторов определенного типа (D2), чаще становятся алкоголиками и наркоманами. Считалось, что это связано с недостатком положительных эмоций. Германские ученые обнаружили, что возможен и иной механизм связи. Оказалось, что люди — носители мутации, снижающей число рецепторов D2 на поверхности нейронов, обладают пониженной способностью учиться на собственных ошибках.

Заключение.

Большая опастность дофаминового истощения в том, что снижение уровня дофамина приводит к тому, что мы перестаем учится на своих ошибках. Формально, мы можем признать, что поступаем неверно (префронтальная кора), но признание этого не приведет к изменению нашего поведения. Восстановление чувствительности дофаминовых нейронов — это важный компонент работы над собой. Ведь если вы не можете извлечь опыт из своих действий, то какой смысл что-либо делать? Вы обречены наступать постоянно на одни и те же грабли.

Уничтожить свои рецепторы очень просто, более того, с возрастом уменьшается количество и плотность дофаминовых D2-рецепторов стриатума, поэтому пожилые и старики делают одно и тоже, не учась на своих ошибках. Именно рецептор D2 восстанавливается хуже всех. Поэтому любые зависимости и наркотики приводят к снижению дофаминовых D2-рецепторов. Есть и еще ряд факторов: например, недосыпание. Вы обращали внимание, что если мы сами по себе долго не спим, то скоро начинаем ощущать последствия: у нас рассеивается внимание, нас может бросать то в жар, то в холод, мы можем совершать странные поступки, говорить странные вещи…

В статье, опубликованной в Journal of Neuroscience, авторы пишут, что недостаток сна приводил к резкому уменьшению рецепторов дофамина. Но это никак не было связано с изменениями уровня нейромедиатора. Исследователи пробовали стимулировать выброс дофамина с помощью риталина. Уровень дофамина поднимался, но никакой разницы у спавших и не спавших не было. То же самое наблюдалось с лабораторными крысами, у которых уровень нейромедиатора и его рецептора измеряли напрямую: увеличенное время бодрствования снижало уровень рецептора, но не сказывалось на содержании дофамина.

Антипсихотические препараты, вызывающие вялость и сонливость, как раз блокируют дофаминовый рецептор D2. Более того, уменьшение содержания D2 отмечалось при недосыпании. То есть напрашивается вывод: чем дольше мы бодрствуем, тем больше у нас образуется дофамина и меньше — его рецептора. Противоречия тут нет. Биохимики давно знают, что если перестимулировать рецептор, обрушить на клетку водопад молекул-раздражителей, то число рецепторных молекул резко уменьшится: они уйдут с мембраны, делая её менее чувствительной.

Автор: Andrei Beloveshkin.

Источник: m.vk.com

Комментарии: