Поменявшись местами: что происходит, когда нейронаука превращается в машинное обучение, а машинное обучение — в нейронауку?

Нейронаука VS Машинное обучение.

В прошлом месяце в журнале The Transmitter вышла большая статья профессора Гарварда Сэмюэла Гершмана под названием «Что происходит, когда нейронаука превращается в машинное обучение, а машинное обучение - в нейронауку?». Он описывает, как нейронаука, традиционно ориентированная на причинно-следственные объяснения, всё больше увлекается предсказаниями и берёт на вооружение методы машинного обучения. А машинное обучение, которое раньше занималось исключительно точными прогнозами, теперь пытается понять внутренние механизмы и для этого активно использует инструменты нейронауки.

Гершман не просто описал этот тренд, а задал провокационный вопрос: а не обмениваются ли дисциплины плохими привычками?

Дело в том, что нейронаука, увлекаясь предсказаниями, может порой ошибочно полагать, что хороший прогноз равен пониманию - хотя на самом деле можно отлично предсказывать, используя ложные корреляции, которые развалятся при первом же изменении условий. А машинное обучение, заимствуя нейронаучные методы вроде абляций (отключение части системы, чтобы посмотреть на что это повлияет) и поиска схем, натыкается на проблему посерьёзнее: эти методы действительно могут находить реальные причинные связи, но они не отличают настоящую причинность от иллюзий локализации и интерпретируемости.

Автор признаёт, что такой обмен кажется естественным и плодотворным. Нейронаука получает мощные предсказательные модели вроде Brain-Score или фундаментальных моделей мозга. Машинное обучение получает надежду разобраться в том, что происходит у мозга «под капотом», с помощью механистической интерпретируемости.

Но, предсказание не может заменить объяснение: можно отлично предсказывать эффект лекарства по его побочным действиям, но это не значит, что головная боль вызывает улучшение.

А когда машинное обучение пытается применять нейронаучные методы - например, упомянутые выше абляции - оно натыкается на те же проблемы, что и нейронаука: иллюзии локализации, иллюзии интерпретируемости и, в худшем случае, экспоненциальную сложность. Т.е. чтобы полностью понять схему из N нейронов, может потребоваться число экспериментов, которое растёт как 2 в степени N!! Представьте, что у вас есть простая схема из, скажем, трёх нейронов. Каждый из них может быть либо включён, либо выключен. Как понять, кто на кого влияет? Самый надёжный способ - перебрать все возможные комбинации: выключить первый, посмотреть; выключить второй; выключить первый и второй вместе... И так далее.

С тремя нейронами это всего 2? = 8 экспериментов. Это легко. Но теперь представьте, что у вас 100 нейронов. Количество возможных комбинаций (какие группы нейронов отключить) становится 2???. Это число с 30 нулями. Если проводить по одному эксперименту в секунду, времени существования Вселенной не хватит.

Конечно, в реальности никто не перебирает все комбинации. Обычно поступают проще: выключил один участок - посмотрел. Выключил другой - посмотрел. И сделал вывод. И вот здесь - главная ловушка, которую Гершман и пытается донести.

Если вы не перебрали все комбинации, вы никогда не сможете быть на 100% уверены, что поняли схему правильно. Потому что поведение системы может определяться не отдельными нейронами, а их сложными взаимодействиями. Например, эффект может проявляться только если выключены одновременно нейроны А и Б, а по отдельности они ничего не меняют. Такую зависимость легко пропустить, если вы тестируете только одиночные отключения.

В общем, чтобы получить объёмную картину данной проблемы, Гершман собрал мнения восьми экспертов - нейроучёных и исследователей ИИ из разных университетов и компаний, включая Anthropic, Carnegie Mellon, UPenn, Duke, Goethe University Frankfurt, Harvard и Oxford.

Например, Трентон Брикен из Anthropic смотрит в будущее с оптимизмом: большие языковые модели, считает он, позволяют изучать принципы работы нейронных систем в полностью контролируемых условиях. Мы можем видеть, как информация хранится в суперпозиции (когда один нейрон участвует в кодировании множества понятий), а потом расшифровывать её с помощью разреженных автокодировщиков (sparse autoencoders) - это специальный алгоритм, который умеет распутывать суперпозицию. Он смотрит на активность тысяч нейронов и находит те самые «направления» (комбинации), каждое из которых отвечает за одно понятие. Он считает, что со временем эти же инструменты когда-нибудь помогут расшифровать биологический мозг - вместо «нейрон А активен» мы увидим «вот эта комбинация из 50 нейронов кодирует понятие "чашка"».

Конрад Кёрдинг из UPenn наоборот жёстко разделяет предсказание и причинно-следственный вывод, указывая на фундаментальное противоречие: хорошие прогнозы строятся на сильных корреляциях - например, если два нейрона почти всегда срабатывают вместе, модель с лёгкостью заменит один другим и будет отлично предсказывать. Но для причинного вывода сильные корреляции - это катастрофа, потому что они не позволяют распутать, что на что на самом деле влияет: маленькая ошибка в измерениях приводит к огромным ошибкам в выводах о причинности. Ирония в том, что чем лучше вы предсказываете, тем труднее вам понять, почему система работает так, а не иначе. Более того, Кёрдинг предупреждает об иллюзии «инвариантного предсказания», когда связь проверена всего в паре похожих условий, а её выдают за универсальную причинность. В реальности нейронаука обычно лишь слегка «трогает» мозг в экспериментах и не может утверждать точно, как он поведёт себя в реальных условиях.

Фезер из Carnegie Mellon говорит: да, риск псевдо-причинности имеет место. Но если у вас есть цифровой двойник, вы можете сначала провести тысячу экспериментов на модели (более чистых чем воздействие на мозг с помощью, например, электростимуляции), понять, какие виды абляций действительно дают надёжные результаты, а какие нет. Так вы можете выявить паттерны, при которых метод врёт, - и потом, работая с реальным мозгом, избегать этих ловушек.

Пирсон из Duke напоминает, что мозг - это не компьютер, который инженеры проектировали для удобства понимания. Это продукт миллиардов лет эволюции, которой плевать на нейробиологов :) Природа не ставила себе цель сделать нервную систему прозрачной для нашего разума. Поэтому если мы чего-то не понимаем в мозге - это нормально. Обижаться не на кого. Пирсон говорит, что сложность мозга - это не гордиев узел (который можно только разрубить), а луковица (слоистый пирог). В отличие от искусственной нейросети, где все слои часто перемешаны математикой, биологический мозг эволюционно наслаивал новые функции поверх старых, не ломая их полностью. Поэтому там есть чёткая иерархия и модульность и сложность мозга не безгранична. Жёсткие рамки эволюции и развития делают его сложным, но познаваемым. Он говорит , что мы не будем перебирать 2^100 вариантов. Мы воспользуемся знанием генетических правил, анатомии и физики, чтобы отсечь 99% вариантов (В реальном мозге из-за ограничений многие взаимодействия запрещены или крайне маловероятны. Нейрон А просто физически не может соединиться с нейроном Б, потому что они находятся в разных отделах или их типы клеток не совместимы) и тогда уже понять логику сборки.

А Пиктоу из того же университета говорит - "вы неправильно поняли, что такое объяснение". Питкоу подхватывает идею, которая мелькает в статье: причинно-следственное объяснение - это предсказание, которое не ломается. Если вы поняли истинный механизм, то ваше предсказание будет работать всегда, даже если мир вокруг изменится. А если вы просто выучили случайную корреляцию, то при малейшем изменении условий предсказание рухнет. Представьте, что вы учите ребёнка, почему мяч падает на землю. Плохое объяснение: «потому что я его толкнул вниз» (это не объяснение, а описание случая - конкретной ситуативной причинно-следственной связи). Хорошее объяснение: «потому что есть гравитация». Гравитация - это обобщенное объяснение. И оно позволяет предсказывать бесконечное количество новых ситуаций: брошенный вверх мяч тоже упадёт, яблоко упадёт с дерева, луна не улетит от Земли. Объяснение и предсказание здесь - одно и то же. Поэтому Питкоу говорит Гершману: не надо выбирать между предсказанием и объяснением. Надо искать такой уровень описания, который обобщает - даёт верные предсказания в новых условиях.

В итоге статья Гершмана - это попытка остановиться и подумать: а что мы на самом деле делаем, когда строим модель мозга или пытаемся разобраться в нейросети? Может ли предсказание заменить понимание? И нужно ли нам понимание, если предсказание уже работает? И может ли нам быть достаточно обобщенного объяснения?

Телеграм: t.me/ainewsline

Источник: www.thetransmitter.org

Комментарии: