ИИ и физика

В 2024 году Нобелевская премия по физике была вручена Джону Дж. Хопфилду и Джеффри Э. Хинтону за работы в области нейронных сетей. Как это связано с физикой? 

Когда я собирала пост про этапы развития ИИ, то обратила внимание, что премию по физике дали за работу по информатике. Я ещё тогда удивилась, почему так, но не вдавалась в подробности, как бы это к физике ближе, чем к литературе, на этом и успокоилась, но оказалось, что временно.

Решила поделиться с вами информацией о более глубоком понимании процессов. Текст получится достаточно сложным, но я пока не понимаю, как можно написать без использования терминов. Развитие ИИ сильно меняет нашу жизнь, поэтому хочется говорить на взрослом уровне, а не переходить на примеры, как вместо переменной х (икс), приходится складывать хомяков, чтобы объяснить приведение подобных слагаемых.

В 80-х годах XX века Джон Хопфилд описал нейросеть, позже названную сетью Хопфилда и состоящую из одного слоя нейронов, каждый из которых связан со всеми остальными. Хопфилд предположил, что для моделирования такой сети можно использовать спиновые стёкла – сплавы с небольшой концентрацией магнитных примесей, в которых спины атомов неупорядочены.

На втором фото приведено схематическое изображение спинов атомов ферромагнетика (снизу) и спинового стекла (сверху). В этой модели состояние отдельного нейрона моделируется значением спина в данном узле, а синапсы, связывающие нейроны, – магнитными взаимодействиями в сплаве.

Оказалось, что такая система обладает интересными вычислительными свойствами. Во-первых, она имеет своего рода память, то есть способна запоминать введённую в неё информацию. Во-вторых, с её помощью можно распознавать образы: получив на вход даже очень зашумлённый или частично стёртый сигнал, сеть Хопфилда быстро выделяет из него эталонное изображение.

Сеть Хопфилда всего из 20 нейронов распознаёт буквы алфавита даже по сильно искажённым образцам, как это работает, я приложила третью фотку с этим экспериментом.

Это показывает, что принципы, известные в физике, могут находить применение и в нейронауках, поскольку оба направления изучают сложные системы с большим числом взаимодействующих элементов. Способ хранения и обработки информации в модели Хопфилда, использующий подходы теоретической физики, оказался близок к тому, как устроены реальные биологические системы – сети нервных клеток живого организма.

Несколько лет спустя на основе этой модели Терренс Сейновски разработал более сложную нейронную сеть, получившую название машины Больцмана. Алгоритм её обучения был основан на распределении Больцмана – распределении вероятностей, используемом для моделирования сложных систем, находящихся в состоянии теплового равновесия.

Одна из сильных сторон машины Больцмана – генеративность: она способна генерировать новые данные, похожие на обучающие. В ранних этапах развития глубокого обучения (deep learning) ограниченные машины Больцмана (Restricted Boltzmann Machines, RBM), усовершенствованные Джеффри Хинтоном, активно применялись в нейросетях.

Использование физических моделей для моделирования биологических объектов – нейронных сетей – помогло заложить основы машинного обучения. Современный прорыв в области искусственного интеллекта стал возможен благодаря доступу к большим данным и колоссальному росту вычислительной мощности.

В свою очередь, нейронные сети приносят пользу и теоретической физике. Машинное обучение применяется везде, где требуется обработать большой объём сырых данных, отфильтровать потенциально интересную информацию или спрогнозировать поведение систем. Например, методы машинного обучения помогли выделить сигналы распада бозона Хиггса из огромного массива экспериментальных данных Большого адронного коллайдера – и в конечном счёте подтвердить существование этого бозона.

Таким образом, подходы из статистической механики и физики сложных систем не только помогли создать первые нейронные сети, но и продолжают играть важную роль в развитии машинного обучения, поэтому премию за ИИ и дали физикам.

Последнее фото - ускорители частиц изнутри. Почувствуйте мощь

97/100

Источник: vk.com

Комментарии: