В середине XX века физики изучали загадочные сплавы, например, золота с примесью железа

В середине XX века физики изучали загадочные сплавы, например, золота с примесью железа. Эти материалы, названные спиновыми стеклами, не были полезными для техники. Их атомы обладали магнитными свойствами, но вместо того чтобы дружно выстроиться, как в магните, их магнитные моменты («спины») застывали, указывая в случайных направлениях. Это было похоже на толпу людей, где каждый смотрит куда хочет, а не в одну сторону.

Чтобы описать это явление, ученые создали упрощенную математическую модель, известную как модель Изинга. В ней атомы изображались как стрелочки на решетке, которые могли смотреть только строго вверх или вниз, что соответствовало двум возможным магнитным состояниям атома в сплаве. Правила модели включали случайные взаимодействия: соседние стрелочки могли «хотеть» сориентироваться одинаково или наоборот. Расчеты показали, что такая система обладает множеством устойчивых состояний с минимальной энергией, условно называемых «впадинами». Попав в одну из них, система уже из нее не выходит — именно это и означало «замерзание» беспорядочной намагниченности в реальном спиновом стекле.

Физик Джон Хопфилд в 1982 году совершил ключевой шаг. Он изучал принципы работы мозга с информацией. Рассматривая модель спинового стекла, он заметил, что её математика идеально подходит для описания простой нейронной сети. Стрелочка «вверх» или «вниз» — это аналог нейрона, который либо активен («включен»), либо нет. Случайные силы между стрелочками — это аналог связей между нейронами, силу которых можно менять. Хопфилд осознал: если специально рассчитать и задать эти связи, то каждое устойчивое состояние сети (та самая «впадина») будет соответствовать сохраненному в ней образу.

Так была создана математическая модель — сеть Хопфилда. Но только она уже существовала не в сплаве, а в виде уравнений и компьютерных симуляций. Чтобы запомнить, например, изображение, сеть вычисляла и фиксировала силы связей между всеми своими искусственными нейронами так, что активность, соответствующая этому изображению, становилась устойчивой. Чтобы вспомнить образ по его части, сеть просто запускалась из состояния, кодирующего эту часть, и автоматически приходила к ближайшему устойчивому состоянию — полному изображению. Так работала ассоциативная память.

Эти идеи стали фундаментом. Джеффри Хинтон, развивая подход Хопфилда, создал «машину Больцмана», способную не только запоминать, но и генерировать новое, изучая статистику данных. Позже именно методы, рожденные из физики спиновых стекол, решили ключевую проблему обучения глубоких многослойных нейросетей. Сегодня это знание — не тайна. Архитектура современных трансформеров, как у ChatGPT, и принципы работы генераторов изображений вроде Midjourney являются сознательным развитием и сложным потомком тех самых первоначальных уравнений, которые описывали «бесполезные» магнитные сплавы.

Так исследование экзотических материалов дало точный математический язык для описания памяти и обучения, став основой для технологической революции.

Источник: vk.com

Комментарии: