Революция в нейросетях

Дело в том, что ещё с 1957 года в основе всех нейросетей лежит сеть из нейронов, весов и функций под названием многослойный перцептрон (MLP). Но теперь ученые представили альтернативу и назвали её в честь советских ученых Андрея Колмогорова и Владимира Арнольда — Kolmogorov-Arnold Networks (KAN).

MLP имеют фиксированные функции активации на узлах «нейронах», а KAN — обучаемые функции активации на ребрах «веса». В KAN нет линейных весов – каждый параметр веса заменяется одномерной функцией, параметризованной как сплайн. В то время как MLP имеют детерминированные функции активации в нейронах, в KAN они перемещены непосредственно на веса внутри сети и становятся объектами обучения. Идея KAN основана на глубоких математических принципах, а именно на теореме об аппроксимации Колмогорова-Арнольда или же теорема суперпозиции.

Андрей Колмогоров - советский математик, один из основоположников современной теории вероятностей. Владимир Арнольд - доктор наук, родом из Одессы. Их совместными усилиями установлено, что если f - это многомерная непрерывная функция, то f можно записать в виде конечной композиции непрерывных функций одной переменной и бинарной операции сложения.

KAN не только настраивает, но и пересматривает работу сети, делая ее более интуитивной и эффективной. Она может обрабатывать новую входную информацию без забывания, что помогает поддерживать модель в актуальном состоянии, не полагаясь на какую-либо базу данных или переобучение. Применение нелинейности перед суммированием входов позволяет дифференцированно обрабатывать признаки и потенциально более точно контролировать влияние входов на выходы.

Источник: vk.com

Комментарии: