Как математика учит компьютеры думать?

[00:00:00] — Введение: бум нейросетей и математический катарсис

• Искусственный интеллект и большие языковые модели стали главными словами эпохи: государства и корпорации инвестируют миллиарды, а пользователи поражаются возможностям нелинейных многопараметрических систем, минимизирующих функцию потерь.

• Личный взгляд автора [00:00:56]: 13 лет назад прикладное машинное обучение (предсказание солнечных пятен) казалось «алхимией» на фоне строгой математической теории, но оказалось лишь вершиной гигантского математического айсберга.

[00:01:55] — Определение ИИ: слабый против сильного интеллекта

• Многогранность термина: ИИ как область информатики, как класс интеллектуальных технических систем (роботы, беспилотники) и как способность машины имитировать когнитивные функции человека (обучение, логика, поиск закономерностей, планирование, владение естественным языком).

• Слабый (узкий) ИИ [00:03:29]: алгоритмы, решающие строго определенный класс задач (рекомендательные ленты, переводчики, голосовые помощники Siri и Алиса, автопилоты и даже ChatGPT). Они не обладают самосознанием, волей или истинным пониманием эмоций. Все существующие сегодня системы — это слабый ИИ.

• Сильный ИИ (AGI) и суперинтеллект [00:04:15]: гипотетический компьютер с полноценным человеческим мышлением, способный решать любые задачи на уровне человека или превосходить его (цель OpenAI, Google, Meta).

[00:05:10] — Предыстория ИИ: мифы, формальная логика и вычислимость

• Направление 1 — Оживление неживого [00:05:46]: мифологический бронзовый страж острова Крит гигант Талос, древнеегипетские статуи, деревянный летающий голубь Архита Тарентского, механические замки и часы Аль-Джазари (1206 г.), средневековые алхимические гомункулы («Фауст» Гёте) и «Франкенштейн» Мэри Шелли.

• Направление 2 — Формализация мышления [00:06:59]:

- Аксиоматика геометрии Евклида, дедуктивная логика и силлогизмы Аристотеля («Все люди смертны, Сократ — человек, значит, Сократ смертен»), символьная алгебра Аль-Хорезми.

- Идея механистической Вселенной XVII века [00:07:59]: тезис Томаса Гоббса в «Левиафане» («Мышление — это вычисление, сложение и вычитание мыслей») и проект «универсальной характеристики» Готфрида Лейбница — перевода всех человеческих понятий на строгий язык исчисления, где любой спор решается подсчетом («Давайте посчитаем!»).

- Математическая логика XIX–XX вв. [00:08:53]: алгебра логики Джорджа Буля и Готлоба Фреге; фундаментальный 2000-страничный труд Альфреда Уайтхеда и Бертрана Рассела «Principia Mathematica» (1913 г.) с попыткой вывести всю математику из аксиом логики.

- Крушение абсолютной формализации [00:09:29]: программа Давида Гильберта и шокирующие теоремы о неполноте Курта Гёделя (1930 г.), доказавшего, что в любой достаточно сложной формальной системе существуют истинные утверждения, которые невозможно доказать средствами самой системы.

- Теория вычислимости [00:10:29]: работы Алонзо Чёрча и публикация Алана Тьюринга (1936 г.) с описанием абстрактной «Машины Тьюринга» (бесконечная лента с ячейками, считывающая головка и таблица правил). Всё, что поддается алгоритмическому вычислению, реализуемо на машине Тьюринга.

• Направление 3 — Вычислительные машины и первые программы [00:11:39]:

- От механических арифмометров Паскаля и Лейбница и аналитической машины Чарльза Бэббиджа к первым электронным ЭВМ XX века, теории оптимального управления Понтрягина, кибернетике Норберта Винера и теории информации Клода Шеннона.

- Тест Тьюринга (1950 г.) [00:12:29]: статья «Могут ли машины мыслить?» и имитационная игра, где человек по текстовым ответам пытается отличить машину от живого собеседника.

- Первые шаги (1940–1950-е) [00:13:05]: математическая модель искусственного нейрона Уоррена Мак-Каллока и Уолтера Питтса (1943/1946 гг.); создание 24-летним Марвином Минским первого нейрокомпьютера SNARC (1951 г.); первые шахматные и шашечные программы на компьютере Ferranti Mark 1 (1951 г.); программа «Логик-теоретик» Аллена Ньюэлла и Герберта Саймона (1955 г.), доказавшая 38 из 52 теорем «Principia Mathematica».

[00:14:12] — Рождение ИИ (1956 г.) и эпоха «большого оптимизма»

• Дартмутский семинар летом 1956 года: Марвин Минский, Джон Маккарти, Клод Шеннон и Натаниэль Рочестер («Дартмутская мафия»). Маккарти предложил термин «Искусственный интеллект», чтобы отмежеваться от кибернетики Норберта Винера и получать независимые гранты.

• Символический ИИ и поисковое мышление [00:16:37]: создание языков LISP и Prolog, работающих с символьными выражениями; алгоритм «Универсального решателя задач» (GPS) как поиск выхода из лабиринта перебором вариантов.

• Рождение перцептрона (1957–1958 гг.) [00:17:18]: нейрофизиолог Франк Розенблатт создает компьютер «Марк-1 Перцептрон» по аналогии с нейронами мозга (86 млрд нейронов и 100 трлн синапсов у человека). Разбор архитектуры однослойного перцептрона на примере распознавания кота в черном ящике по 5 бинарным признакам (размер, 4 лапы, мурлыканье, когти, любовь к рыбе) и настраиваемым весам значимости.

• Обработка естественного языка и робототехника [00:19:22]: первый в мире чат-бот ELIZA Джозефа Вейценбаума (1966 г.), имитировавший психотерапевта простым перефразированием ключевых слов, и открытие «эффекта Элизы» (склонности людей приписывать тупому алгоритму понимание и эмпатию). Создание в японском университете Васэда первого человекоподобного робота WABOT-1 [00:20:44] (шаг ногой занимал 45 секунд).

[00:21:48] — Первая «зима ИИ» (1970-е годы): крах завышенных ожиданий

• Разочарование инвесторов и государств: обещания Минского и советского кибернетика Алексея Ивахненко создать разумную машину за одно поколение не сбылись; финансирование свернули.

• Книга Марвина Минского и Сеймура Паперта «Перцептроны» (1969 г.) [00:22:38]: математическое доказательство фундаментальных ограничений однослойных перцептронов (неспособность решить задачу XOR), что заморозило исследования нейросетей на 10 лет в пользу символического подхода.

• Фундаментальные причины провала [00:23:27]:

1. Ничтожная вычислительная мощность: суперкомпьютеры 1970-х выполняли около 100 тыс. операций в секунду против 15 трлн операций/с в современном iPhone.

2. Комбинаторный взрыв: экспоненциальный рост числа вариантов при масштабировании реальных задач.

3. Проблема здравого смысла: отсутствие у машины базовых представлений о физическом мире (гравитация, твердость предметов, намерения пешехода).

4. Парадокс Моравека [00:24:45]: для компьютеров сложное просто, а простое сложно — машине легко доказывать теоремы и играть в шахматы, но невероятно трудно отличить кошку от собаки на фото, с чем легко справляется двухлетний ребенок.

[00:25:36] — Возрождение 1980-х: экспертные системы, сети Хопфилда и Backpropagation

• Бум экспертных систем [00:25:53]: программы с базой знаний узких специалистов и набором правил «если — то» (расчет доз антибиотиков, скоринг ипотеки, поиск руды в геологии, авиадиспетчеризация). Две трети списка Fortune 500 внедрили экспертные системы; Япония запустила мегапроект компьютеров пятого поколения.

• Ренессанс нейросетей [00:27:05]:

- Джон Хопфилд (1982 г.) предлагает рекуррентные сети Хопфилда с циклическими связями для ассоциативной памяти и работы с последовательностями.

- Популяризация метода обратного распространения ошибки (Backpropagation) Джеффри Хинтоном и коллегами в 1986 году [00:27:37]: алгоритм проходит по слоям сети от выхода ко входу и шаг за шагом корректирует веса на основе производных функции потерь (как учитель, разбирающий с учеником каждый этап решения задачи).

• Вторая «зима ИИ» (1987 г.) [00:28:57]: специализированные LISP-машины для экспертных систем оказались слишком дорогими в поддержке и проиграли персональным компьютерам IBM и Apple; обанкротилось более 300 компаний, а японский проект пятого поколения провалился.

[00:30:32] — Эра машинного обучения (1990–2000-е): от правил к данным

• Триумф и тупик символического подхода: в 1997 году суперкомпьютер IBM Deep Blue (в 10 млн раз быстрее Ferranti Mark 1) обыграл чемпиона мира Гарри Каспарова за счет жестко заложенных правил и перебора на 20 ходов вперед. Но для неструктурированных задач (рекомендации кино, предсказание текста) ручное написание правил невозможно.

• Парадигма машинного обучения (Machine Learning) [00:32:27]: компьютер сам находит закономерности в сырых данных и настраивает параметры без явного программирования правил.

• Классификация прикладных задач ML [00:33:27]: классификация (спам-фильтр, распознавание цифр), регрессия (прогноз продаж, оценка кредитного риска), кластеризация (сегментация покупателей), рекомендательные системы, поиск аномалий (антифрод в банках), NLP (перевод, чат-боты), компьютерное зрение (медицинские снимки, FaceID), распознавание речи и прогноз временных рядов (погода, акции).

• Два базовых подхода [00:34:56]: обучение с учителем (на размеченных данных с известными ответами) и обучение без учителя (поиск скрытых структур и кластеров в сырых данных).

• Развитие алгоритмов в 1990–2000-х [00:35:57]: классические статистические модели (случайный лес Random Forest, метод опорных векторов SVM, градиентный бустинг) и прорывные архитектуры нейросетей:

- Сети долгой краткосрочной памяти LSTM (1997 г.) [00:36:27] — эффективное запоминание контекста в последовательностях для генерации текста (самая цитируемая нейросеть XX века).

- Свёрточные нейронные сети (CNN) Яна Лекуна [00:37:06]: архитектура LeNet-5, скопированная со зрительной коры млекопитающих для послойного извлечения признаков (уши, хвост, контуры) и внедренная банками США для чтения рукописных чеков.

[00:38:56] — Революция глубокого обучения (Deep Learning): 2012 год и эра GPU

• Прорыв на соревновании ImageNet (2012 г.): база размеченных картинок, где стандартная ошибка топ-5 держалась на уровне ~25%. Модель глубокого обучения AlexNet (Алекс Крижевский, Джеффри Хинтон, Илья Суцкевер) [00:39:56] обрушила ошибку сразу до 16%.

• Что сделали создатели AlexNet: построили глубокую 8-слойную свёрточную сеть (глубоким обучением считают сети от 3 скрытых слоев), изменили функцию активации и, главное, распараллелили обучение на графических процессорах (GPU) видеокарт NVIDIA [00:40:56], изначально созданных для игр вроде GTA IV. Это сделало NVIDIA компанией стоимостью свыше $1 трлн с долей рынка ИИ-вычислений более 80%.

• Каскад прорывов Deep Learning (2015–2018 гг.) [00:42:14]:

- Свёрточная сеть с остаточными связями ResNet (2015 г.): превзошла точность человека в классификации картинок ImageNet и стала самой цитируемой работой десятилетия.

- Глубокое обучение с подкреплением (Deep Reinforcement Learning) [00:42:26]: обучение методом проб, наград и штрафов. В 2016 году алгоритм AlphaGo победил чемпиона мира по игре Го (где число комбинаций превышает число атомов во Вселенной), а в 2018 году AlphaZero с нуля за 4 часа игры сама с собой без знания стратегий разгромила лучшие программы по шахматам, сёги и го.

- Генеративно-состязательные сети (GAN) [00:43:26]: дуэль двух нейросетей — «художника» (генератора подделок) и «критика» (дискриминатора), породившая эпоху фотореалистичных синтетических лиц и дипфейков.

[00:44:22] — Революция Трансформеров (2017 г.) и фундаментальные модели

• Статья ученых Google *«Attention Is All You Need»* («Внимание — это всё, что нужно», 2017 г.): отказ от медленной последовательной обработки слов в рекуррентных сетях в пользу архитектуры Трансформера.

• Суть механизма внимания (Attention) и параллелизации [00:45:26]: трансформер анализирует все слова в тексте одновременно, улавливая смысловые связи между далекими частями документа, и идеально ложится на параллельную архитектуру GPU.

• Смена парадигмы — Фундаментальные (базовые) модели [00:46:26]: вместо создания отдельной узкой модели под каждую задачу обучается одна колоссальная модель без учителя на терабайтах сырых текстов с простейшей базовой задачей — предсказывать следующее слово (как старый Т9). После дообучения (файн-тюнинга) на малой выборке такая модель обретает способность решать задачи классификации, перевода, программирования и анализа.

• Эволюция GPT и диффузионных моделей [00:48:26]:

- От первой модели GPT-1 (2018 г., 117 млн параметров) до GPT-4 (2023 г., по оценкам ~1,8 трлн параметров) и добавления удобного чат-интерфейса в ChatGPT, сделавшего ИИ массовым.

- Диффузионные модели в генерации изображений [00:49:25]: обучение через последовательное зашумление картинки до полного хаоса и обратное восстановление четкого изображения из белого шума.

[00:50:06] — Современный ландшафт ИИ, угрозы и проблема «черного ящика»

• Выход генеративного ИИ в массы: интеллектуальный поиск, копирайтинг, код-ассистенты (GitHub Copilot), разработка лекарств и решение олимпиадных задач по математике (конкурс AI Mathematical Olympiad с фондом $10 млн [00:52:25]).

• Тревога научного сообщества (2023 г.) [00:52:55]: открытое письмо Илона Маска и Стива Возняка о паузе в обучении гигантских моделей; заявление Джеффри Хинтона, Сэма Альтмана и Билла Гейтса о приравнивании рисков ИИ к угрозе ядерной войны и пандемий; первый глобальный саммит по безопасности ИИ в Блетчли-парке.

• Главные уязвимости современных нейросетей [00:54:06]:

1. Галлюцинации — уверенная генерация правдоподобной лжи и несуществующих фактов.

2. Уязвимость к джейлбрейкам (перехвату инструкций) и злоумышленному применению человеком.

3. Проблема интерпретируемости («Черный ящик») [00:54:55]: в отличие от прозрачных экспертных систем 1980-х, мы не понимаем, почему миллиарды весов внутри нейросети приняли то или иное решение. Отсюда рост направлений Explainable AI (объяснимый ИИ) и нейросимволического ИИ (гибрида нейросетей и строгой логики).

[00:56:06] — Взгляд в будущее: узкие модели, мультимодальность и новые архитектуры

• Прикладные тренды: корпоративные и отраслевые фундаментальные модели (для юристов, медиков, финансистов) и полная мультимодальность (единая модель для текста, аудио, фото и видео).

• Преодоление фундаментальных ограничений Трансформеров [00:57:32]:

- Проблема квадратичной сложности: при увеличении длины входного текста (контекста) в 2 раза объем вычислений в механизме внимания растет в 4 раза. Решение — новые субквадратичные архитектуры, такие как Hyena (использующая неявные длинные свёртки и попарные перемножения вместо квадратичного внимания).

- Проблема статичности весов после обучения [00:58:24]: решение — Жидкие нейронные сети (Liquid Neural Networks), вдохновленные нервной системой круглого червя C. elegans, где вероятностные веса динамически адаптируются прямо в процессе работы с новыми входными данными.

• Глобальные вызовы индустрии [00:59:04]: дефицит чипов и электроэнергии для дата-центров, исчерпание запасов качественных текстовых данных для обучения (прогноз — в течение 3 лет для текстов и 30 лет для картинок) и феномен эмерджентности (внезапного появления у больших моделей навыков, которым их специально не учили, например перевода с бенгальского).

[01:00:09] — Итоговое резюме: три главных вывода об эволюции ИИ

1. ИИ развивается по законам дарвиновской эволюции [01:01:54]: выживают не самые изящные на бумаге теории, а те архитектуры, которые лучше всего масштабируются с ростом вычислительных мощностей.

2. ИИ — междисциплинарная вершина прикладной математики (статистика, матанализ, линейная алгебра, теория управления, теория игр), уже проникшая в каждое действие современного человека.

3. ИИ — одновременно величайший инструмент и серьезный вызов, где главная ответственность за сохранение человечности лежит на самом человеке.

https://www.youtube.com/watch?v=JZjH0it9Jyg

13 янв. 2024?г. #vitalmath

Телеграм: t.me/ainewsline

Источник: www.youtube.com

Комментарии: