Как архитектура трансформера изменила искусственный интеллект и стала основой современных LLM?

Как архитектура трансформера изменила искусственный интеллект и стала основой современных LLM? Разговор с Михаилом Бурцевым — исследователем AI, кандидатом физико-математических наук и Arnold & Landau AI Fellow в London Institute for Mathematical Sciences.

Обсуждаем устройство трансформеров и механизм внимания. Как появилась архитектура, на которой построены ChatGPT, Claude и Gemini? Почему предсказание следующего слова оказалось настолько мощной идеей и как оно изменило развитие AI? Говорим о природе интеллекта, различиях между человеком и LLM, а также о том, почему способность предсказывать следующее слово приводит к поведению, которое выглядит разумным.

Разбираем, как трансформеры помогают анализировать ДНК и как такие системы могут использоваться для персонализированной медицины. Говорим о будущем ИИ: почему эпоха масштабирования может подходить к концу, какие ограничения есть у современных моделей и каким может стать следующий этап развития искусственного интеллекта.

Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/tal1125_podcast1

00:00 О чем этот выпуск?

03:40 Как появились современные большие языковые модели

15:16 Тройственный союз: нейросети, символы и эволюция

18:08 Naukka Talents ищет талантливых STEM-специалистов

20:03 Предыстория Attention Is All You Need

25:52 Проблема памяти до появления трансформеров

29:45 Что такое self-attention

37:30 Почему диалог сложнее машинного перевода

43:57 Как появились BERT и GPT

56:18 Создали ли мы искусственный интеллект?

01:07:44 Могут ли LLM навредить человечеству?

01:16:22 Почему AI делает контент вместо научных прорывов

01:22:22 Главная проблема трансформеров — длинный контекст

01:31:28 Как работает Recurrent Memory Transformer

01:37:50 Зачем LLM контекст на 50 миллионов токенов

01:42:53 Как превратить ДНК в язык для ИИ

01:49:48 Зачем изучать ДНК?

01:55:16 Зачем ИИ читать геном целиком?

02:03:33 Может ли ИИ прочитать весь геном человека?

02:08:41 ИИ против устойчивых бактерий

02:12:51 Без науки нет будущего

02:17:21 Заключение

Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr

Курсы от создателей ПостНауки: https://postnauka.org/link/academy_vk

Поддержать ПостНауку: https://postnauka.org/link/donate_vk

По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_vk

Телеграм: t.me/ainewsline

Источник: postnauka.org

Комментарии: