Карпати считает, что мы зря гонимся за гигантскими AI-моделями. Будущее может быть за моделями в 1 млрд параметров

Бывший руководитель AI в Tesla и исследователь OpenAI объяснил, почему современные LLM тратят огромную часть своих возможностей на запоминание ненужной информации.

Его идея: модели не обязательно хранить знания обо всём. Достаточно уметь рассуждать и обращаться к нужным инструментам.

Карпати выделяет несколько направлений:

- Дистилляция - большая модель обучает маленькую, передавая ей часть своих возможностей.

- Инструменты - вместо запоминания фактов модель получает информацию по запросу.

- Специализация - множество небольших моделей выполняют разные роли.

- Оркестрация - сложные задачи распределяются между агентами.

А если добавить замкнутый цикл с проверкой результатов и исправлением ошибок, получится архитектура автономного агента.

Большая модель ? маленькая модель ? инструменты ? обратная связь ? улучшение результата.

Карпати допускает, что для базового «когнитивного ядра» однажды хватит даже менее миллиарда параметров.

Получается интересный сдвиг: вместо бесконечного увеличения моделей можно совершенствовать систему вокруг них.

https://www.youtube.com/watch?v=6P2ItWQY_uw

Телеграм: t.me/ainewsline

Источник: www.youtube.com

Комментарии: