Новый алгоритм Google не закончит кризис ОЗУ

Вчера компания анонсировала алгоритм TurboQuant, который позволяет шестикратно сжимать данные в рабочей памяти языковых моделей без потери точности ответов. Речь идёт об оптимизации инференса. Новость вызвала нервную реакцию среди акционеров производителей памяти из-за опасений падения спроса на чипы для ИИ-отрасли. В экспериментах на Nvidia H100 расход памяти снизился в 6 и более раз, при этом подход не потребовал дообучения.

Посыпались акции SK Hynix, Samsung, Sandisk и Micron. Однако эффект, вероятно, переоценён. TurboQuant работает только во время генерации ответов и, скорее всего, просто позволит разработчикам внедрять более сложные модели с контекстом в сотни тысяч токенов. При этом на огромный расход памяти при обучении моделей он повлиять не может. Это просто полезный инструмент для удешевления ИИ-сервисов.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: