Искусственный интеллект без использования дорогостоящих графических процессоров

Совместный проект исследователей Microsoft и Китайской академии наук показывает: ИИ не обязательно должен быть прожорливым и дорогим. Новая языковая модель работает без сбоев на обычном процессоре, полностью обходясь без графических ускорителей.

Большие языковые модели, лежащие в основе самых популярных нейросетей, требуют колоссальных ресурсов — от мощных серверов до энергоёмких GPU. Но команда Microsoft сделала почти невозможное: разработала архитектуру, которая заменяет дорогие вычисления на простую арифметику. В их решении полностью отказались от чисел с плавающей запятой. Вместо привычных 8- и 16-битных весов — всего три возможных значения: -1, 0 и 1. Это позволяет ИИ «думать» быстрее, используя минимум энергии и памяти.

Команда Microsoft разработала и специальную среду выполнения — bitnet.cpp, которая позволяет максимально эффективно задействовать возможности центрального процессора. И первые тесты уже показали, что модель уверенно конкурирует с аналогами на GPU, а по эффективности в ряде задач даже их опережает.

Источник: vk.com

Комментарии: