Создан суперкомпьютер Andromeda AI для искусственного интеллекта, собранный на самых больших чипах на сегодняшний день

Американская компания Cerebras Systems анонсировала свой суперкомпьютер под названием Andromeda AI, имеющий в своем составе 13.5 миллионов вычислительных ядер, и предназначенный для решения задач из области искусственного интеллекта и глубинного машинного обучения. Согласно имеющейся информации, Andromeda имеет производительность в 1 экзафлоп (1 квинтильон операций в секунду) при расчетах чисел с половинной 16-битной точностью, широко используемых при построении искусственных нейронных сетей.

Andromeda AI представляет собой кластер из 16 соединенных друг с другом компьютеров Cerebras CS-2. Сердцем каждого из компьютеров CS-2 является чип WSE-2 (Wafer Scale Engine), кристалл которого представляет собой квадрат со стороной 21.59 сантиметра (8.5 дюймов) и который является самым большим в мире кремниевым чипом на сегодняшний день. На поверхности этого чипа расположены 2.6 триллиона транзисторов, организованные в 850 тысяч вычислительных ядер.

Суперкомпьютер Andromeda AI был построен в помещении датацентра в Санта-Кларе, Калифорния, его сооружение обошлось в 25 миллионов американских долларов. "Andromeda, за счет реализации крупномасштабного параллелизма, представляет собой идеальную вычислительную систему для больших языковых моделей GPT-класса" - пишут представители компании Cerebras, - "Суперкомпьютер эффективно работает с моделями GPT-3, GPT-J и GPT-NeoX, и уже используется для решения задач из академической и коммерческой областей".

Согласно информации от представителей компании Cerebras Systems, подключение в общую систему большого количества единиц компьютеров CS-2 обеспечивает уменьшение времени обучения нейронных сетей в "идеальной обратной пропорции". И в его нынешней конфигурации суперкомпьютер Andromeda AI способен решать задачи, которые не по зубам системам, построенным на базе графических процессоров.

"Возможности системы Andromeda AI были продемонстрированы на расчетах модели GPT-J с 2.5 и 25 миллиардами параметров, использующими по 10240 длинных последовательностей (MSL). Полученные в ходе этих тестов результаты были весьма близки к идеальным, а вот другая исследовательская группа, пытавшаяся повторить все это на системе Polaris с 2 тысячами вычислительных узлов на базе Nvidia A100, потерпела неудачу из-за ограниченной пропускной способности системы памяти и памяти графических процессоров".

Суперкомпьютер Andromeda AI выглядит не очень по сравнению с самыми быстрыми из традиционных суперкомпьютеров. Самый мощный суперкомпьютер, Frontier, находящийся в Национальной лаборатории Ок-Ридж, обеспечивает 1.103 экзафлопса при операциях с двойной 64-битной точностью. Однако, сооружение Frontier обошлось в более чем в 20 раз большую сумму, в 600 миллионов американских долларов, он занимает гораздо большую площадь и потребляет значительно большее количество энергии для работы, чем Andromeda AI.

В настоящее время заинтересованные организации могут получить удаленный доступ к системе Andromeda AI. И уже сейчас в число пользователей этого суперкомпьютера входят специалисты из Кембриджского университета, Национальной лаборатории Аргонна, компании JasperAI и некоторых других организаций, занимающихся проблемами искусственного интеллекта.