Perplexity выпустила свой первый исследовательский paper - и он про то, как заставить сверхкрупные модели работать на десятках AWS-GPU одновременно

Обычно это невозможно: сеть AWS (EFA) не поддерживает GPUDirect Async, поэтому GPU на разных машинах не могут обмениваться данными достаточно быстро.

Инженеры нашли обходной путь: они построили новый софт, который передаёт координацию CPU, позволяя GPU всё равно синхронизироваться почти напрямую.

Это делает эффективным инференс моделей на *1 триллион параметров* на обычных AWS-кластерах, а не только на специализированных суперкомпьютерах.

Они подготовили expert-parallel ядра для быстрого MoE-инференса на AWS EFA:

1T MoE работает практически без деградации, а многонодовый режим сопоставим или быстрее однонодового на 671B DeepSeek V3 при средних батчах — и открывает путь к сервингу Kimi K2.

Проблема: EFA не поддерживает GPUDirect Async, а стандартный NVSHMEM-proxy даёт маршрутизацию MoE c задержками выше 1 мс.

Решение: ядра упаковывают токены в единичные RDMA-записи прямо с GPU, а специальный CPU-поток запускает передачу и перекрывает её с вычислениями GEMM.

Итог — EFA внезапно становится рабочим вариантом для массивного MoE-инференса.

Это крепкая инженерия и адекватный баланс точности и памяти для команд, которым нужна переносимость между облаками.

https://research.perplexity.ai/articles/enabling-trillion-parameter-models-on-aws-efa

Источник: research.perplexity.ai

Комментарии: