Быстрая подготовка моделей машинного обучения критически необходима везде, где используются эти модели. Для Google это, в частности, работа ключевых сервисов — поисковой системы и переводчика.
Представленный в 2018 году тест для определения мощности систем искусственного интеллекта MLPerf (разработанный, к слову, не без участия Google) поставил гугловский суперкомпьютер на базе последней модели чипа Tensor Processing Unit (TPU) на вершину рейтинга производительности в шести из восьми тестов.
Модели реализованы на базе программной библиотеки TensorFlow, JIT-компилятора JAX и фреймворка Lingvo.
Так какие задачи заметно быстрее выполняются Google TPU, согласно тестам MLPerf? Чему обучался суперкомпьютер?
- DLRM — система ранжирования и рекомендаций, широко используется в онлайн-бизнесе.
- Архитектура нейросети Transformer стала основой волны достижений в области обработки естественного языка, на ней основана и следующая система, BERT.
- Именно BERT, по словам представителей Google, обеспечил самый заметный прорыв в качестве поиска в последнюю пятилетку.
- ResNet-50 — широко используемая модель для классификации изображений.
- SSD — модель распознавания объектов, может использоваться даже на мобильных устройствах.
- Mask R-CNN — модель сегментации изображений, которая требуется в автономной навигации, медицинской визуализации и других областях.
Компьютер-чемпион Google, так хорошо показавший себя в тестах, в четыре раза больше, чем облачный модуль TPU v3, который установил три рекорда в предыдущем соревновании.
Система построена на 4096 чипах TPU v3 и сотне процессорных хост-машин. В общей сложности эта система даёт более 430 Пфлопс пиковой производительности.
Разумеется, Google на этом не останавливается. Анонсирован, пока без подробностей, выход нового чипа — TPU v4, более чем в два раза более производительного, чем v3.