Самый быстрый суперкомпьютер в мире побил рекорд ИИ

Суперкомпьютер Summit, разработанный компанией IBM для Окриджской Национальной лаборатории, в 2018-м стал самым мощным в мире, забрав этот титул у китайцев впервые за пять лет

На западном побережье США самые ценные компании в мире соревнуются в попытках сделать ИИ умнее. Google и Facebook хвастались экспериментами, использующими миллиарды фотографий и тысячи мощных процессоров. Однако после этого в прошлом году проект из восточного Теннеси по-тихому превзошёл масштабы любого корпоративного ИИ. И шёл он под руководством правительства США.

В рекордном проекте участвовал самый мощный суперкомпьютер в мире, Summit, из Окриджской Национальной лаборатории. Этот титул компьютер смог захватить в июне прошлого года, забрав его обратно в США после пяти лет превосходства китайцев. В рамках проекта изучения климата гигантский компьютер загрузил эксперимент по машинному обучению, работающий быстрее всего, что было ранее. Summit, занимающий территорию, по площади равную двум теннисным кортам, использовал в этом проекте более 27 000 мощных графических процессоров. Они направили свои возможности на работу алгоритмов глубинного обучения, технологии, ведущей за собой передние рубежи ИИ, способной перемалывать информацию со скоростью миллиард миллиардов операций в секунду – эта скорость в суперкомпьютерных кругах известна, как экзаоп [тут у автора были экзафлопсы — он перепутал флопсы, операции с плавающей точкой, с опами, операциями вообще. Вычислительная мощность Summit составляет 122 петафлопс, потенциально максимальная – 200 петафлопс. При этом он стал первым компьютером, достигшим показателя в экзаоп, или 10¹⁸ операций в секунду. Во время анализа генетической информации была достигнута скорость в 1,88 экзаоп, и ожидается, что во время смешанных вычислений будет достигнуто 3,3 экзаоп / прим. перев.].

«До сих пор глубинное обучение не расширялось до таких масштабов», — говорит Прабхат, ведущий исследовательскую группу в Национальном научном вычислительном центре энергетических исследований в Национальной лаборатории Лоуренса Беркли. (Да, у него одно имя). Его группа сотрудничала с исследователями с домашней базы Summit, Окриджской национальной лаборатории.

Подходящим образом ИИ на мощнейшем компьютере сконцентрировался на одной из крупнейших проблем мира: изменении климата. Технокомпании тренируют алгоритмы на распознавание лиц или дорожных знаков; государственные учёные тренируют их на распознавание погодных закономерностей, к примеру, циклонов, в обильных наборах данных, полученных в климатических симуляциях, трёхчасовых прогнозах состояния атмосферы Земли, простирающихся на целый век. (Неизвестно, сколько энергии потратил этот проект или к выделению какого количества углерода в атмосферу это привело).

Стойки с оборудованием Summit соединяют 300 км оптоволоконного кабеля, а 15 000 литров воды циркулируют каждую минуту рядом с 37 000 процессорами, охлаждая их.

Последствия эксперимента Summit отразятся на будущем как ИИ, так и климатологии. Проект демонстрирует научный потенциал возможностей применения ГО к суперкомпьютерам, которые традиционно занимались симуляцией физических и химических процессов, таких, как ядерные взрывы, чёрные дыры или новые материалы. Он также демонстрирует, что увеличение вычислительной мощности – если его получить – даёт преимущества для МО – и это служит хорошим предзнаменованием для будущих прорывов.

«Пока мы не сделали этот проект, мы не знали, что его можно так сильно масштабировать», — говорит Раджат Монга, инженерный директор в Google. Он и другие гугловцы помогали проекту, адаптировав TensorFlow, ПО для МО, к огромным масштабам Summit.

Большая часть работы по масштабированию ГО проходила в дата-центрах интернет-компаний, где сервера совместно работают над задачами, разбивая их на части, благодаря тому, что они объединены относительно свободно, и не связаны в один гигантский компьютер. У суперкомпьютеров типа Summit архитектура выглядит по-другому, у них особенные высокоскоростные соединения объединяют тысячи процессоров в единую систему, способную работать как одно целое. До недавнего времени мало кто пытался адаптировать МО для работы на подобном железе.

Монга говорит, что работа над адаптацией TensorFlow к масштабам Summit оживит попытки Google расширить собственные ИИ-системы. Инженеры из Nvidia также помогали в этом проекте, обеспечивая беспроблемную совместную работу десятков тысяч графических процессоров Nvidia.

То, что для обеспечения ГО-алгоритмов всё большей вычислительной мощностью находятся способы, сыграло свою роль в активном развитии технологии, идущем в последнее время. Технология, которую использует Siri для распознавания вашего голоса, а робомобили Waymo для распознавания дорожных знаков, стала полезной в 2012 году, после того, как исследователи адаптировали её для работы на графических процессорах Nvidia.

В аналитической статье, опубликованной в прошлом мае, исследователи из OpenAI, исследовательского института из Сан-Франциско, одним из инвесторов которого был Илон Маск, подсчитали, что количество вычислительных ресурсов в крупнейших проектах, связанных с МО, о которых известно обществу, с 2012 года удваивается примерно каждые 3,43 месяца – или растёт в 11 раз ежегодно. Такой прогресс помог ботам из Alphabet, родительской компании Google, победить чемпионов сложных настольных игр и видеоигр, и помог сделать большой рывок в точности переводов сервиса Google. Теперь Google и другие компании создают новые виды чипов, приспособленных специально для ИИ, чтобы продолжить эту тенденцию. В Google говорят, что их «стручки», плотно интегрирующие по 1000 их чипов для ИИ – они называют их тензорными процессорами, или TPU – могут выдавать 100 петафлопс вычислительной мощности, что в 10 раз [видимо, реально в два раза / прим. перев.] меньше, чем Summit достиг в своём эксперименте с ИИ.
Вклад проекта Summit в климатологию состоит в демонстрации того, как ИИ огромных масштабов могут улучшить наше понимание будущих погодных закономерностей. Когда исследователи выдают предсказания климата на сто лет вперёд, то прочесть его становится довольно сложно. «Представьте себе, что у вас есть ролик на YouTube, длящийся 100 лет. Вручную вы никак не сможете найти там всех кошек и собак», — говорит Прабхат. ПО, которое обычно используется для автоматизации процессов, по его словам, несовершенно. Результаты Summit показали, что МО может справиться с этим лучше, и это должно помочь предсказывать такие последствия штормов, как наводнения и разрушения. Результаты Summit принесли исследователям из Окриджа и Nvidia премию Гордона Белла за передовую работу в области суперкомпьютеров. Запуск ГО на суперкомпьютерах – это новая идея, пришедшая как раз в нужный момент для климатологов, говорит Майкл Причард, профессор из калифорнийского университета в Ирвине. Замедляющаяся скорость улучшений обычных процессоров заставила инженеров перейти к наполнению суперкомпьютеров всё большим количеством графических чипов, где быстродействие растёт надёжнее. «Пришло время, когда уже нельзя было наращивать вычислительную мощность обычным способом», — говорит Причард.
Эти изменения представляют собой препятствия на пути обычных симуляций, которые приходится адаптировать. Также они дают возможность обратиться ко всей мощи ГО, которая естественным образом подходит к графическим чипам. Это может дать нам более ясное представление о будущем нашего климата. Группа Причарда в прошлом году продемонстрировала, что ГО может выдавать более реалистичные симуляции облаков в прогнозах климата, что может улучшить прогнозы изменения в закономерностях выпадения осадков.