The Machine и экзафлопсные вычисления для эры Big Data

В мае HPE продемонстрировала важный этап своей научно-исследовательской программы The Machine – прототип компьютера со 160 ТБ общей памяти. Программа направлена на разработку новой вычислительной архитектуры, ориентированной на память, а не на процессор (memory-driven computing). А уже в июне было объявлено, что на основе этой архитектуры будет создана эталонная модель экзафлопсного суперкомпьютера для Министерства энергетики США. Рассказываем подробнее об этих революционных новостях.

Экзафлопсный суперкомпьютер для Министерства энергетики США

Компания Hewlett Packard Enterprise получила исследовательский грант от Министерства энергетики США на создание эталонной модели экзафлопсного суперкомпьютера, который позволит создавать недостижимые на сегодняшний день математические модели и симуляции для использования в науке, медицине, проектировании и других технологиях.

Для достижения экзафлопсной производительности к 2022–2023 гг. необходимо повысить быстродействие, энергоэффективность и плотность высокопроизводительных вычислительных систем в 10 раз по сравнению с самыми быстрыми современными суперкомпьютерами. Чтобы реализовать экзафлопсные вычисления с низкой задержкой, эталонная модель, создаваемая HPE, должна будет устранить эти проблемы и снять ограничения по объему памяти, масштабируемости фабрики памяти и пропускной способности, присущие современной высокопроизводительной вычислительной архитектуре.

В основу референсной модели разработки HPE положена концепция Memory-Driven Computing (вычислений, ориентированных на память). Эта архитектура вычислительной платформы, центральным элементом которой является память, а не процессор, что позволяет получить недоступный ранее прирост производительности и эффективности. Архитектура Memory-Driven Computing от HPE — это масштабный набор технологий, которые разрабатываются подразделением Hewlett Packard Labs в рамках исследовательского проекта The Machine. 16 мая 2017 года компания HPE представила новую версию прототипа, созданного в ходе реализации этого проекта и ставшего крупнейшим в мире компьютером с общей памятью.

Фундаментальные технологии, положенные в основу разрабатываемой референсной архитектуры суперкомпьютера экзафлопсных вычислений, включают в себя новую фабрику памяти и передачу данных с использованием фотоники с низким энергопотреблением. Фабрика памяти – идеальная технологическая основа для широкого спектра высокопроизводительных вычислений и задач, нацеленных на обработку значительного объема данных, включая большие данные и аналитику. HPE также продолжает исследовать различные варианты энергонезависимой памяти, которую можно будет подключать к фабрике памяти, существенно увеличивая надежность и эффективность экзафлопсных систем.

Более подробно о предпосылках проекта The Machine, инновационных технологиях, которые связаны с развитием проекта (мемристоры, non-volatile memory, фотоникс, система на кристалле), логической и инженерной структуре The Machine можно узнать из доклада Александра Старыгина, директора департамента подготовки технических решений HPE в России, на конференции HPE Digitize, прошедшей 5 июля в Москве.

Протокол Gen-Z

HPE сотрудничает с технологическими партнерами с целью разработки открытых архитектур мирового уровня, основанных на открытых отраслевых стандартах. Центральным элементом этого подхода является использование инновационного протокола Gen-Z, определяющего взаимодействие интегральных микросхем между собой.

Протокол Gen-Z обеспечивает обмен данными между интегральными микросхемами на основе семантики памяти, что позволяет организовать надежное взаимодействие многих устройств, включая центральные и графические процессоры, программируемые логические интегральные схемы (FPGA), энергозависимую и энергонезависимую память, межсистемные элементы и множество прочих устройств; при этом все они используют единое адресное пространство. Это дает возможность создавать системы, ориентированные на память, для кардинального повышения производительности приложений и энергоэффективности. Протокол Gen-Z позволяет партнерам расширять сотрудничество при разработке суперкомпьютеров, в которых применяются самые передовые технологии, развивающиеся в открытой и конкурентной экосистеме.

Практическое применение memory-driven computing

Архитектура вычислений, ориентированная на память, позволяет снять проблему, присущую традиционной архитектуре: неэффективное взаимодействие подсистем оперативной памяти, системы хранения данных и процессоров. Благодаря этому время выполнения сложных задач радикально сокращается: с нескольких дней до нескольких часов, с часов — до минут, а с минут — до секунд, позволяя получать значимый результат в режиме реального времени.

Например, расчетная задача – симуляция по методу Монте-Карло, которая часто применяется банками и трейдерами для предсказания развития фондовых рынков или курсов обмена валют, выполняется почти два часа, на текущем современном вычислительном комплексе. Первые тесты показывают, что с применением архитектуры, ориентированной на память, это время сокращается до чуть более секунды, на том же объеме данных и с той же сложностью, что дает ускорение в несколько тысяч раз.

Не так давно Немецкий центр нейродегенеративных заболеваний (DZNE) подписал договор о сотрудничестве с HPE для применения новой архитектуры вычислений в своих научных и медицинских исследованиях. DZNE генерирует огромные объемы данных, например, полученные в ходе магнитно-резонансных томографий (МРТ) мозга или информации о геноме. Глубокий анализ этих данных часто занимает одну-две недели, и только после этого врачи могут определить следующий шаг лечения и/или начать новый цикл анализов/исследований. Применение новой вычислительной архитектуры, ориентированной на память позволит не только ускорить анализ полученных данных, но и использовать изображения гораздо более высокой точности.

The Machine User Group

На конференции HPE Discover 2017 в Лас-Вегасе компания объявила о создании The Machine User Group – открытого сообщества разработчиков, заинтересованных в программировании для среды memory-driven computing, с использованием массивного пула энергонезависимой памяти и специализированных процессоров, выделяемых под конкретную задачу (SoC). Для разработчиков уже доступен набор инструментов на GitHub, а в перспективе участники User Group получат доступ к эмуляционной среде The Machine.