Как Nvidia собирается двигать технологический прогресс?

Дженсен Хуанг выступил на CES 2025 в 1.5 часовой презентации. Анализ выступления важен не только в контексте «самой дорогой и успешной компании планеты», но и в контексте технологического прогресса, т.к. именно Nvidia выступает основный драйвером внедрения ИИ.

Очевидно, что значительная часть пресс-конференции носила «рекламно-агитационный характер». Хуанг продает технологии, которые рынком оценены почти в 4 трлн долларов. Также очевидно, что фактор ИИ будет подсвечен максимально ярко, т.к. ИИ и только ИИ создал Nvidia той компанией, которая есть (самая дорогая и успешная за всю историю по скорости набора капитализации и генерации денежного потока).

Я опущу первую треть презентации (анонс игровых видеокарт RTX пятой серии и Blackwell для дата центров). По игровым видеокартам необходимо ждать реальных тестов, а серверный сегмент Blackwell был представлен и подробно изучен почти год назад.

В презентации очень много технической информации, поэтому я буду разбавлять своими комментариями и дополнениями.

Агентские ИИ представляет собой подвид ГИИ для узкоспециализированных задач, как в виртуальной/цифровой среде, так и в реальном физическом мире. Это концепция, сочетающая в себе когнитивные способности ИИ и механизмы активного взаимодействия с физическим или виртуальным миром.

Агентский ИИ способен взаимодействовать с окружающим миром, предсказывать действия и действовать автономно.

Как работают агентские ИИ для физического мира?

• Агент получает данные из окружающей среды через сенсоры, камеры, микрофоны или API.

• Полученные данные анализируются с использованием алгоритмов машинного обучения, нейронных сетей или других методов на основе ранее обученных моделей.

• На основе обработанных данных агент выбирает действия, которые приведут к выполнению его цели, разбивая задачу на подзадачи.

• Агент выполняет выбранное действие, используя физические устройства (роботы, манипуляторы) или программные средства (управление процессами, генерация контента).

• Сбор телеметрических данных о ходе выполнения для коррекции ошибок.

Зачем нужны агентские ИИ?

• Агентские ИИ позволяют автоматизировать сложные и монотонные задачи, снижая затраты на ручной труд. Это касается, как работы в цифровом пространстве, так и в реальном мире.

• За счет быстрого анализа больших объемов данных агентский ИИ может находить оптимальные решения в реальном времени, минимизируя ошибки и повышая производительность.

• Программные агенты могут анализировать пользовательские предпочтения и адаптировать свою работу под выбранные паттерны взаимодействия и поведения.

Что еще пытается внедрить Nvidia? Превращение ПК в универсальную платформу для разработки ИИ, представляя набор инструментов для разработчиков, протоколов и библиотек (с акцентом на модель Llama от Meta), которые позволят ускорить внедрении ИИ в реальные задачи, как локально, так и в облачной среде.

Nvidia представила концепцию генеративных API, которые позволяют ИИ создавать данные, генерировать изображения, звуки и даже видео на основе пользовательских запросов.

Значительную часть презентации Хуанг пытался продвинуть тезис о повсеместном внедрении ИИ. Не только на уровне облака и мега дата центров / ЦОД уровня Google или Microsoft, а в том числе на уровне локальных серверов в компаниях и даже в пользовательских ПК.

Интеграция Windows с WSL2 (Windows Subsystem for Linux), которая поддерживает CUDA и позволяет разрабатывать и запускать ИИ-приложения с высокой производительностью.

Nvidia прогнозирует, что обновленные ПК смогут обрабатывать сложные задачи ИИ на уровне высокопроизводительных серверов, как за счет внедрения новых API и протоколов (программная среда), так и из-за роста вычислительных мощностей.

Хуанг анонсировал Project DIGITS — компактный AI-суперкомпьютер на базе Grace Blackwell, предназначенный для разработчиков и исследователей (релиз в мае 2025).

На выставке CES 2025 Nvidia представила платформу Cosmos - первой ИИ платформы, направленной на моделирование физического мира.

Платформа предназначена для создания и обучения систем искусственного интеллекта, которые взаимодействуют с физическим миром, включая автономные транспортные средства и роботов.

Cosmos обучен на 20 миллионах часов видео с фокусом на физическую динамику: движения природы, людей, объектов. Модель в дальнейшем обучается на синтетических данных, созданных ИИ в различных управляемых или автономных сценариях.

В чем особенности платформы Cosmos?

Фундаментальная модель физического мира. Cosmos представляет собой Foundation Model, обученную на данных, связанных с физической динамикой:

• Движения объектов и людей.

• Геометрические и пространственные взаимодействия.

• Законы физики (гравитация, трение, инерция).

Синтетическая генерация данных. Cosmos используется для создания больших объемов данных, которые необходимы для обучения систем ИИ:

• Симуляция реальных сценариев.

• Генерация данных для редких или экстремальных случаев (например, аварийных ситуаций).

Физически точные симуляции.

• Платформа интегрируется с NVIDIA Omniverse, что позволяет создавать цифровые двойники и точные симуляции реальных объектов.

• Cosmos может моделировать окружающую среду, освещение, погодные условия и другие аспекты реального мира.

Поддержка мультисенсорных данных. Генерация данных для различных типов сенсоров, таких как камеры, LiDAR, радары.

Зачем нужна платформа Cosmos?

Обучение и тестирование моделей для робототехники. Обучение роботов действиям, таким как сбор предметов, манипуляция объектами и навигация в пространстве

Оптимизация работы автономных систем. Cosmos помогает обучать модели для автономных автомобилей, создавая сценарии дорожного движения с разными условиями: погодными, временными и тд.

Промышленная автоматизация. Проектирование цифровых двойников для оптимизации операций, таких как маршрутизация складских роботов и управление потоками грузов, в работе конвейера и тд.

Создание миров для виртуальной реальности. Использование Cosmos для создания среды, в которой пользователи могут тренировать системы, тестировать ИИ или создавать контент. Разработка 3D-сценариев для кино, игр или тренажеров.

Реализация физически обоснованных моделей. Cosmos поддерживает создание симуляций, учитывающих физические законы, такие как гравитация, трение и инерция. Может применяться в космонавтике.

Концепция умного города. Cosmos может помочь в разработке технологий управления движением, анализа данных с камер и сенсоров в городских условиях. Симуляция потоков пешеходов и транспорта для оптимизации городской инфраструктуры.

В презентации значительный блок был посвящен автономным транспортным средствам и особый акцент на робототехнике, что можно интерпретировать, что именно эти два направления станут основными для Nvidia.

Внедрена платформа Isaac GR00T:

• Обновленный пакет для создания синтетических наборов движений роботов;

• Система позволяет оператору в VR-гарнитуре выполнять действия, которые затем разбиваются на фазы движения;

• Создает множество альтернативных вариантов движений на основе небольшой выборки действий оператора.

Платформа предназначена для обучения роботов основными операциями в производственных процессах с учетом внештатных ситуация и систем безопасности, что позволит в будущем создавать высокоэффективные промышленные кластеры с круглосуточной работой автоматизированных роботизированных комплексов.

Введение концепции трех типов компьютеров для роботизированных систем:

• Обучающий компьютер (DGX): для создания моделей ИИ.

• Встроенный компьютер (AGX): размещается в роботе, автомобиле или на предприятии.

• Цифровой двойник: для симуляции, тестирования и генерации данных.

Если раньше презентации Nvidia были с акцентом на дата центры, сейчас акцент резко сместился в реальный, физический мир – робототехника и автономные ИИ системы теперь новый тренд, в особенности человекоподобные роботы.

Источник: vk.com

Комментарии: