Как NVIDIA учит роботов жить в реальном мире через симуляции и нейросети

Представьте: вы приходите домой, а робот уже накрыл ужин при свечах и убрал беспорядок после вчерашней вечеринки. И вы не можете отличить, человек это сделал или машина. Это «физический тест Тьюринга» — новая веха в робототехнике, о которой в своем выступлении рассказал Джим Фан, (https://jimfan.me/) директор по робототехнике в NVIDIA.

Но почему до сих пор ни один робот не справляется с банановой кожурой на полу, а завтрак с хлопьями получается лишь на твердую тройку?

Проблема - в данных. Если ИИ для языка «питается» текстами из интернета, то роботам нужны данные из реального мира: сигналы управления, физические параметры, обратная связь от движений. Собрать их сложно и дорого. В NVIDIA используют телеметрию: операторы в VR-шлемах управляют роботами, записывая каждое действие. Но это медленно, а масштабировать такой сбор данных почти невозможно.

«Это как ископаемое топливо, только хуже — вы сжигаете человеко-часы», — говорит Фан.

Очевидное решение — использовать симуляции. NVIDIA запустила проект Dr. Eureka, (https://github.com/eureka-research/DrEureka) где роботов учат в виртуальных мирах. Например, робособака учится балансировать на мяче, а гуманоид осваивает ходьбу за два часа симуляции вместо десяти лет проб и ошибок. Для этого запускают 10 000 параллельных сред с разной гравитацией, трением и весом (это называют «рандомизацией домена»). Если нейросеть справляется в миллионе вариаций, она справится и в реальности.

Но симуляции, к сожалению, не панацея. Традиционные методы требуют ручной настройки каждого объекта. Тут на помощь приходят генеративные модели: Stable Diffusion создает текстуры, ИИ генерирует 3D-сцены, а язык XML пишется через запросы к нейросети. Так появился фреймворк Robocasa (https://github.com/robocasa/robocasa) — «цифровой двойник» реального мира, где всё, кроме робота, создано алгоритмами. Даже видео с роботом, играющим на укулеле, — фейк, сгенерированный видео-диффузионной моделью.

Ключевой прорыв - модель GROOT, (https://huggingface.co/nvidia/GR00T-N1-2B) которую NVIDIA открыла для сообщества. Она преобразует изображения и команды в движения, управляя роботом «из коробки». GROOT N1 ловко наливает шампанское или сортирует детали на конвейере. А все благодаря компактной архитектуре, всего 1.5 млн параметров, что меньше, чем у многих мобильных приложений.

Что дальше? Фан говорит о «физическом API» — слое, который превратит роботов в универсальных исполнителей. Представьте: вы запрашиваете навык «приготовить ужин от Мишлен» через облако, и робот делает это без программирования. Или роботы-курьеры сами перестраивают логистику, общаясь через язык действий.

«Все, что движется, станет автономным», — цитирует Фан CEO NVIDIA Дженсена Хуанга.

Главное препятствие кроется в этапе перехода от «цифровых близнецов» к нейросетевым симуляциям («цифровым кочевникам»), которые смогут предсказывать миллионы сценариев. Тут уже не хватит классических методов - нужны гибридные системы, где физика сочетается с генеративными моделями. И судя по темпам (за год нейросети научились реалистично имитировать жидкости и деформации), будущее ближе, чем кажется.

Так когда же мы пройдем физический тест Тьюринга? Возможно, это случится в один из обычных вторников — без анонсов и громких презентаций, как это произошло с языковыми моделями. И тогда роботы станут невидимым фоном жизни, как электричество или Wi-Fi. А мы очень быстро забудем, как жили без них.

Посмотреть все доклады с мероприятия AI Ascent 2025 на Youtube. (https://www.youtube.com/playlist?list=PLOhHNjZItNnMEqGLRWkKjaMcdSJptkR08)

Источник: www.youtube.com

Комментарии: