Google представили версию Gemini, обученную для робототехники

Компания Google показала Gemini Robotics — специальную версию Gemini 2, которую дообучили для управления роботами. Теперь у модели есть не только текстовые и визуальные возможности, но и способность совершать действия (action) в реальном мире. Это делает её не просто языковой моделью (LM), а VLA — системой, объединяющей зрение, язык и действия (vision-language-action).

Кроме того, Google разработали Gemini Robotics ER. Это ещё более продвинутая версия, которая не просто видит и выполняет команды, а умеет размышлять о физических процессах (embodied reasoning). Например, модель может проанализировать, как правильно взять кружку, чтобы не пролить воду.

Результаты впечатляют:

На тестах Gemini Robotics почти вдвое превзошла предыдущий мировой рекорд (SOTA) среди подобных моделей. Это делает её лучшей универсальной VLM (vision-language model) для робототехники на сегодняшний день.

Как ведёт себя в реальности?

При тестировании на роботах модель показала, что:

Может обобщать знания и справляться с совершенно новыми задачами.

Обладает развитой мелкой моторикой — ловко управляет предметами.

Легко взаимодействует с человеком и подстраивается под изменения в среде.

Gemini Robotics собирает слова из букв, делает оригами, убирается и демонстрирует работу на разных типах роботов (гуманоиды, роботизированные руки и другие устройства).

Документ с техническими подробностями:

https://storage.googleapis.com/deepmind-media/gemini-robotics/gemini_robotics_report.pdf

Видео-примеры и блог:

https://deepmind.google/discover/blog/gemini-robotics-brings-ai-into-the-physical-world/

Да, я люблю роботов, и что вы мне сделаете? <(???)>

Источник: deepmind.google

Комментарии: