Подразделение Xiaomi Robotics выкатило VLA-модель Xiaomi-Robotics-0, превращающую картинки и текст в прямые команды для железа

Подразделение Xiaomi Robotics выкатило VLA-модель Xiaomi-Robotics-0, превращающую картинки и текст в прямые команды для железа. Инженеры решили главную болячку индустрии, когда робот дёргается в припадках из-за задержек вычислений и потери траектории. Теперь манипулятор продолжает выполнять старый кусок задачи, пока нейросеть просчитывает следующий шаг, создавая качественную иллюзию плавности.

Вместо фундаментального ускорения инференса разработчики пошли по пути оптимизации очередей исполнения. Железяка просто доигрывает загруженный скрипт, успешно маскируя 80 миллисекунд задержки на потребительской RTX 4090. Это архитектурное решение напоминает попытку скрыть загрузку уровня в игре за длинным коридором, но для реальной робототехники такой «костыль» оказался спасительным кругом.

Для обучения модели скормили 200 миллионов траекторий движений и 80 миллионов общеобразовательных картинок с текстом. Такой винегрет из данных необходим для сохранения способности распознавать объекты, чтобы робот случайно не забыл визуальные образы в процессе обучения моторике. При скромном объёме в 4,7 миллиарда параметров нейросеть умудряется балансировать между пониманием контекста и точной координацией приводов.

Вершиной эволюции алгоритма стали тесты на разборке конструктора Lego и аккуратном складывании полотенец. Двуручные манипуляторы справились с домашней рутиной на уровне бенчмарков Qwen3-VL-4B, доказав пригодность метода асинхронного планирования. Миллиарды вычислений в секунду теперь тратятся на то, чтобы идеально сложить кусок махровой ткани уголком к уголку.

Источник: vk.com

Комментарии: