Nvidia представила GR00T 2 для переноса навыков людей из видео на роботов

Модель GR00T 2 одновременно прогнозирует будущие кадры и действия робота, благодаря чему может переносить показанные человеком навыки на манипуляторы и гуманоидные платформы. По данным Nvidia, пяти демонстраций продолжительностью менее трёх минут хватило, чтобы повысить среднюю успешность выполнения 50 новых задач с 40% до 95%.

Nvidia представила GR00T 2 — базовую модель класса world-action model (WAM) для управления роботами. Она одновременно генерирует короткий видеопрогноз развития сцены и последовательность действий, а отдельные модули преобразуют этот план в команды для манипуляторов, роботизированных кистей и гуманоидов.

Для предварительного обучения использовались 402 730 часов эгоцентрических видеозаписей действий людей, 10 184 часа демонстраций с ручным захватом UMI и 23 500 часов телеуправления роботами. Такой набор данных позволяет переносить навыки, показанные человеком или другим устройством, на робота, который не выполнял конкретную задачу во время обучения.

В испытаниях на 50 задачах, отсутствовавших в данных целевого робота, средняя успешность без дополнительного обучения составила 40%. После пяти демонстраций на задачу — менее трёх минут данных — показатель вырос до 95%; дообучение LoRA занимало около 30 минут на одной GeForce RTX 5090. Облегчённая версия GR00T 2 Turbo работает непосредственно на компьютере Jetson Thor гуманоидного робота Unitree G1, формируя прогноз примерно за 124 мс. Результаты приведены Nvidia в собственном техническом отчёте; публикация кода запланирована на декабрь 2026 года.