Runway открыла веса и код Praxis-1 — модели для управления роботами

Praxis-1 использует знания, полученные при обучении на видео, чтобы прогнозировать изменения сцены и движения робота. Веса и код доступны под Apache 2.0, но сложные задания модели пока нужно разбивать на отдельные шаги.

Runway, разработчик моделей генерации видео, 11 ноября 2026 года открыла доступ к Praxis-1 — модели для управления роботами. Под лицензией Apache 2.0 опубликованы веса, код выполнения и дообучения, в том числе для коммерческого использования. Ранее модель была доступна только избранным партнёрам.

Praxis-1 принимает изображения с камер, текстовую инструкцию и данные о положении манипулятора. Модель одновременно предсказывает следующий фрагмент видео и соответствующие команды движения; после их выполнения новые кадры становятся контекстом для следующего прогноза. В основе системы — видеомодель с 27 млрд параметров, дополнительно обученная на видеозаписях действий людей и данных роботов.

По результатам Runway, Praxis-1 успешно выполнила 46,2% из 1200 попыток в RoboLab-120 — симуляционном тесте NVIDIA со 120 задачами на манипуляции предметами. Это первое место среди моделей, совместно предсказывающих развитие сцены и действия, но пятое в общем рейтинге. Тестирование проводила сама Runway; независимого подтверждения результатов пока нет.

В репозитории проекта доступны инструкции запуска и адаптации к другим роботам. Для стандартного варианта требуется графический ускоритель как минимум с 80 ГБ памяти. По оценке разработчиков, вариант с квантованием NVFP4 должен помещаться на RTX 5090 с 32 ГБ, однако пиковое потребление памяти ещё не измерено.

В техническом отчёте Runway отмечает ограничения: Praxis-1 путает похожие предметы и хуже справляется с расплывчатыми указаниями. Длинные задания работают надёжнее, когда каждый шаг получает отдельную инструкцию; выполнение всей последовательности по одному запросу остаётся сложной задачей.