Nvidia опубликовала Flora для автоматической разметки видео с роботами

Nvidia представила открытый набор моделей Flora, который создаёт временные описания действий роботов и оценивает успешность их выполнения. По расчётам компании, обработка часа видео обходится в $0,72 — примерно в 125 раз дешевле использования GPT-6 Astra, однако преимущество Flora зависит от конкретного теста.

Nvidia представила Flora — набор моделей для автоматической разметки видеоданных, используемых при обучении робототехнических систем. Flora делит записи на отдельные действия, создаёт их описания с временными метками, оценивает результат выполнения задачи и выявляет ошибки на промежуточных этапах.

Система уже применяется при обучении семейства робототехнических моделей Nvidia GR00T. Компания сообщает, что инфраструктура из 512 ускорителей GB300 обрабатывает до 200 тыс. часов видео в сутки. Модели Flora-TempSeg, Flora-Captioner и Flora-Rewarder опубликованы на Hugging Face.

По оценке Nvidia, разметка часа видео с помощью Flora стоит около $0,72 против $88,49 при использовании коммерческой модели OpenAI GPT-6 Astra. Это расчётные показатели, основанные на предполагаемой аренде GPU за $10 в час, а не фактические расходы производственной системы.

В тестах Nvidia Flora лучше определяла границы отдельных действий и находила неудачные шаги внутри последовательности. При этом GPT-6 Astra превосходила её в некоторых тестах качества описаний роботизированных действий и оценивания по заданным критериям.