10 月 20 日,NVIDIA GEAR 实验室(Jim Fan 团队)开源 Flora 模型套件,把人类和机器人操作视频转成带时间戳的动作描述、过程奖励、结果奖励和评分细则。套件含 Flora-Captioner 27B、Flora-Rewarder 27B(均基于 Qwen3.5-27B)和 Flora-TempSeg 9B(Qwen3.5-9B 上的 LoRA),权重已上 Hugging Face,采用 NVIDIA 非商用许可。官方称它是训练 GR00T 的内部数据引擎,每天在 512 张 GB300 上标注 20 万小时视频,标注质量与 GPT-6 Astra 相当,成本约低 125 倍。

核心要点速览

  • ✓三款模型分工:TempSeg 9B 切分动作片段,Captioner 27B 为每段写一句动作指令,Rewarder 27B 输出逐步过程奖励和整段成功分
  • ✓成本(官方估算):8 卡 GB300、按每 GPU 小时 10 美元计,每小时源视频标注约 0.72 美元;GPT-6 Astra 最高推理档约 88.49 美元,约 122–125 倍差距
  • ✓质量(官方 50 段内部评测):Flora 57.1%,GPT-6 Astra 53.7%;DenseRewardBench 失败召回 53.3%,前沿 API 模型多在 1% 以下
  • ✓规模:官方称每天在 512 张 GB300 上标注 20 万小时视频,用于训练 GR00T-2
  • ✓许可:NVIDIA OneWay Noncommercial,仅限非商用研究,官方明确不支持商用或生产部署
NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

机器人基础模型的训练离不开大量带标签的数据:预训练要用带时间戳的动作描述来过滤和平衡数据,强化学习后训练要用逐步的过程奖励,真实部署要用结果奖励来监控成败。这些标签过去主要靠人工或调用昂贵的前沿多模态 API,几十万小时视频的规模下成本难以承受。NVIDIA GEAR 实验室这次把自家训练 GR00T 用的数据引擎 Flora 开放出来,直接针对这个瓶颈。

架构亮点与底层机制

Flora 是一条三段式流水线:Flora-TempSeg 9B(Qwen3.5-9B 上的 LoRA 适配器)按窗口定位操作片段,再拼接成整段事件;Flora-Captioner 27B(基于 Qwen3.5-27B,先 SFT 再 RL)结合前后文为每个片段写一句英文动作指令;Flora-Rewarder 27B 输出整段成功分和短时间步上的动作质量分,并能给出失败原因。三者同时覆盖人类第一视角视频和机器人视频。官方称这套引擎每天在 512 张 GB300 上标注 20 万小时视频。

权威 Benchmark 与实测跑分对比

以下均为 NVIDIA 官方口径:在 50 段内部评测上,Flora 质量 57.1%,GPT-6 Astra(最高推理档)53.7%。公开基准方面,DenseCaptionBench 人类子集分段 [email protected] 为 54.6,GPT-6 Astra 44.2;但机器人子集上 Astra 71.9 高于 Flora 66.9。RoboReward MAE 40.0(越低越好),Astra 55.4;DenseRewardBench 失败召回 53.3%,Astra 为 0。成本按 8 卡 GB300、每 GPU 小时 10 美元估算,每小时源视频约 0.72 美元,Astra 约 88.49 美元,约 125 倍差距;吞吐量为建模估计,并非实测。

开发者实战落地与开箱指南

三款权重已在 Hugging Face 的 nvidia/flora 合集上线,可用 transformers(TempSeg 需配合 PEFT 加载 LoRA)推理;官方提示要保留 FP32 的 Gated DeltaNet 参数与 BF16 主权重的混合精度。适合做机器人数据清洗、子任务切分、RL 奖励信号和部署监控的研究。注意许可是 NVIDIA OneWay Noncommercial,只能用于非商用研究;官方也强调输出只是标注,不能直接控制机器人或作为唯一安全监控。论文 PDF 和完整对比表见项目主页。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Elorian 发布首个视觉思考模型 Glimpse:推理中回看图像与视频帧,定价为 GPT-6 Astra 的 6%,四项视觉评测超过 Astra(厂商口径)
立即阅读→