Hugging Face、BitRobot、新加坡具身智能中心和 NUS 等 11 月 4 日推出 RoboColosseum，一个分布式真机评测框架，覆盖 SO-101、Franka、双臂 YAM 和 Unitree G1 四种机器人。首轮在 124 个站点做了 5,699 次盲测对比，测了 5 个 VLA 策略和 3 个前沿大模型：Claude Opus 5.5 和 GPT-6 Astra 的平均任务进度分别比 VLA 高 12.1 和 11.0 个百分点，Grok 4.7 落后 7.5 个点。所有 rollout 数据公开在 Hugging Face，并向学术界提供 10,000 小时免费评测。
核心要点速览
- ✓两个赛道：Open Track 零样本盲测成对比较，Fine-tune Track 让 VLA 每个任务用同样的 100 条示范微调后在 20 个任务上比。
- ✓被测 VLA 为 GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2；前沿模型为 GPT-6 Astra、Claude Opus 5.5、Grok 4.7。
- ✓微调后 GR00T N1.7 在 SO-101 领先，π0.5 在 Franka 和双臂 YAM 领先；G1 人形上没有任何策略完成任务，平均进度 13.3%–23.2%。
- ✓不同机器人上的排名一致性很弱（Kendall W = 0.24），零样本排名也很难预测微调后的排名。
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
机器人模型越来越多，但真机评测很难复现：不同实验室的机器人、场景和光照都不一样，结果互相比不了，仿真分数又不一定能落到现实。RoboColosseum 由 NUS、华盛顿大学、斯坦福、Ai2、牛津、Hugging Face、BitRobot 和新加坡具身智能中心等联合推出，11 月 4 日发布论文和平台，想把真机评测做成可规模化的公共设施。
架构亮点与底层机制
平台把分布在美国、英国、新加坡、马来西亚和中国的 100 多台机器人接入统一的策略服务和评测协议，由全职评测员在 140 多个真实场景操作。Open Track 在同一地点、同样条件下对两个模型做盲测成对比较，用带难度修正的 DCR 评分（Elo 量纲）排名；Fine-tune Track 固定每任务 100 条示范。论文还显示主动配对比均匀抽样用更少真机试验就能得到相近的排名。
权威 Benchmark 与实测跑分对比
首轮 5,699 次 Open Track 对比中，GPT-6 Astra 在 DROID/Franka 上 DCR 最高，Claude Opus 5.5 在 SO-101 和双臂 YAM 上领先。在 901 组任务进度配对中，前沿大模型 394 次占优、VLA 265 次、平局 242 次，平均优势 5.3 个点；Claude Opus 5.5 和 GPT-6 Astra 各高 12.1 和 11.0 个点，Grok 4.7 低 7.5 个点。以上均为论文作者的评测结果。
开发者实战落地与开箱指南
所有 rollout（包括失败案例）、任务数据集和微调模型都公开在 Hugging Face 的 RoboColosseum 组织下，可直接下载复现或拿来训练。做具身智能的团队可以用它对照自家策略在不同机器人上的表现；学术实验室可以申请 10,000 小时免费评测额度中的一部分。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察