RoboColosseum 开放真机机器人评测:100+ 台机器人、124 个站点,Claude Opus 5.5 和 GPT-6 Astra 零样本操控不输专用 VLA
Hugging Face、BitRobot、新加坡具身智能中心和 NUS 等 11 月 4 日推出 RoboColosseum,一个分布式真机评测框架,覆盖 SO-101、Franka、双臂 YAM 和 Unitree G1 四种机器人。首轮在 124 个站点做了 5,699 次盲测对比,测了 5 个 VLA 策略和 3 个前沿大模型:Claude Opus 5.5 和 GPT-6 Astra 的平均任务进度分别比 VLA 高 12.1 和 11.0 个百分点,Grok 4.7 落后 7.5 个点。所有 rollout 数据公开在 Hugging Face,并向学术界提供 10,000 小时免费评测。
核心要点速览
- 两个赛道:Open Track 零样本盲测成对比较,Fine-tune Track 让 VLA 每个任务用同样的 100 条示范微调后在 20 个任务上比。
- 被测 VLA 为 GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2;前沿模型为 GPT-6 Astra、Claude Opus 5.5、Grok 4.7。
- 微调后 GR00T N1.7 在 SO-101 领先,π0.5 在 Franka 和双臂 YAM 领先;G1 人形上没有任何策略完成任务,平均进度 13.3%–23.2%。
- 不同机器人上的排名一致性很弱(Kendall W = 0.24),零样本排名也很难预测微调后的排名。





