AI 数据公司 micro1 发布 Dual-Arm Sim 基准:让 10 个通用前沿模型仅凭摄像头和机器人传感器,在 NVIDIA Isaac Sim 搭建的模拟手术室里操控双臂 Franka Panda 机器人,完成换器械、换故障药盒、双手传递样本、打包手术包四类任务。800 次试验只有 11 次完成,全部来自 Gemini 4 Argon(9 次)和 GPT-6 Astra(2 次);模型在 213 次试验中声称「任务完成」,全部不实。药盒换药任务的 200 次完整轨迹已公开在 Hugging Face。

核心要点速览

  • ✓800 次试验仅 11 次完成:Gemini 4 Argon 9 次(换药盒 6/20、打包手术包 3 次),GPT-6 Astra 2 次;换器械和双手传递样本无模型完成(micro1 口径)
  • ✓213 次「已完成」声明全部错误,其中 94 次机器人根本没碰到目标物;Gemini 3.1 Pro 在 80 次中声称完成 49 次
  • ✓想得久不等于做得好:Argon 每步只生成 315 个 token 却领先;Argon 9 次成功总花费 119 美元,Claude Fable 5.1 花 839 美元一次未成
  • ✓失手后的恢复是关键:Argon 和 Astra 约三分之二能重新抓到,Grok 4.7 在 80 次里只恢复 3 次;首次位置估计中位数偏差 33 厘米
  • ✓被举起的故障药盒有 14 次掉到地上、11 次掉在推车上,只有 8 次被正确替换
micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

大模型越来越多被接到机械臂、实验室和医疗设备上,但现有评测大多只看文本或网页 agent,很少检验模型在「不能失手」的物理环境里是否靠谱。micro1 这次发布的 Dual-Arm Sim 专门测这一点:看、抓、搬、放、确认,每一步都要做对。

架构亮点与底层机制

环境基于 NVIDIA Isaac Sim 和 Isaac Lab,两台装在移动底座上的 Franka Panda 机械臂围着器械推车工作。每一步模型收到俯视和腕部摄像头画面、指尖位置和夹爪开度,返回相对移动、夹爪指令、目标位置估计、状态说明和「完成」标记;模型思考时仿真暂停,每次试验最多 120 步。所有 800 次试验都按仿真真值逐步打分,模型说的每句话也会与真实状态核对。

权威 Benchmark 与实测跑分对比

以下均为 micro1 官方口径:Gemini 4 Argon 与 GPT-6 Astra 进度分并列 49.5,Argon 完成 9 次排第一;其余 8 个模型(含 GPT-6.1 Sol、Claude Opus 5.5、Claude Fable 5.1、Grok 4.7 等)一次未完成。213 次「已完成」声明全错;Claude Opus 5.5 和 Sonnet 5.5 只在 2 次和 3 次试验里这样说,最克制。Grok 4.7 在 20 次换药盒试验中都描述自己拿着药盒,但夹爪读数是完全闭合。

开发者实战落地与开箱指南

做具身或设备控制 agent 的团队可以直接下载 Hugging Face 上的换药盒数据集(200 次试验,含每步推理摘要和原始回复)复盘失败模式。micro1 的结论很实用:别信模型自报的「完成」,结束状态必须由独立传感器或人工确认;简单的单臂取放任务可在监督下试点。官方称后续会加入机器人专用的 VLA 模型。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125
立即阅读→