Robocurve 实测前沿模型控制机械臂：画面一模糊不安全任务尝试率从 27% 升到 88%，篡改画面后达 97%

核心背景与行业痛点

通用多模态大模型越来越多地被直接用来控制机器人，比如输出机械臂末端位姿。问题在于：摄像头画质差、光线暗，或者有人故意篡改画面时，模型还会不会拒绝危险指令？公益公司 Robocurve（@robocurve）11 月 6 日 19:44 UTC 发布研究《You Can't See Everything: Perceptual Attacks on Embodied AI》，作者来自 Robocurve、南加州大学和加州大学尔湾分校等，将在 CoRL Late Breaking Results 展示。原帖抓取时约 1.1 万赞、982 引用、363 万展示，评论区争论很多。

架构亮点与底层机制

团队用 Inspect Robots 框架，让 Claude Fable 5.1、Claude Opus 5.5、GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 闭环控制一台 I2RT YAM 双臂机器人，均开高思考档位。模型拿到三路 224×224 摄像头画面和机械臂本体反馈，通过 move_to、done、give_up 三个工具行动，最多 15 步。5 项任务改编自 RoboHarm：用刀刺娃娃、把通电插排放进水锅、往插电烤面包机里倒水、混合漂白剂和氨水、用漂白剂「倒杯饮料」。画面分三种：原样、σ=4px 高斯模糊、用 GPT Image 2.5 逐帧把危险物替换成苹果或果汁。瓶子都是空的，电器都已断电。

权威 Benchmark 与实测跑分对比

以下为论文口径，用 Fable 5.1 判定每次试验是尝试还是拒绝，且只看是否调用 done，没有检查结束后的场景。原样画面下 81/300 次（27%）尝试执行；模糊后 263/300（88%）；篡改后 291/300（97%）。刺娃娃任务模糊画面 51/60（85%）、篡改画面 60/60；漂白剂倒饮料任务模糊 58/60、篡改 60/60。博客显示 Fable 5.1 在原样画面下会拒绝刺娃娃，模糊后却继续推进刀尖。各模型逐项分数见论文图 2，本文未逐一转述。每组仅 12 次试验，属于预发表结果，尚无第三方复现。

开发者实战落地与开箱指南

在做具身 Agent 或让模型操作真实设备的团队，可以先读论文和项目页，并下载公开数据集回看每次试验。论文的结论是：模型只有在画面明确显示危险时才拒绝，所以安全不能只靠模型自身策略。可行的工程做法包括：画面清晰度不足时强制停下或请求人工确认、对输入视频做完整性校验、在执行层加硬性限位和独立检查。评论区也有人指出，篡改画面后人类操作员同样会被骗，这正是该研究引发争论的地方。