微软开源 4B 电脑操作智能体 Mage-VL-Cowork：一个模型自己决定点界面还是写 bash，OSWorld-Verified 66.0%

核心背景与行业痛点

只靠截图操作电脑的智能体代价很高：一张截图就要几千个 token，改一个表格要点几十下鼠标。而直接给前沿模型同时开放界面和终端工具，也不会自动学会什么时候该用哪个。微软 Mage 团队 10 月 30 日在 Hugging Face 和 GitHub 发布 Mage-VL-Cowork，目标是让一个 4B 小模型自己判断每一步是点界面还是写代码。

架构亮点与底层机制

模型从 4B 的 Mage-VL 中间检查点出发（Mage-ViT 视觉编码器加 Qwen3-4B-Instruct-2507），经过五个阶段训练：先分别练视觉定位、界面操作、代码和终端能力，再用混合 SFT 和异步在线 RL 合在一起。动作只有两类通道：computer_use（11 种界面操作）和持久化的 bash/Python 环境。每轮只保留最近 3 张截图和 4 条完整回复，更早的步骤折叠成动作摘要。官方说，训练前先精简教师模型的工具链（去掉 xdotool 和冗长的无障碍树、预装 openpyxl、python-pptx 等库），GPT-5.4 教师因此达到 92.0%，学生模型多涨 12.5 个百分点。

权威 Benchmark 与实测跑分对比

以下数字均为微软自报：OSWorld-Verified 361 题（不含 Google Drive 类）、50 步上限，两次跑分 65.33% 和 66.75%，平均 66.0%；对比表里 Qwen3.6-27B 为 63.9%、Muse Glimmer-30B 为 65.9%，但 9B 的 SCALECUA-Qwen3.5-9B 是 68.7%，仍高于它。视觉定位上 OSWorld-G 从 30.6% 提到 56.9%，ScreenSpot-v2 从 78.8% 提到 87.2%。官方演示中，Calc 建图表任务 39 秒完成，Qwen3.6-27B 纯界面操作用了 9 分 56 秒。

开发者实战落地与开箱指南

权重在 Hugging Face 的 microsoft/Mage-VL-Cowork，用 transformers（4.57.3 以上）或 SGLang 加载时必须加 trust_remote_code=True，它不是标准 Qwen3-VL 结构。官方提供预装好依赖的 SGLang Docker 镜像，以及完整的 OSWorld 评测脚本。它会执行任意 shell 命令，官方要求只在隔离的容器或虚拟机里跑，不要挂载 SSH 密钥、云 token 或浏览器 cookie，不可逆操作要人工确认。