GUI-Decisions 开源：用「槽位读概率」替代坐标 JSON 解码，Computer-Use 单步提速约 3×（31B / 2B）

核心背景与行业痛点

Computer-use / GUI Agent 每一步常要把 {"action":"click","point":[x,y]} 自回归吐完，截图预填便宜、坐标解码贵；再叠思考链，单步可飙到数秒，多轮会话体感崩坏。Jev 一类 System-one「只读分类分布、不写文本」证明闭集决策可跳过生成，但 GUI 还需要连续坐标。GUI-Decisions（HF 博客 2026-10-10）把槽位读扩展到坐标/框/粗掩码：同一前向读分布，而不是写 JSON——直接对准「接地延迟」这一瓶颈，而不是再堆更大 VLM。

架构亮点与底层机制

助手回合固定模板：action: ___ x: ___ y: ___ …。每个槽在占位符前取受限词表的 next-token 分布：动作用词标签，坐标用 256 个低语义「字节」单 token 标签（bin 峰值 + 邻域细化）。并行槽请求共享截图前缀缓存；decide 先读 action/x/y，再按动作补读 key/scroll/swipe。训练对坐标用软序数（高斯邻域）交叉熵，使「差一格」惩罚小于「差半屏」。框用中心+对数尺寸，掩码用中心+24 射线并可交给 SAM 2 修边。合并权重 GUI-Decisions-31B（Gemma 4 31B）与 2B 已放；打字/作答仍建议挂基座文本模型。

权威 Benchmark 与实测跑分对比

以下为作者自测（注明硬件与协议，非第三方盲测）。RTX PRO 6000 + vLLM：槽位读中位 ~146 ms/步 vs 原生 [y,x] JSON 472–546 ms（约 3.5×），像素 JSON ~704 ms，thinking 路径 2.6–3.1 s（约 20–25×）。质量：ScreenSpot 点击命中约 0.869；held-out AGUVIS computer-use 约 0.65（与同基座 vanilla 工具调用持平量级）；RefCOCO val 框 IoU 0.770；2B 变体 computer-use 0.626、ScreenSpot 0.770，相对其 vanilla 工具格式延迟约降至 ~30%。作者强调：只加速 grounding；多轮推理与打字仍占墙钟。

开发者实战落地与开箱指南

• Demo：Hugging Face Space。代码：git clone https://github.com/infinitylogesh/gui-decisions，bash serving/patch_vllm.sh（把 per-request label-id 提到 256）。
• 服务：vllm serve infinitylogesh/GUI-Decisions-31B --max-logprobs 300 --enable-prefix-caching --api-server-count 8；客户端 SlotModel.decide(Image, instruction)。需要打字时另起基座并传 text_model=。
• 注意：--api-server-count 过低会串行槽请求；小目标可用无损大图。数据含 AGUVIS/Wave-UI/RefCOCO，商用前核许可。先在内部 GUI 回放对比 JSON 解码基线再上线。