ChatGPT Browser Annotation API 开放可扩展：自定义选区/控件，并与 WebMCP Site tools 联动给 Agent 可执行动作

核心背景与行业痛点

网页 Agent 过去只能靠截图/DOM 猜测「用户点的是哪一块」，站点也很难把自家业务动作安全地交给模型。OpenAI 在 ChatGPT 桌面内置浏览器里把两条轨道拆开：Annotations 负责把人选中的对象与评论送进对话；WebMCP Site tools 负责让页面注册可发现的读写工具。2026-10-12 @OpenAIDevs 用场景编辑与报销页演示了自定义 annotation 控件 + suggested prompts；完整契约见官方 Annotations 与 Site tools 文档（面向 DevDay 2026 桌面端及之后）。

架构亮点与底层机制

1. 选区层：oai-annotation-container / oai-annotatable / oai-annotation-container-text 定义可选对象与拖选文本；oai-annotation-metadata 附带扁平 JSON（最多 6 个键、序列化 ≤2048 字节）。
2. 程序化请求：document.oai.annotation.request(target, { mode, initialComment, metadata }) 须在用户手势内调用，返回 { accepted }。
3. 自定义控件：registerControls() 支持 color/range/select/toggle，单注册最多 12 控件；预览走 oaiannotationcontrolchange（preview / preview-original / reset）。
4. Canvas：registerSurface({ hitTest, renderSelection }) 用稳定 id 点选虚拟对象；控件挂在 surface 宿主元素上。
5. WebMCP：document.modelContext.registerTool({ name, description, inputSchema, execute })；与远程 MCP 不同，工具随当前页会话发现，无需另装 server。

权威 Benchmark 与实测跑分对比

官方文档未给出吞吐/成功率类公开 benchmark，也没有独立第三方对比榜。可核对的硬约束来自文档本身：控件/注册配额（每文档 ≤64 个 controls 注册、≤1024 个 target 关联）、metadata 与控件 JSON 长度上限、WebMCP 需 Sol 系模型且 Luna 禁用、Enterprise 需管理员放行 Site annotation / Site tools、Edu 无 Site tools、不支持 iframe 内工具与声明式 HTML 工具。请以桌面端实测 accepted 与 Site tools 面板为准，勿 invent 延迟数字。

开发者实战落地与开箱指南

1. 升级 ChatGPT 桌面到 DevDay 2026 及之后版本；在内置浏览器打开 HTTPS/localhost 页。
2. 特性检测：typeof document.oai?.annotation?.registerControls === "function"；WebMCP 检测 document.modelContext?.registerTool。
3. 先做只读工具（如 get_page_title），再加写操作并复用站点既有鉴权；Settings → Browser → Permissions 可关 Enable site tools。
4. 用文档页自带的 Annotations Extensibility plugin 与「Open in ChatGPT」走通选区→控件→发送链路；对照 Chrome WebMCP 指南 理解规范全集与 ChatGPT 子集差异。