AI 编程实时动态与要闻

OpenCode 团队发布 Hex 3.0 稳定版:本地语音输入覆盖 Mac、Windows、Linux,可直接口述给编码智能体

开源编码智能体 OpenCode 背后的 Anomaly 发布语音输入工具 Hex 3.0 稳定版:按住快捷键说话、松开即粘贴到光标处,语音识别在本机完成,内存占用从约 900MB 降到约 160MB,并新增词汇表、hex 命令行和可选的 OpenCode 改写。

OpenCode 团队发布 Hex 3.0 稳定版:本地语音输入覆盖 Mac、Windows、Linux,可直接口述给编码智能体

核心要点速览

  • Hex v3.0.0 于 10 月 31 日 00:38 UTC 在 GitHub 发布,MIT 协议、Rust 编写,仓库约 1,557 星(发布说明)
  • 官方口径:本地模型内存占用从约 900MB 降到约 160MB;2.3.0 起边说边转写,2 分钟口述松键后约 0.1 秒出字(RTX 5070 Ti)
  • 支持 macOS 15+(Apple 芯片)、Windows x64/ARM64、Linux x64/ARM64,Linux 新增 .deb/.rpm 包
  • 3.0 不自动从 2.3.1 升级,设置、历史和模型需重新下载;语音动作和口令功能被移除
  • @opencode 的发布帖约 2,400 赞、1,600 收藏、10 万+浏览(原帖)
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Parakeet⚡ Whisper🤖 OpenCode🤖 Hex🌐 Anomaly

Vercel Labs 发布 agent-desktop:给任意编码 Agent 的桌面 Computer Use,基于系统无障碍树而非截图像素,支持 macOS/Windows/Linux

10 月 31 日,Vercel Labs 的 Chris Tate(agent-browser 作者)在 X 上发布 agent-desktop,称其为「整台电脑版的 agent-browser」。它是一个 Rust 编写、Apache-2.0 开源的 CLI 和 C 库:读取桌面应用的系统无障碍树,以 JSON 返回每个可操作元素的 ref,Agent 按 ref 点击、输入后再快照核对,不做像素匹配,默认在后台无头运行。1.0.0 已于 10 月 27 日发布并首次加入 Linux 支持,目前 npm 最新版为 1.0.2。

Vercel Labs 发布 agent-desktop:给任意编码 Agent 的桌面 Computer Use,基于系统无障碍树而非截图像素,支持 macOS/Windows/Linux

核心要点速览

  • 安装:npm install -g agent-desktop,一个包自带 x64/ARM64 原生二进制;1.0.0(10-27)加入 Linux(glibc 2.35+,经 AT-SPI),npm 最新 1.0.2(10-30)
  • 工作方式:snapshot 输出带 ref 的 JSON 树,click @<snapshot_id>:eN 操作,再 snapshot 核对;UI 变化时返回 STALE_REF,错误里带 retry 是否安全的标记
  • 规模:README 称共 60 个命令名、56 个可用命令,覆盖窗口、键鼠、通知、剪贴板、等待与会话追踪
  • 默认无头:按 ref 的操作走无障碍 API,不移动鼠标、不抢焦点,需要真实输入时加 --headed;Chris Tate 称多个 Agent 可各带一个光标并行使用电脑
  • 跑分:官方未公布任何成功率或速度基准;它只是工具,不内置模型,网页自动化仍交给 agent-browser
阅读全文

Anthropic 前沿红队披露:内部未发布 Claude 模型写出 Chrome、Safari、Android、Windows、Linux 五条漏洞利用链,Chrome 156 修复 62 个 CVE

Anthropic 前沿红队(Frontier Red Team)10 月 27 日发布研究文章,称过去几个月用一个未发布的内部研究模型,在浏览器和操作系统中发现严重漏洞,并在「初始提示」后由 Claude 写出五条完整利用链:Chrome 一键远程代码执行并逃出沙箱、Safari 绕过同源策略、Android 锁屏下经 USB 取数据、Windows HTTP/3(QUIC)远程拒绝服务、Linux 多路径 TCP 零点击 root 代码执行。官方称已向 Google 报告并获分配 62 个 CVE,全部为严重或高危,已在 Chrome 156 修复;所有漏洞都按协调披露流程报告给厂商并已修复。模型名称、人工参与程度和算力成本官方未公布。

Anthropic 前沿红队披露:内部未发布 Claude 模型写出 Chrome、Safari、Android、Windows、Linux 五条漏洞利用链,Chrome 156 修复 62 个 CVE

核心要点速览

  • Chrome 链条串起 4 个漏洞:V8 堆破坏、V8 沙箱逃逸并绕过 ASLR、CacheStorage 竞态、FedCM 释放后使用,PoC 在 macOS 默认配置 Chrome 打开网页几秒内弹出计算器
  • 官方口径:Google 为其报告分配 62 个 CVE,全部严重或高危,含 13 个沙箱逃逸和 21 个渲染进程攻破漏洞,已在 Chrome 156 修复
  • Windows 内核 QUIC 越界读取为 CVE-2026-33096,官方估计互联网上可能有数百万台此类服务器;Linux MPTCP 零点击 root 漏洞为 CVE-2026-98432,PoC 约 48 分钟泄露内核指针、再约 5 分钟拿到 root 命令执行
  • 方法论:大量并行扫描智能体按新增漏洞数计分并追踪覆盖率,并对每个确认漏洞做自动变体分析;官方建议在 PR 阶段扫描,并已公开相应的 Claude Code 安全插件
  • 所用模型为未命名的内部研究模型;官方未公布人工参与比例、失败次数和算力成本
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Claude (unreleased internal research model)🤖 Claude Code🌐 Anthropic🌐 Google🌐 Apple🌐 Microsoft

MCP 官方参考服务器 v2.1.0 修复 8 个安全漏洞:filesystem、everything 升至 2.0.1,fetch 升至 2026.10.24

Model Context Protocol 官方 servers 仓库 10 月 25 日(UTC)发布 v2.1.0,修复三个参考服务器中的 8 个漏洞:filesystem 的符号链接竞态、路径尾随引号/空格绕过和大小写符号链接绕过,everything 的 HTTP/SSE 跨源调用,以及 fetch 的 IDNA 主机名与 NAT64 内网访问、重定向后 robots.txt 未复查。官方提醒:仍在日期版本(2025.x/2026.x)的 npm 用户不会被自动提示升级,需要显式安装 2.0.1;Windows 上的 filesystem 写入问题只部分修复。

核心要点速览

  • 共修复 8 个漏洞,涉及 3 个服务器(发布说明)
  • filesystem 4 个:写入符号链接竞态、尾随引号/空格绕过、大小写符号链接绕过、list_directory_with_sizes 泄露目录外文件元数据
  • everything 1 个:HTTP/SSE 传输不再返回 Access-Control-Allow-Origin: *,网页无法再调用 get-env 等工具
  • fetch 3 个:IDNA 主机名校验与连接不一致、NAT64 包裹内网 IPv4、重定向后不复查 robots.txt
  • 日期版本 npm 用户需手动 npm install @modelcontextprotocol/[email protected];Windows 只部分修复
阅读全文
AD赞助内容

Google 发布 Gemini API CLI(gemini-api)实验预览:零依赖 Go 二进制,让 Claude Code、Codex、Cursor 等编码 Agent 直接出图、出视频、转写并调度托管 Agent

Google AI Studio 团队发布 Gemini API CLI(命令名 gemini-api)实验预览版。它是一个无状态、零依赖的 Go 单文件,支持 macOS、Linux、Windows,Apache 2.0 开源。任何有 shell 权限的编码 Agent 配好 GEMINI_API_KEY 后,就能用一条命令调用文本推理、图像/视频/音乐/语音生成、文件与 YouTube 分析、音视频转写,以及 Deep Research 等托管 Agent。媒体结果直接写到磁盘、只把文件路径打印到 stdout,避免把 base64 塞进上下文。官方说明它是实验项目,不属于受支持的 Google 产品。

Google 发布 Gemini API CLI(gemini-api)实验预览:零依赖 Go 二进制,让 Claude Code、Codex、Cursor 等编码 Agent 直接出图、出视频、转写并调度托管 Agent

核心要点速览

  • 默认模型(官方 README):generate/analyze/transcribe 用 gemini-3.8-flash,image 用 gemini-nano-banana-2.1,video 用 gemini-omni-1.1-flash,music 用 lyria-3.5,tts 用 gemini-3.8-flash-tts
  • 安装:macOS/Linux 一行 curl 脚本、Windows 用 PowerShell 脚本,或 go install;GitHub 最新版本为 v0.4.3(2026-10-19 发布)
  • 面向 Agent 的机器接口:--usage 输出 KDL 命令树、--schema 输出 JSON Schema、--dry-run 离线校验且隐去凭据、--output-format json/toon、内置 --jq
  • 退出码区分 4 种情况:0 成功、1 运行/API 失败、2 用法或校验错误、3 鉴权失败;--agent-mode 输出结构化 JSON 错误
  • 还能管理托管 Agent 的沙箱环境、服务端凭据、Webhook 和 cron 触发器;Files API 上传文件保留 48 小时
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Gemini 3.8 Flash⚡ Gemini Nano Banana 2.1⚡ Gemini Omni 1.1 Flash⚡ Lyria 3.5⚡ Gemini 3.8 Flash TTS🤖 Gemini API CLI🤖 Claude Code🤖 Codex🤖 Cursor🤖 Antigravity🤖 Deep Research🌐 Google

VS Code 预览版推出 Canvases 原生智能体画布:人机协作共享工作区,颠覆传统对话编程交互

微软 VS Code 团队在最新发布的 VS Code Preview(v1.142)中正式推出了里程碑式功能 Canvases(智能体画布)。针对传统仅依赖侧边栏狭窄聊天框与智能体交流导致的信息碎片化、上下文展示不直观以及无法掌控智能体多文件并发编辑状态的行业痛点,Canvases 引入了无限延展的人机共享交互白板。开发者与 Coding Agent(如 GitHub Copilot、Claude Code、Cline 等)可以在画布上并排布局架构流程图、交互式代码 Diff、调用堆栈树与动态单元测试运行视图,实现真正的可视化多维对齐与协作式结对编程。

VS Code 预览版推出 Canvases 原生智能体画布:人机协作共享工作区,颠覆传统对话编程交互

核心要点速览

  • 微软 VS Code 官方在 v1.142 预览版中首度上线 Canvases 画布,重塑人与 Coding Agent 交互界面的交互形态
  • 彻底打破侧边栏对话框狭小视野限制,提供可无限缩放与平移的共享工作区,实时映射智能体多文件并发修改全貌
  • 支持将代码文件、架构图谱、交互式 Diff、终端会话与单元测试运行器作为卡片组件自由并排编排
  • 无缝兼容 GitHub Copilot、Claude Code 等多款智能体扩展协议,引领 IDE 迈入空间化(Spatial)AI 结对编程新纪元
阅读全文

Antigravity CLI 1.3.5:新增 Auto 模式自动批准安全编辑与命令,越出沙箱先经独立 agent 审核,并加入 /compact

Google Antigravity CLI 于 2026-10-14(UTC)发布 1.3.5。Release Notes 新增 Auto 模式:自动批准文件编辑与安全命令,不可逆操作仍会询问;将离开终端沙箱的命令先交独立 agent 审核。可用 --mode auto、/config 的 Agent Mode,或 Shift+Tab 切换;目前支持 Linux 与 macOS,Windows 稍后。同版加入按需 /compact,并为 /diff 增加语法高亮、折叠与大文件虚拟滚动。公开文档的 modes 页抓取时仍只列 default / accept-edits / plan,以 GitHub Release 为准。

Antigravity CLI 1.3.5:新增 Auto 模式自动批准安全编辑与命令,越出沙箱先经独立 agent 审核,并加入 /compact

核心要点速览

  • 版本:Antigravity CLI 1.3.5(89081f7,2026-10-14T03:16:53Z)首条即 Auto 模式
  • Auto:自动批准文件编辑与安全命令;不可逆操作仍确认;越出终端沙箱的命令先经独立 agent 审核(官方 Release 口径)
  • 入口:--mode auto、/config → Agent Mode,或 Shift+Tab 循环;Linux/macOS 可用,Windows 后续
  • /compact:按需压缩对话;单独用则摘要并结束本轮,带参数则摘要后再答;可 Esc 取消,结束时显示压缩步数与上下文缩减
  • /diff:语法高亮、hunk 折叠(Ctrl+O / f)、大文件只渲染可视行;超 10 万行或 10 MB 关闭展开整文件
阅读全文

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

在实际软件工程与知识密集型交付任务中,自主 Coding Agent 通常以‘直接工作区交互(Direct Workspace Interaction, DWI)’的范式运作:通过终端命令直接检索、读取并修改本地代码库中的海量文件。然而,随着交互步数的拉长,Agent 极易遭遇严重的上下文失忆——初期提取的子任务需求被后续的大段文件内容挤出上下文窗口,而列出但尚未打开的潜在关键文件(Candidates)以及已读取证据的追溯链条(Provenances)也会随着模型滑动上下文丢失,导致 Agent 频繁出现漏解需求、死循环甚至‘在核心需求未完成前草率交付’的严重缺陷。韩国科学技术院(KAIST)的研究团队在最新研究(arXiv:2610.10444)中提出了创新框架 RunningTab。RunningTab 颠覆了依赖 Agent 自身注意力记忆或内部草稿纸(Scratchpad)的传统做法,首创了由执行环境托管的‘环境侧动态标签页(Environment-Side Tab)’。该标签页在交互全流程中独立追踪三大要素:结构化需求待办清单(Requirements)、带文件溯源的已读内容片段(Provenances)以及已罗列但未阅读的候选文件栈(Candidates)。在 Agent 尝试交付产物时,环境侧自动触发‘完成前置校验(Finish Check)’门禁,强制验证所有需求是否闭环。在 Workspace-Bench、TheAgentCompany 和 OfficeQA Pro 三大高难度真实工作区基准评测中,RunningTab 全面碾压原生 DWI 与自反思基线,在 TCR@70 指标上实现断崖式领先,论文与相关实现现已公开发布。

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

核心要点速览

  • KAIST 提出 RunningTab 框架,首创环境侧动态标签页,彻底根治 Coding Agent 长程工作区上下文遗忘缺陷
  • 独立追踪需求待办、代码证据溯源与候选文件栈三大流,配备强制完成检查门禁杜绝草率交付
  • 在 Workspace-Bench 等三大基准上大幅超越原生基线,TCR@70 评分飙升至 25.67,消融实实验证实环境托管的必要性
阅读全文
关联模型 / 智能体 / 厂商:
⚡ RunningTab⚡ Direct Workspace Interaction⚡ Workspace-Bench🤖 RunningTab-Agent🤖 Finish-Checker🌐 KAIST🌐 Hugging Face🌐 TheAgentCompany

Prime Intellect 让 Prime Agent 用 2,209 个智能体两周把自己重写成 Rust:冷启动可输入延迟 738ms→56ms,内存降逾 80%

Prime Intellect 10 月 9 日发布 Rust 版 Prime Agent:由一个根编排智能体调度 2,209 个子智能体、10,000+ 个 Prime Sandboxes、约 2,287 亿 GLM-5.3 Token,在两周内把 TypeScript 版编码 Agent 端到端移植为 Rust,并用 TUI/协议/会话差分测试保证行为一致。官方实测冷启动可输入延迟从 737.8ms 降至 55.8ms,启动后内存 607MB→106MB,同时新增 Windows(beta)与 Homebrew 安装,仍保持开源。

Prime Intellect 让 Prime Agent 用 2,209 个智能体两周把自己重写成 Rust:冷启动可输入延迟 738ms→56ms,内存降逾 80%

核心要点速览

  • 规模:2,209 个智能体、16,758 条智能体间消息、228.70B Token(其中 Rust 实现 192.99B/1,981 个、性能爬山 35.70B/228 个),运行于 10,000+ Prime Sandboxes(官方博客)
  • 性能(官方口径):冷启动可输入 737.8ms→55.8ms(13.22×),首帧 722.8ms→23.6ms,启动后 RSS 607.4MB→106.0MB,安装体积 172.1MB→59.6MB
  • 流程:每个任务走 Planner→Implementer→Reviewer(换模型对抗审查)→Verifier(新沙箱跑差分测试)四段状态机,失败打回重做
  • 性能爬山:第二个编排器无数值目标连续跑 3 天,记录 144+ 实验/审计,合并 69+ 项有效优化
  • 代码结构:拆为 9 个 crate,最大源文件从约 15,000 行降至约 2,500 行;新增 Windows 原生支持(beta)与 Homebrew 安装,仓库 继续开源
阅读全文

小米全模态大模型 RL 扩增技术报告出炉!MiMo-V2.6 突破 100 万上下文强化学习,端到端自我进化

强化学习(RL)已被公认为大语言模型由被动记忆迈向自主推理与自我进化的核心范式,然而在超长上下文与异构智能体交互中扩展强化学习算力依然面临巨大的工程与收敛瓶颈。小米大模型核心团队(Xiaomi LLM-Core Team)最新公布了重磅技术报告与全模态模型家族 MiMo-V2.6(arXiv:2610.11959)。MiMo-V2.6 依托预训练阶段的 Hybrid-SWA 架构,在强化学习阶段实现了空前的三维算力扩增:其一,采用异步流水线吞吐,单步训练能够支撑高达 1,568 个并发样本和 2.7~3.7B Token,训练上下文长度一举突破 1M(100 万 Token);其二,在代码、通用、视觉与网络安全等多维度构建了混合 Agent Harness 环境;其三,首创分组 Agent 打分器(Groupwise Agentic Grading),引导模型输出更高密度、更短更省 Token 的优质解。针对大规模 RL 极易出现的奖励黑客(Reward Hacking)与专家坍塌问题,团队创新性地冻结了 MoE 路由器并构建多层防御网,成功攻克万亿级 Token 强化学习的稳定收敛难题,并全面开源其训练动态、RL 环境与框架。

核心要点速览

  • 小米大模型团队发布 MiMo-V2.6 全模态技术报告,突破单步 3.7B Token、100 万(1M)上下文的极限 RL 算力扩增
  • 首创分组 Agent 打分器(Groupwise Agentic Grading),攻克长程奖励作弊并使生成代码精简 35% 以上
  • 创新冻结 MoE 路由器阻断专家坍塌,并全量开源训练动态、环境拓扑与 RL 训练框架
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Codex 在 Windows 上换上微软 MXC 沙箱:免管理员安装、无需额外账户与防火墙规则,原生网络策略加细粒度文件权限

OpenAI Developers 于 10 月 9 日宣布,Codex 在 Windows 上新增基于微软 Execution Containers(MXC)的沙箱模式,主打更快安装、更强网络管控与细粒度文件访问控制,需兼容的 Windows 11 设备。官方文档将 MXC 列为推荐实现,原 elevated/unelevated 降为兜底;Codex CLI 0.162.0 起可用,独立 CLI 中 features.prefer_mxc 默认关闭,桌面 App 通过灰度开启。

Codex 在 Windows 上换上微软 MXC 沙箱:免管理员安装、无需额外账户与防火墙规则,原生网络策略加细粒度文件权限

核心要点速览

  • Windows 沙箱实现从 2 种增至 3 种:mxc(推荐)/ elevated(首选兜底)/ unelevated(弱网络隔离兜底)
  • MXC 安装 0 次管理员提权、0 个额外 Windows 账户、0 条本地防火墙规则,命令以用户本人身份运行并逐条施加策略
  • 最低版本 Codex CLI 0.162.0;独立 CLI 中 features.prefer_mxc 默认关闭,需手动开启
  • 企业可在 requirements.toml 用 windows.allow_mxc = false 一键禁用 MXC
  • 社交热度:官方帖 650+ 赞、5.1 万次曝光(发帖约 1.5 小时内)
阅读全文
关联模型 / 智能体 / 厂商:

微软把 137B 编程模型搬上本地:MAI-Code-1.1-Flash 端侧版 SWE-Bench Verified 70.8%,GitHub Copilot 将自动在本地与云端间路由

10 月 7 日 Windows 发布会上,微软把 MAI-Code-1.1-Flash(137B 总参数 / 6.8B 激活 MoE、256K 上下文)以约 3.3 bit 量化跑在 RTX Spark PC 上,端侧 SWE-Bench Verified 70.80%、Terminal-Bench 2.1 66.29%;GitHub HydraFusion 将在 10 月下旬以实验预览让 Copilot 自动把任务分给本地或云端模型,本地调用不收推理费。MXC 智能体沙箱同日 GA。

微软把 137B 编程模型搬上本地:MAI-Code-1.1-Flash 端侧版 SWE-Bench Verified 70.8%,GitHub Copilot 将自动在本地与云端间路由

核心要点速览

  • 端侧跑分:SWE-Bench Verified 70.80%(云端原版 72.6%),Terminal-Bench 2.1 66.29%(云端 62.9%);同测 GPT-OSS-120B 仅 32.0% / 23.6%(Microsoft Command Line)
  • 资源:约 3.3 bit 混合精度量化 + DFlash2 投机解码,256K 上下文峰值内存 75.5GB;64K / 128K 上下文预填充 923.5 / 769.8 tok/s
  • 路由:HydraFusion 本地+云端混合路由 10 月下旬以实验预览进入 Copilot app、Copilot CLI 与 VS Code,本地调用不收推理费(Windows Blog)
  • 现在就能用:Copilot CLI 1.0.94-0 起 /model 可发现本机 Ollama 模型(需支持工具调用与流式)(GitHub Changelog)
  • 安全:MXC 智能体容器在 Windows 11 GA,Codex、Copilot、OpenClaw、LM Studio 等已支持,Claude Code、Hermes Agent 等将跟进
阅读全文

底座模型冻结也能自进化!GUI-HARVEST 开源图形智能体进化架构:OSWorld 狂飙 12.3 分,跨平台迁移 GPT-5 涨 13.8%

包裹在图形界面大模型(GUI Models)外部的可执行测试与运行框架(Agent Harness),负责掌控从多模态观测组装、动作空间解析,到异常恢复、校验重试与终态停止的全部控制中枢。然而,在底座多模态权重保持冻结的前提下,如何自动优化这一外层 Harness 长期面临三大咬合难题:如何将抽象意图与界面真实前后视觉跳变精确挂钩、如何在充满随机波动的执行中精准归因故障、以及如何将多任务中沉淀的失败模式转化为确定性的代码级修正。来自浙江大学与新加坡国立大学等机构的研究团队提出了全自动 Harness 进化框架 GUI-HARVEST(arXiv:2610.00948)。GUI-HARVEST 创造性地将模型动作与前后截图的界面转移动态对齐,把同一任务的多轮重复运行作为联合证据单元,将验证过的复发失败模式自动映射为对 Harness Python 源码的有界代码编辑。在 OSWorld-Verified 评测中,GUI-HARVEST 驱动各大主流模型全面爆发,Qwen3-VL-32B-Instruct 性能暴涨 12.33 个百分点;更为震撼的是,在 OSWorld 上进化出的冻结 Harness 零样本迁移至 WindowsAgentArena 时,直接让 GPT-5 在 50 步任务中的完成率暴涨 13.87 个百分点。代码已在 GitHub 全面开源(github.com/GaryYang12345/GUI-HARVEST)。

核心要点速览

  • 提出首个面向 GUI 智能体的全自动 Harness 源码级进化框架 GUI-HARVEST,实现底座权重完全冻结下的自主进化
  • 将动作意图与前后截图界面跃迁精准对齐,依托跨任务复发失败模式直接自动重构生成 Python 调度补丁
  • OSWorld 上 Qwen3-VL-32B 性能暴增 12.33 分,进化出的 Harness 零样本跨平台迁移至 Windows 助推 GPT-5 暴涨 13.87 分
阅读全文
关联模型 / 智能体 / 厂商:

解决桌面多窗口视觉死穴!苏黎世联邦理工等开源 DeskForge:1.2M 密集多模态轨迹,Qwen3.5-4B 零样本定位大涨 11.5%

随着 Anthropic Computer Use 与各种操作系统智能体(OS Agents)进入桌面工作流,如何在多应用层叠、分辨率各异以及同质化按钮混淆的复杂真实桌面场景中精准定位可操作控件,成为制约智能体长程作业的核心瓶颈。现有 GUI 训练数据缺乏受控的环境状态演化与细粒度像素级密集标注。为此,苏黎世联邦理工学院(ETH Zurich)与 IBM Research 联合推出可控桌面数据生成系统 DeskForge(arXiv:2610.02320)。该系统通过在可控沙盒中动态编排真实桌面应用,实时融合系统截图、无障碍辅助树(Accessibility Tree)与窗口几何坐标,构建了涵盖 120 万密集桌面交互观测与 1.597 亿控件实例的超大规模数据集 DeskForge-1M。在仅使用其中 20 万样本微调后,Qwen3.5-4B 等视觉语言模型在 ScreenSpot-Pro 上的定位准确率暴涨 11.51 个百分点,在 OSWorld-G 上提升 10.11 个百分点;在长流程真实任务测试中,WebArena-Infinity 通关数由 31 跃升至 50,OpenApps 成功率翻了 5 倍。项目主页与数据集已全面开放(saidgurbuz.github.io/deskforge)。

核心要点速览

  • ETH Zurich 与 IBM 推出可控桌面数据生成系统 DeskForge,融合截图、辅助树与窗口几何生成 1.2M 观测与 1.597 亿控件实例
  • 仅用 20 万样本微调即让 Qwen3.5-4B 在 ScreenSpot-Pro 准确率暴涨 11.51%、OSWorld-G 攀升 10.11%,5 大基准全面超越基线
  • 长程任务完成能力翻倍突破:WebArena-Infinity 通关数由 31 升至 50,企业级 OpenApps 任务成功率暴涨 5 倍,权重与数据全开源
阅读全文
关联模型 / 智能体 / 厂商:

80G 单卡跑 450 万超长上下文!TII 提出 Periscope:免训练网格分解算法,KV 缓存从 296GB 暴降至显存极值

随着大模型在代码库全仓审计、百万字法律卷宗与长篇专著推理中的需求日益迫切,模型面临注意力机制二次方显存爆炸、上下文窗口硬上限以及长文本准确率中途塌陷(Lost-in-the-Middle)的严峻制约。阿联酋阿布扎比先进技术研究机构(TII)提出了一种彻底颠覆传统二次方长推理范式的免训练推理算法 Periscope(arXiv:2610.04047)。Periscope 敏锐地洞察到长文本决策本质上是在有限候选项集上定位关键证据,因此将长度为 N 的输入切块并排列在 K x K 的二维网格上(K 为根号 N 向上取整)。无需任何额外训练,算法直接让冻结的基座模型分别对 K 个连续局部切片与 K 个贯穿全文的步长跨度进行双向探针探测,以单 Token 的对数几率评分瞬间构建全文证据图谱(Evidence Map),以仅需对数级前向计算精确锁定核心证据块。在这一架构下,原本需要 296GB KV 缓存的 450 万 Token 超长上下文,仅需单张 80GB GPU 即可完成极速推演;在 InfiniteBench 上以超出全窗口基线 5 个百分点的优异战绩刷新纪录。

核心要点速览

  • 提出免训练网格分解算法 Periscope,将 N 块文本映射到 K x K 二维网格,将物理窗口 W 扩展至 W^2 / c 等效容量
  • 通过局部切片与跨度切片的单 Token 对数几率构建全文证据图谱,27B 模型单张 80GB GPU 即可处理 450 万 Token(传统需 296GB KV 缓存)
  • 在 InfiniteBench 上超越全窗口原生读取 5.2 分,LongBench v2 仅读 9k Token 核心块即可追平 1M 全量窗口最高性能
阅读全文