AI 编程实时动态与要闻

浙江大学与腾讯开源深搜智能体对齐算法 KnowGPO:原子知识状态分组强化学习,8B 模型跨级超越 32B 开源系统并在 GAIA 斩获 40.2 分

深度搜索智能体在长链路多轮检索中面临严重的信贷分配(Credit Assignment)难题。浙江大学与腾讯联合开源 KnowGPO(arXiv:2610.22331,GitHub: ZJU-REAL/KnowGPO)。该算法将复杂问答拆解为原子知识条件集合,以知识状态对齐代替杂乱的表面文本对齐,并在同状态组内计算增量知识过程奖励。微调后的 Qwen3-8B 在 BrowseComp-ZH(38.8%)与 GAIA(40.2%)上全面超越 GRPO 与 GiGPO,越级战胜 32B 级开源深搜基线并逼近闭源模型。

浙江大学与腾讯开源深搜智能体对齐算法 KnowGPO:原子知识状态分组强化学习,8B 模型跨级超越 32B 开源系统并在 GAIA 斩获 40.2 分

核心要点速览

  • 浙江大学与腾讯联合开源 KnowGPO(arXiv:2610.22331),解决长程深搜智能体中网页噪声大、过程信贷分配失效的核心痛点
  • 以原子知识条件替代表面文本状态,通过同知识状态组内相对优势与增量知识过程奖励实现鲁棒对齐
  • Qwen3-8B 接入 KnowGPO 后在 BrowseComp-ZH 达到 38.8%、GAIA 达到 40.2%,较标准 GRPO 绝对提升 5.9 / 5.2 个百分点
  • 8B 模型性能跨级超越 WebSailor-32B、ASearcher-Web-32B 等开源 32B 系统,逼近 DeepMiner-32B 与商业闭源模型
阅读全文
关联模型 / 智能体 / 厂商:

浙大 InfiniSplat v2 高赞登顶(118 赞):前馈 3D 高斯渲染感知误差骤降 32.9%,以色列理工 H-DDCM 哈达玛码本实现单卡准实时视频压缩

针对前馈式 3D 高斯泼溅(3DGS)在大视角跨越下渲染质量骤降以及免训练扩散生成式压缩显存算力开销过大的痛点,今日两项重磅视觉与图形学成果给出突破:浙江大学周晓巍、鲍虎军、彭思达团队开源 InfiniSplat v2(arXiv:2610.20341,HF 118 赞),通过冻结几何分支解耦几何与属性预测并引入大角度目标视图监督,在 6 大三维数据集上将平均 LPIPS 与 DISTS 误差分别大幅降低 25.8% 与 32.9%;以色列理工学院推出 H-DDCM(arXiv:2610.18125),用隐式随机哈达玛(Hadamard)字典替代稠密高斯码本,将计算与显存降至 O(d log d) 与 O(d),结合周期性 KV 缓存前缀重编码实现单 GPU 准实时流式生成视频压缩。

浙大 InfiniSplat v2 高赞登顶(118 赞):前馈 3D 高斯渲染感知误差骤降 32.9%,以色列理工 H-DDCM 哈达玛码本实现单卡准实时视频压缩

核心要点速览

  • 浙江大学开源 InfiniSplat v2(HF 118 赞):通过冻结几何分支解耦几何与属性预测并结合大角度视图监督,在 6 大三维数据集上将有位姿前馈平均 LPIPS 与 DISTS 分别降低 25.8% 与 32.9%
  • 在无位姿(Pose-Free)设定下 InfiniSplat v2 同样以平均 LPIPS 0.3026 / DISTS 0.1341 击败 WorldMirror 2.0(0.3757 / 0.1935)与 AnySplat
  • 以色列理工提出 H-DDCM:用隐式快速哈达玛变换字典将免训练扩散压缩的计算与显存降至 O(d log d) 与 O(d),结合周期性 KV 缓存前缀重编码实现单 GPU 准实时长视频压缩
阅读全文
关联模型 / 智能体 / 厂商:

零训练注意力提速 4.36 倍!新加坡国大 Velox 视锥空间记忆加速视频世界模型,南开 DeltaStreamer 与理大 CoWorld 刷新流式推理

围绕交互式视频世界模型(Video World Models)与流式视觉智能体的“历史 KV 缓存膨胀、记忆衰退与工具调用僵化”三大难题,今日四项重磅成果集体亮相:新加坡国立大学王鑫超团队推出免训练 3D 视锥切片注意力路由器 Velox(arXiv:2610.22311),在 H200 上将第 48 块长序列注意力加速 4.36 倍、去噪整体加速 2.43 倍;南开大学侯淇彬团队开源流式视频智能体 DeltaStreamer(arXiv:2610.19849,HF 39 赞),通过变化感知记忆与定向回放斩获 OVO-Bench 66.07%;香港理工大学开源 CoWorld Reasoner(arXiv:2610.21910),通过自演化 VLM-VWM Harness 在 ERQA 上相对提分 13.0%;浙大则推出包含 260 个多回访用例的世界记忆基准 WorldMemBench(arXiv:2610.19063)。

零训练注意力提速 4.36 倍!新加坡国大 Velox 视锥空间记忆加速视频世界模型,南开 DeltaStreamer 与理大 CoWorld 刷新流式推理

核心要点速览

  • 新加坡国立大学提出免训练 3D 视锥切片注意力路由器 Velox:在 H200 上将第 48 块长序列注意力加速 4.36 倍、扩散去噪加速 2.43 倍,WBench 158 例导航得分与全注意力仅差 0.15 分
  • 南开大学开源流式视频智能体 DeltaStreamer:结合变化感知结构化记忆与按需历史原帧回放,在 OVO-Bench 与 StreamingBench 上分别斩获 66.07% 与 59.53%
  • 香港理工大学开源 CoWorld Reasoner 自演化 VLM-VWM Harness,在 MMSI 与 ERQA 上分别取得 11.8% 与 13.0% 相对准确率跃升;浙大同步开源 260 例世界记忆基准 WorldMemBench
阅读全文
关联模型 / 智能体 / 厂商:

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

针对视觉-语言-动作(VLA)模型死记硬背“观测-动作”映射导致跨场景泛化脆弱的痛点,今日三项重磅具身智能开源成果从物理状态转移、世界模型统一因果训练与仿真数据引擎共进化三路破局:浙江大学开源 2B 规模 VLA-Δ(arXiv:2610.21306,HF 54 赞),显式监督物理状态变化且推理零额外开销,以 98.4% 刷新 LIBERO 最高纪录;上海交大与港大开源 OneWM(arXiv:2610.21095,HF 40 赞),在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍);UIUC/Amazon 提出 CoDA(arXiv:2610.22362),通过 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 指令扰动成功率从 1% 暴力拉升至 76%。

浙大 VLA-Δ 刷新 LIBERO 98.4% 纪录!上交港大 OneWM 统一世界-动作因果训练,CoDA 共进化令机械臂泛化从 1% 飙至 76%

核心要点速览

  • 浙大开源 2B 规模 VLA-Δ:以当前与未来状态的物理转移差分作为显式预训练目标且推理零额外延迟,在 LIBERO 上斩获 98.4% 最高分,语言扰动下领先 π0.5 达 6.4 个百分点
  • 上交与港大开源统一因果架构 OneWM:在 RoboCasa365 上取得 36.68% 综合成功率(达 π0.5 的 2.17 倍),并以 59.27% 领跑 LIBERO-Plus 七大分布外扰动测试
  • UIUC/Amazon 提出 CoDA 框架与 Text2potential 势函数塑形:经 15 轮仿真引擎与策略共进化,将 LIBERO-Pro 位置扰动成功率从 25% 提至 84%、指令扰动从 1% 飙升至 76%
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

零微调赋能全场景通用导航!浙大开源 SuperNav:解耦多模态大模型与物理执行上机四足机器人

让服务机器人在未知的真实复杂环境中自主理解并执行人类开放式的导航指令(如‘帮我找一下放在客厅茶几上的眼镜并走到跟前’),是具身智能走向千家万户的核心瓶颈。现有具身导航算法往往严重依赖针对特定室内场景的大规模端到端微调(Fine-Tuning),但一旦迁移至全新的未见环境或遇到未见物体类别,模型性能便剧烈崩溃,泛化能力极其脆弱。来自浙江大学 3DV 实验室的研究团队在最新研究(arXiv:2610.12126)中正式开源了通用具身导航系统 SuperNav(开源代码:github.com/zju3dv/SuperNav,项目主页:zju3dv.github.io/SuperNav)。SuperNav 创造性地将高阶认知推理与低阶物理动作解耦:完全无需对底座多模态大语言模型(MLLM)进行任何针对导航领域的参数微调,直接依托冻结的多模态通识能力进行场景因果理解与长程决策,并由高度专业化的导航工具库接管底层移动执行。系统通过统一的‘二维视觉点位接口(Unified Visual-Point Interface)’让大模型直接在相机画面上标注归一化坐标以动态修正决策,并配备了多视角观测与任务追踪的专用 Agent Harness。在 HM3D 权威具身基准以及宇树 Unitree Go2 四足真实机器人上,SuperNav 在多目标、需求驱动与实例级导航任务中全线超越前沿微调基线,代码现已开源。

零微调赋能全场景通用导航!浙大开源 SuperNav:解耦多模态大模型与物理执行上机四足机器人

核心要点速览

  • 浙江大学 3DV 开源 SuperNav,首创零微调多模态大模型具身通用导航系统并成功实机部署四足机器人
  • 解耦认知推理与物理执行,提出统一二维视觉点位接口(Visual-Point Interface)实现动态视觉纠偏
  • 在 HM3D 权威基准及实机复杂场景中全线超越前沿微调模型,未见环境保持 88%+ 极高导航成功率
阅读全文
关联模型 / 智能体 / 厂商:

浙大 REAL 开源 ViSkill:打破文本线性化桎梏!视觉原生技能自进化驱动 VLM 智能体成功率攀至 91%

在具身智能交互、GUI 操作系统以及复杂棋盘谜题等空间密集型任务中,大语言与多模态智能体通常通过积累过往成功经验来提升样本学习效率。然而,业界目前绝大多数技能库(Skill Libraries)依然沿袭传统的‘文本中心化(Text-Centric)’范式:强制将丰富的空间几何拓扑、物体相对坐标与动作-状态映射粗暴压缩为一串纯文本字符串,导致极其关键的二维/三维视觉几何结构在编码阶段被彻底磨灭。浙江大学 REAL 实验室团队在最新成果(arXiv:2610.12403)中提出了首个视觉原生技能学习框架 ViSkill。ViSkill 打破了文本序列化的陈旧范式,将成功的空间多模态交互轨迹直接封装为原生的‘复合视觉技能卡片(Composite Visual Skill Cards)’。多模态智能体在推理时直接并行检索视觉技能卡,不仅高效引导动作决策,更利用检索到的视觉技能同步开展细粒度奖励塑形(Reward Shaping);同时,新产生的高价值交互轨迹被动态蒸馏并沉淀回技能库,构建起‘技能沉淀与策略强化’相互迭代的双向闭环。在 Sokoban(推箱子)、FrozenLake 和 PrimitiveSkill 等严苛空间决策基准上,ViSkill 取得了 0.89 的平均成功率,配合冷启动机制更是飙升至 0.91,全面碾压主流开源与闭源前沿模型,且收敛速度远超标准 PPO 算法,官方代码已开源。

核心要点速览

  • 浙大 REAL 开源 ViSkill,首创复合视觉技能卡机制,彻底终结多模态智能体对文本线性化描述的依赖
  • 在 Sokoban 与空间基准上取得 0.89~0.91 的高准确率,收敛速度较标准 PPO 提升数倍并节省 60% 采样步数
  • 构建技能沉淀与策略强化自增强飞轮,为 GUI 自动化与具身导航智能体提供开箱即用的高几何保真架构
阅读全文
关联模型 / 智能体 / 厂商:

蛋白质折叠竟能强化通用推理!浙大等提出 Fold2Reason:结构化先验迁移语言模型,10大推理基准全线飘红

现有大语言模型(LLM)极度依赖人类自然语言语料,往往只学会了表面文本 token 的概率衔接,而缺乏对物理世界底层空间关系与严密拓扑结构的本质逻辑表征。针对这一基础难题,浙江大学、上海交大与百奥几何(BioMap)联合团队提出颠覆性设想:已在结构生物学领域被彻底解决的“蛋白质折叠”问题,每一个解析结构都内含成千上万条绝对客观可验证的三维空间拓扑断言,能否作为后训练监督源来传授通用可复用推理能力?研究团队构建了海量蛋白质问答数据集 FoldingCorpus,并提出了 Fold2Reason 后训练方法:通过模型的原生语言头预测离散结构断言,并从同一共享表征中联合解码连续 3D 几何坐标。在 FoldBench 蛋白质折叠评测中,Fold2Reason 得分达到 Qwen3.5-9B 的 2.7 至 3.5 倍;更为震撼的是,在跨越空间推理、图推理、科学计算与通用逻辑的全部 10 项外部泛化基准中,平均宏精度从 45.09% 跃升至 48.33%(净增 +3.23 pp),所有 10 项基准均实现单调正向提升,证明了非语言稠密科学结构先验可系统性泛化赋能通用推理。

蛋白质折叠竟能强化通用推理!浙大等提出 Fold2Reason:结构化先验迁移语言模型,10大推理基准全线飘红

核心要点速览

  • 首创 Fold2Reason 范式,首次实证经过严密 3D 蛋白质折叠先验训练能够系统性迁移并提升大模型通用推理能力
  • 结合原生离散语言预测头与连续 3D 几何解码共享表征,FoldBench 结构得分达到 Qwen3.5-9B 的 2.7~3.5 倍
  • 在空间、图论、科学与通用逻辑等 10 大外部通用推理基准上实现全线正向提升,宏平均精度跃升 +3.23 pp(达 48.33%)
阅读全文

小教师反向超强大脑!浙大等揭示同族同策略蒸馏标度律:弱教强全面反超,拟合强化学习蒸馏幂律

强化学习(RL)虽能赋予大模型惊人的长思维链推理能力,但该能力如何在不同模型尺寸间高效迁移以及遵循何种标度法则,长期缺乏定量研究。浙江大学等顶尖研究团队在重磅论文《Scaling Properties of Same-Family On-Policy Distillation》(arXiv:2609.32722,社区超 310 赞)中,对同族模型在“以弱教强(Weak-to-Strong)”、“同底座(Same-Base)”以及“以强教弱(Strong-to-Weak)”全谱系下的同策略蒸馏(OPD)进行了全景解剖。研究发现,OPD 早期动力学遵循清晰的“有效迁移域(Useful-Transfer Regime)”,测试准确率与逆向 KL 散度的平方根呈近乎完美的线性增长;而在所有“以弱教强”组合中,学生模型的峰值准确率均全面反超了特权教师自身!团队拟合出预测峰值表现与迁移斜率的定量幂律公式,揭示了“在同等表现下,更小尺寸的 RL 专家教师迁移效率反而更高”的惊人标度规律。

小教师反向超强大脑!浙大等揭示同族同策略蒸馏标度律:弱教强全面反超,拟合强化学习蒸馏幂律

核心要点速览

  • 社区超 310 赞!首次系统揭示同族同策略蒸馏(Same-Family OPD)跨尺度能力迁移的动力学标度律
  • 确立“以弱教强”确定性增益:在所有测试组中,大尺寸学生模型峰值推理准确率均全面反超小型 RL 教师
  • 拟合出 OPD 幂律标度公式,证实峰值增益在教师尺度接近学生时趋于饱和,小尺寸专家反向迁移效率更优
阅读全文

浙大联合开源 HybridCUA:破局纯 GUI 智能体低效瓶颈,首创 GUI 与命令行双流协同,OSWorld 斩获 53.6% 暴涨 14.8 个百分点

现有多模态计算机使用智能体(CUA)在处理复杂桌面任务时面临严峻两难:完全依赖图形界面(GUI)点击输入容易受动态渲染和窗口遮挡影响,不仅推理极为缓慢且极易出错;而依赖特定应用程序的专有 API 又需耗费巨大的定制工程,根本无法泛化至数以万计的日常软件。浙江大学联合研究团队推出首个软硬兼施的跨平台计算机使用智能体框架 HybridCUA。通过构建包含 5,000 条混合轨迹与 3,000 个强化学习可验证任务的 HybridCUA-8K 基准,提出两阶段训练机制:先通过多模态 SFT 学习图文与命令行的交替调用,再通过命令行感知强化学习(CLI-Aware RL)激励模型在关键节点自适应决策使用 Shell 脚本。在主流真实操作系统基准 OSWorld 上,HybridCUA-9B 达到 53.6% 成功率,相比基础模型暴涨 14.8 个百分点,并在 WindowsAgentArena 获得 4.0 个百分点跨平台增益。

浙大联合开源 HybridCUA:破局纯 GUI 智能体低效瓶颈,首创 GUI 与命令行双流协同,OSWorld 斩获 53.6% 暴涨 14.8 个百分点

核心要点速览

  • GUI 与 CLI 双流深度融合:打破以往 CUA 仅靠视觉截屏模拟鼠标键盘点击的单一范式,将 Bash/PowerShell 脚本的高效确定性与图形界面的广泛通用性无缝打通。
  • HybridCUA-8K 混合轨迹基准:开源首个包含 5,000 条高质量 GUI+CLI 混合执行轨迹与 3,000 个基于环境结果反馈的可验证强化学习任务(RLVR),填补跨模态桌面决策数据空白。
  • OSWorld 53.6% 与跨平台实证:HybridCUA-9B 在 Linux 桌面 OSWorld 评测中准确率达到 53.6%(绝对提升 +14.8%),在 WindowsAgentArena 提升 4.0%,展现出卓越的操作系统级跨生态泛化力。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ HybridCUA-9B⚡ Qwen2-VL-7B⚡ Claude-3.5-Computer-Use⚡ OSWorld-Agent🤖 Computer-Use Agent🤖 HybridCUA🤖 Desktop Agent🌐 Zhejiang University🌐 Hugging Face🌐 arXiv

浙大开源 WideSWE 基准:突破单库评测局限,首发 120 项跨仓库协同开发任务,顶级 Agent 成功率仅 42.5%

针对既有编码基准(如 SWE-bench)仅局限于单一代码库、无法评估真实软件生态中跨多个关联仓库协同修改与联调能力的短板,浙江大学 ACES-ISE 团队推出首个跨仓库编码智能体评测基准 WideSWE。从 103 个真实开源软件生态中挖掘提炼 120 个复杂任务(60 个跨库 Bug 修复与 60 个跨库新特性),涵盖隐蔽回归测试用例。实测七大主流智能体配置,完整任务成功率最高仅为 42.50%,揭示多库协同开发中接口遗漏与联合测试断层的严峻瓶颈。

浙大开源 WideSWE 基准:突破单库评测局限,首发 120 项跨仓库协同开发任务,顶级 Agent 成功率仅 42.5%

核心要点速览

  • 从单仓库迈向真实跨库生态:软件工程中大量依赖升级、协议变更与重构需要跨越多个代码库同时协作;WideSWE 覆盖 103 个真实生态、120 项跨库开发任务,打破单库信息茧房。
  • 顶尖智能体天花板仅 42.5%:在测试的 7 种主流 Agent 架构中,任务完成率处于 10.83% 至 42.50% 的极低区间;其中 Codex CLI 搭配 GPT-5.6-sol 取得最高分 42.50%,普遍暴露跨库未竟修改与联合测试缺失。
  • 独立执行 vs 联合协同对比:实验揭示独立逐库处理容易丢失跨库接口约束上下文,而联合工作区(Joint Execution)能有效利用关联仓库信息引导实现与双向验证。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

腾讯联合浙大开源 IterSynth:首创解耦式深度搜索智能体范式,复杂长程检索推理表现超越现有 8B 模型

腾讯与浙江大学 REAL 实验室(@huggingface)联合开源了革命性的深度搜索智能体框架 IterSynth(arXiv: 2609.29444,GitHub: Tencent/IterSynth)。针对传统 ReAct 智能体将规划、证据搜集与信息归纳单一绑定的角色耦合问题,以及多轮检索中历史上下文无限堆积导致的注意力污染难题,IterSynth 首创“规划者(Planner)与归纳者(Synthesizer)动态解耦 + 演化式摘要状态机”范式,并提出角色解耦强化学习算法(RDPO)。在 BrowseComp 与 Xbench-DS 等顶级长程深搜基准中,IterSynth-8B 平均得分达 50.7,显著超越同等规模所有前沿 Agent。

腾讯联合浙大开源 IterSynth:首创解耦式深度搜索智能体范式,复杂长程检索推理表现超越现有 8B 模型

核心要点速览

  • 彻底打破传统 ReAct 智能体单一策略模型强行兼顾搜索规划与长文归纳的严重能力内卷。
  • 提出基于状态摘要机(Evolving Summary)的上下文压缩方案,杜绝网页多轮抓取产生的海量噪声污染。
  • 提出角色解耦强化学习(RDPO),结合最终收益与多轮过程细粒度 Rubric 奖惩,信用分配精准度大幅提升。
  • IterSynth-8B 在 BrowseComp、Xbench-DS 等基准评测中跑出 50.7 分,且能作为通用 Prompt 范式直接赋予闭源大模型。
  • 完整训练脚本、评测基准与模型权重已在 GitHub 和 Hugging Face 遵照宽松开源协议全量公开。
阅读全文

浙江大学开源 Spatial-Interactor:首创交互式物理世界空间推理架构,发布 LSI-108K 具身数据集

浙江大学计算机学院 OmniAI 实验室(@huggingface)联合产业界正式开源了 Spatial-Interactor 空间推理架构与大规模交互式空间数据集 LSI-108K(arXiv: 2609.23038)。针对传统视觉语言模型(VLM)停留在静态被动图像识别、面对三维物理世界中深度、遮挡与动态位姿极易发生严重空间幻觉的难题,Spatial-Interactor 首次构建了“动作改变视角、多视角迭代闭环校准”的交互式空间推理机制,全面开源代码与 Apache 2.0 权重。

浙江大学开源 Spatial-Interactor:首创交互式物理世界空间推理架构,发布 LSI-108K 具身数据集

核心要点速览

  • 告别静态单帧看图推测,首创通过机械臂/相机主动多角度交互消除三维空间几何盲区。
  • 开源业界首个高质量交互式空间推理数据集 LSI-108K,覆盖 10.8 万组闭环交互轨迹与空间问答对。
  • 在具身物体定位、三维包围框估计与复杂障碍物避让任务中,三维空间推理准确率平均提升 33.8%。
  • 全量训练代码、评测基准与模型权重已在 GitHub 和 Hugging Face 遵照 Apache 2.0 协议开源。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Spatial Interactor⚡ Qwen 2 Vl🤖 embodied-agent🌐 zhejiang-university