浙江大学与腾讯开源深搜智能体对齐算法 KnowGPO：原子知识状态分组强化学习，8B 模型跨级超越 32B 开源系统并在 GAIA 斩获 40.2 分

核心背景与行业痛点

在多轮网络深度搜索与知识密集型推理任务中，基于终局结果奖励的强化学习（如 GRPO）只能提供单一的终端正负反馈，无法对长链路搜索过程中的单步决策（如查询改写、页面点击、无用结果跳过）进行准确的信贷分配（Credit Assignment）。现有的过程监督方法（如 GiGPO、IGPO）试图通过轨迹表层文本状态或模型内部隐层状态分配过程奖励，但在多轮搜索场景中，检索到的网页内容极度异构且充满噪声，导致表层匹配彻底失效。为此，浙江大学（ZJU）与腾讯联合提出了 KnowGPO（Knowledge-Grouped Policy Optimization，arXiv:2610.22331）。

架构亮点与底层机制

1. 原子知识条件状态化拆解（Atomic Knowledge Decomposition）：

• KnowGPO 摒弃表层文本比对，对于每个复杂查询，算法将回答所需的逻辑链条离散分解为一组原子知识条件（Atomic Knowledge Conditions）。在每一步搜索中，智能体轨迹被抽象为其当前已满足的知识子集向量；

1. 组内知识增量环境过程奖励（Knowledge-Grouped Reinforcement Learning）：

• 处于相同知识状态的搜索轨迹被自动聚合为同一个对比组，在组内进行相对优势计算；将连续两步之间新增解锁的原子知识增量作为环境接地的客观过程奖励（Environment-Grounded Process Reward），彻底规避了奖励黑客与噪声文档干扰。

权威 Benchmark 与实测跑分对比

• BrowseComp-ZH 与 GAIA 深度评测（Table 1）：
• 基于 Qwen3-8B-SFT（初始得分 30.1% / 31.1%）基座：
• + GRPO 提升至 32.9% / 35.0%；+ GiGPO 达到 37.3% / 35.0%；+ IGPO 达到 32.2% / 37.9%；
• + KnowGPO 分数飙升至 38.8%（BrowseComp-ZH）与 40.2%（GAIA），在强化学习方法中斩获最佳，较终局奖励 GRPO 绝对提升 +5.9 / +5.2 个百分点；
• 8B 规模的 KnowGPO 全面击败了 32B 规模的开源系统 WebSailor-32B（25.5% / 51.5%）与 ASearcher-Web-32B（15.6% / 52.8%），在 BrowseComp-ZH 上逼近 32B DeepMiner-32B-RL（40.1%）与闭源商业模型 GLM-4.5（37.5%）。
• Xbench 挑战基准（Table 2）：
• 在 Xbench-2505 与 Xbench-2510 上分别达到 48.0% 与 36.0%，持续领跑所有同参数开源 RL 对齐模型。

开发者实战落地与开箱指南

• 官方开源仓库：项目代码已在 GitHub 开源（https://github.com/ZJU-REAL/KnowGPO）。
• 深搜 Agent 训练落地：开发者在训练搜索类 Agent 时，可引入原子知识分解器作为轻量级离线标注模块，将多轮检索日志转化为知识状态转移图；在 PPO/GRPO 训练循环中将默认的终端 Outcome Reward 替换为 KnowGPO 知识组内优势函数，即可在 8B 级小模型上复现顶尖的检索决策密度与抗噪能力。