破除通用智能体偏科魔咒！南洋理工等提出 DN-MOPD：领域方差归一化重塑多教师蒸馏，夺回失落的数学推理能力

核心背景与行业痛点

在当前大模型研发竞赛中，通过强化学习（RL）分别打造专注于数学推理、代码工程与通用复杂指令遵循的领域顶尖专家模型已轻车熟路。然而在实际商业化落地中，维护数个各自为政的专用模型成本极高，开发者迫切需要一个“集众家之所长的全能通用基座”。多教师同策略自蒸馏（Multi-Teacher On-Policy Distillation, MOPD）是实现这一目标的前沿技术路径：它让学生模型生成推理轨迹，再通过领域路由器（Router）精准指派对应的领域特权教师在该 Prompt 上给予逐 Token 的 KL 散度监督。然而评测揭示了一个致命的“能力吞噬现象”：统一蒸馏产出的通用学生模型，其综合性能竟然显著逊色于单一最强教师，尤其是数学专家精心沉淀的高阶解题优势在多师联合训练中几乎被磨灭殆尽。

架构亮点与底层机制

针对多专家蒸馏中的能力冲突与数学退化，南洋理工大学（NTU）等机构联合团队进行了微观梯度解剖，提出了 DN-MOPD 创新对齐框架：

1. 揭露多领域教师反馈的严重方差失衡（Gradient Spread Imbalance）：团队深入分析发现，传统的领域路由仅解决了“由谁来当老师”的问题，却完全忽略了“不同教师反馈信号的物理冲击力”。通用指令遵循（Chat/IF）任务的语义空间极度宽泛，其 Token 级预测分布的离散度（Spread）是数学推理任务的数倍之多，导致指令教师的梯度反向传播压倒性地统治了学生的权重更新，高密度但低离散度的数学梯度被无情抹平；
2. 领域实测离散度动态归一化（Domain-Normalized Rescaling）：DN-MOPD 测量并追踪各个垂直领域在训练中的真实分布离散度标尺，自动依据实测离散度对各领域的损失权重进行自适应反比例重缩放（Rescaling）；
3. 精准调低指令干扰，释放数学势能：消融实验揭示了一个反直觉的洞察——要想让学生找回数学能力，关键并不在于盲目调高数学领域的权重，而在于精确“压低指令遵循教师在更新中的噪声垄断”，从而让数学专家的密集梯度得以在共享参数中平稳着陆；
4. 零额外推断开销统一模型交付：学生模型在训练结束后成为一个拥有全项能力的纯净独立单体，兼具顶尖推理力与流畅的自然语言交互遵循能力。

权威 Benchmark 与实测跑分对比

研究团队基于最新的 Qwen3.5 系列（横跨多种参数规格），在涵盖复杂竞赛数学、多轮代码生成、逻辑推理与综合通用评估的 6 大权威公用基准上进行了全景检验：

1. 全尺寸规格全面超越标准 MOPD：在全部受试的 Qwen3.5 参数档位下，经 DN-MOPD 训练的学生模型在 6 大基准上的综合平均得分全面超越了基线 MOPD；
2. 失落的数学推理能力近乎 100% 找回：在衡量高难度数学长程证明的基准上，DN-MOPD 彻底扭转了通用蒸馏带来的性能倒挂，将数学专家的领先优势找回率推高至 92.4% 以上；
3. 跨随机种子与长文本预算的超强稳健性：在三组完全不同的随机种子以及两档截然不同的回答长度限制（Answer-Length Limits）压测下，DN-MOPD 的平稳增益均表现出高度的可复现性与收敛稳定性。

开发者实战落地与开箱指南

DN-MOPD 的核心发现为全行业正在进行的大模型多能力蒸馏、MoE 专家融合（Model Merging & Distillation）提供了不可或缺的底层指导准则。开发者在将数学、编程及日常对话多个经过 RL 深度对齐的专有模型通过蒸馏整合为统一基座时，务必摒弃传统的等权重或简单路由设计。通过引入领域离散度自适应归一化算法，团队仅需在现有 Loss 计算中增加一行平滑归一化因子，便能彻底瓦解通用指令对复杂逻辑梯度的降维打击，低成本打造出真正不偏科的六边形全能 AI 旗舰。