苏黎世联邦理工与港大破解 MoE 路由探索困境 MirrorMoE：自适应专家剪枝化解共享专家抑制效应，全尺度 PPL 显著下降

核心背景与行业痛点

在现代混合专家架构（如 DeepSeek-V3/V4、Qwen-MoE）的演进中，两大设计已成为行业标配：一是细粒度专家切分（Fine-Grained Segmentation），即切分出 64 或 128 个小型路由专家以增强组合表达能力；二是共享专家（Shared Experts），即固定若干专家全量参与每个 Token 计算以捕获通用知识。然而，苏黎世联邦理工学院（ETH Zurich）与香港大学团队在 arXiv:2610.22353 中首次揭示了二者之间深层的“探索困境（Exploration Dilemma）”：共享专家的恒定介入极大地降低了 Token 表征的多样性与方差，反向导致门控网络（Router）趋向保守，在指数级膨胀的路由组合空间中丧失了充分探索各专家分工的能力，使得细粒度专家的理论表达增益大打折扣。

架构亮点与底层机制

1. 路由探索空间的 Token 自适应收缩（Token-Adaptive Expert Suppression）：

• MirrorMoE 提出了一种镜像投影与自适应抑制机制。模型在门控计算阶段根据当前 Token 的特征分布，动态识别并抑制对当前上下文冗余度高的冷门候选专家，在每一步局部缩小路由候选空间；

1. 零训练延迟与算力开销（Zero Overhead Architecture）：

• 该抑制机制具备对称的闭式解析形式，无需引入复杂的辅助多轮前向计算或沉重的正则化损失，迭代耗时（Iteration Time）与原始 Vanilla MoE 完全一致甚至因冗余梯度过滤略有缩减。

权威 Benchmark 与实测跑分对比

• 跨参数规模预训练困惑度测试（Pretraining PPL, Table 1）：
• MoE-100M-A38M (8/64/2)：预训练 PPL 从 54.78 降至 51.77（-3.01 PPL），单步迭代时间为 7844 ms vs 7871 ms；
• MoE-498M-A121M (8/64/2)：预训练 PPL 从 28.31 降至 27.36（-0.95 PPL）；
• MoE-625M-A100M (8/128/2)：预训练 PPL 从 28.46 降至 27.84（-0.62 PPL）；
• MoE-2.4B-A270M (8/128/2)：预训练 PPL 从 21.17 降至 20.50（-0.67 PPL），单步迭代耗时从 25,711 ms 降至 25,635 ms。
• 下游基准全线评测（Downstream Evaluation, Table 2）：
• 在 ARC-E、OBQA、HellaSwag、PIQA、BoolQ、SIQA 六大下游任务平均分上，MirrorMoE 取得系统性增长：在 2.4B 模型上平均分从 45.23% 提升至 46.87%（+1.64 pts），其中 BoolQ 暴涨 +4.03 个百分点（58.53% vs 54.50%），ARC-E 达 46.63%（vs 45.37%）。

开发者实战落地与开箱指南

• 开源代码获取：官方已在 GitHub 开源全部实现（https://github.com/BingcongLi/MirrorMoE）。
• MoE 预训练与微调集成建议：正在自研或微调稀疏 MoE（如融合了共享专家与 64/128 路由专家体系）的团队，可直接在门控 Router 的 Softmax 前置计算中集成 MirrorMoE 的自适应抑制掩码算子，在完全不增加显存与训练时间的前提下，直接兑现细粒度专家应有的表达潜力与下游收敛上限。