CMU 与复旦奠基循环架构理论 Hugging MoE：三明治拓扑破解参数重用瓶颈，8B 循环 MoE 媲美 32B 深层前馈模型

核心背景与行业痛点

随着模型参数规模膨胀至数百亿，边缘计算设备与端侧智能体受限于物理显存容量（VRAM），极难直接运行大型模型。循环语言模型（Looped Models，如近期的 NVIDIA Dory 1.0、Ouro）通过在深度方向上将同一组物理 Transformer 层循环迭代执行多次，理论上能在极小显存占用下实现相当于超深层模型的表达能力。然而，现有的循环模型设计极度经验主义——循环块放在哪一层、每一轮是否重新注入原始 Token 输入、隐状态如何初始化，三者在既有研究中被严重缠绕，缺乏坚实的理论与严谨的受控消融。CMU 语言技术研究所（LTI）与复旦大学团队在 arXiv:2610.23036 中发表了系统性奠基之作 Towards Looped Models Done Right (Part I)。

架构亮点与底层机制

1. 前奏-循环-尾声三明治拓扑（Prelude-Recurrent Block-Coda Sandwich Architecture, Huginn）：

• 证明了将模型完全做成统一大循环（如 Ouro 架构）并非最优解。团队提出了 P8-R12^8-C8 范式：由 8 层非重用前奏（Prelude）负责基础语法特征提取，中间 12 层物理块循环迭代 8 次（等效 96 层逻辑深度），最后经 8 层非重用尾声（Coda）投影输出；

1. 输入注入（Input Injection）与隐状态初始化公理化界定：

• 严谨证明了在循环迭代中必须显式保持前奏特征向量的持续加权注入（$W_\theta$ 门控）；相较于直接在循环体中强行复用未对齐的原始 Token，前奏注入能彻底消除浅层梯度弥散；

1. 扩展至稀疏专家混合（Looped MoE）：

• 将三明治循环原则无缝迁移至 MoE 架构，构建了 Huginn MoE，每个循环块挂载 25 个物理专家并每次动态路由 Top-2。

权威 Benchmark 与实测跑分对比

在严格匹配的 5000 亿 Token（500B Tokens） 大规模预训练与评测中（Table 2, 5, 6）：

• 常驻显存节省 4 倍（Table 6）：
• 前馈基准 D112 MoE 包含 32.0B 常驻参数 / 3.2B 激活参数；
• Huginn MoE 物理层数仅 28 层（8 Prelude + 12 Recurrent + 8 Coda），仅包含 8.0B 常驻参数 / 793.9M 激活参数（参数量缩减为 1/4）；
• 权威评测全线比肩（Table 5）：
• 在 MMLU（5-shot）、BBH-CoT、GSM8K 与 MATH500 等复杂逻辑推理基准上，8.0B 常驻参数的 Huginn MoE 全面逼近并部分超越 32.0B 参数的前馈基线，且系统性超越同参数量的无三明治循环架构 Ouro MoE；
• 在 730M 参数密集型模型实验中（Table 2），P8-R12^8-C8 拓扑在 ARC-C、HellaSwag 等通用任务上展现出压倒性的参数收敛效率。

开发者实战落地与开箱指南

• 理论与技术路线启示：正在研发手机端、车载或本地离线 Coding Agent 的工程团队，不必盲目追求千亿参数量；采用三明治循环拓扑（Prelude + Looped Block + Coda）设计 7B~8B 物理尺寸的循环 MoE，能在 16GB~24GB 消费级显卡上实现媲美 30B 级模型的长链路推理能力，直接打破端侧部署的显存墙。