小红书、北大与港中文深圳提出 LangDiT：专为连续扩散语言模型重构 Transformer，生成困惑度骤降至 11.33 刷新 SOTA

核心背景与行业痛点

连续扩散语言模型（Continuous Diffusion Language Models, CDLM，如 LangFlow、Plaid）作为并行文本生成的代表性前沿范式，理论上能够打破自回归解码的逐 Token 串行瓶颈，实现极高吞吐的批量内容合成。然而，学术界与工业界现有的 CDLM 架构绝大多数只是简单搬用传统的自回归 Transformer（如 LLaMA）或图像扩散模型（如 DiT），未曾针对离散文本在连续隐空间中的扩散动力学做底层架构适配，导致生成文本困惑度（GenPPL）居高不下、长序列扩散采样极易崩溃发散。为此，小红书（Dots Studio）、北京大学、香港中文大学（深圳）与 UCLA 联合推出了首个专为语言扩散定制的骨干网络 LangDiT（Language Diffusion Transformer，arXiv:2610.22330）。

架构亮点与底层机制

1. 解耦特征尺度控制与噪声依赖调制（Decoupled Feature & Noise Control）：

• 在骨干网络层与 Query/Key 注意力前置引入独立 RMSNorm，将文本特征本身的数值稳定性与扩散时间步的噪声注入解耦；同时展宽噪声条件向量维度（Condition Width 从 128 提升至 256），避免高噪声强度下语义表征被淹没；

1. 词表头残差路径截断与可学习边界校准（Shortcut Detachment & Bounded Calibration）：

• 针对连续隐向量向离散词表映射时的快捷通道（Shortcut），在反向传播时对其正向贡献与 Codebook 梯度进行显式解耦阻断，避免自条件反馈污染初始嵌入先验；

1. 置信度门控训练自条件引导（Confidence-Gated Self-Conditioning）：

• 训练期间引入基于信息熵的置信度门控，仅对高置信度隐状态进行自条件注入（Bootstrap），而在推理期直接使用无加权后验均值估计，兼顾采样稳定性与文本多样性。

权威 Benchmark 与实测跑分对比

在 OpenWebText 1024 Token 无条件长文本生成基准 上对两种主流 CDLM 公式进行了全面评估：

• LangFlow 架构适配：
• 在 1024 步扩散（NFE）下，生成困惑度（GenPPL ↓）达到 21.72（刷新同类模型纪录）；
• 在仅 128 步快速采样（NFE）下，保持 44.72 GenPPL 的稳定可用水平；
• Plaid 架构适配（Table 2）：
• 将 LangDiT 的组件移植至 Plaid 架构后，在 1024 步采样下创下 11.33 GenPPL 的历史最佳纪录；
• 在 128 步低延迟采样下，GenPPL 达到 27.51，在保持原有隐空间表征与训练目标完全不变的情况下，纯靠架构改良实现了生成质量质的飞跃。

开发者实战落地与开箱指南

• 论文与技术细节：完整推导与消融实验详见 arXiv:2610.22330。
• 工程选型启示：探索非自回归并行大模型、实时语音/文本联合扩散生成的工程团队，应避免直接使用标准 LLaMA 或 DiT 仓库改写；引入 LangDiT 的 Q/K RMSNorm 与词表头梯度解耦策略，是稳定连续语言扩散训练并压低生成困惑度的关键基础设施。