港大 Dream 团队创立的 DiffuSpace 开源 Clover-35B-A3B 扩散语言模型：单卡 680 tokens/s，SWE-bench Verified 73.6

核心背景与行业痛点

今天几乎所有主流大模型都是自回归的，一次只生成一个 token。对 Agent 来说，每一步决策都要等模型把整段输出「逐字蹦完」，延迟会沿着任务链路不断累积。扩散语言模型（dLLM）换了一种思路：先放一块被遮住的 token，再并行地反复修正，理论上能大幅提速。问题在于，过去开源的扩散模型规模小、能力弱，很难进入真实生产。2025 年 4 月港大 NLP 实验室发布 Dream 7B，证明扩散模型能在小尺寸上和自回归模型正面竞争；10 月 28 日，团队成员创立的扩散智能 DiffuSpace 发布首个模型 Clover-35B-A3B-Preview，想回答的是更大规模下扩散模型还能不能保持竞争力和速度优势。

架构亮点与底层机制

Clover 由 Qwen3.6-35B-A3B 初始化，保留其门控 Delta 网络（GDN）与全注意力混合的 MoE 骨干：40 层、256 个路由专家、每 token 选 8 个，外加 1 个共享专家，总参 35B、激活约 3B，上下文 128K。生成时按块进行（默认块大小 32），块内先全部遮住，置信度超过阈值（默认 0.95）的位置并行填上，一块完成后变成下一块的前缀。团队为此重做了双向 GDN：已生成的上下文用 GDN 的递归状态压缩，当前块内 token 用双向 Softmax 注意力交互，并加入可学习的块大小校准和零初始化的右侧卷积分支。去噪时还能让同一块内的 token 共用一部分专家，减少激活的专家数量。

权威 Benchmark 与实测跑分对比

以下均为官方口径，目前暂无第三方独立复测。Agent 类六项评测中，Clover 称全部取得所列模型最高分：SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3，对比对象包括扩散模型 LLaDA2.2 flash、Mercury 2.5，以及同尺寸自回归模型 Qwen3.6-35B-A3B 和 Qwen3.5-35B-A3B。通用能力上 GPQA Diamond 83.8、ZebraLogic 95.8、AA-LCR 72.0、MMLU-Pro 84.8。速度方面，单张 NVIDIA GB300、BF16、batch size 1 下，内部 Agent 场景整体生成速度 680 tokens/s；单张 H200 上为 515 tokens/s，而用 DFlash2 加速的同规模 Qwen 为 365 tokens/s。在 WebMCP 的 49 项任务评测里，Agent 执行耗时中位数 1.52 秒。社区里也有人提问：既然从 Qwen3.6 初始化，Agent 能力的提升有多少来自扩散解码本身、多少来自额外的后训练，官方尚未拆分说明。

开发者实战落地与开箱指南

权重采用 Apache 2.0，已在 Hugging Face、ModelScope 和 GitHub 发布。用 Transformers 运行需要 trust_remote_code，BF16 权重约 69GB，单卡需要足够显存；官方推荐用自家的 SGLang 实现做服务和评测，GitHub 仓库还提供 llama.cpp 版本和自投机解码。端侧方面，INT4 量化版能在 16GB 显存的 RTX 5070 Ti 上跑，MATH-500 生成速度 101.8 tokens/s。模型卡提示超长生成可能重复，默认已配置重复惩罚和结束偏置。团队表示决策模型、Agent 运行框架和桌面编程客户端会在后续发布，在线体验需在 diffuspace.ai 申请。