Dust：不用反向传播也能预训练 Transformer——Q Labs 零阶方法在小规模上追平甚至超过 backprop，比权重空间 ES 高效 10³–10⁴ 倍，代码 MIT 开源

核心背景与行业痛点

从 1986 年至今，训练神经网络几乎只有反向传播一条路：架构、优化器和硬件都围绕「可微 + 一阶梯度」共同演化。零阶方法（只做前向、靠扰动估计梯度）一直被认为无法扩展到大网络，因为估计方差随维度增长。Q Labs 的 Dust 想证明：算力足够时，基于搜索的信用分配可以在最难的任务——Transformer 预训练——上与 backprop 竞争。

架构亮点与底层机制

Dust 不扰动权重，而是在每个线性层输出、每个 token 上独立加高斯噪声，以该 token 的损失变化作为奖励，种群平均后得到输出误差估计，再与层输入做外积得到权重梯度。于是一次前向就评估了「每个 token 一个成员」的虚拟种群，比权重空间 ES 大至少三个数量级。注意力内部（Q/K/V 等）通过注意力输出的估计误差打分，K/V 还接收未来 token 的衰减信用；不同层类型分开前向以减少干扰。

权威 Benchmark 与实测跑分对比

论文自报（8 层、宽 512 的 GPT 式模型，FineWeb，SGD，三种子）：100k 与 1M token 下 Dust 低于调优 backprop；20M token 外推极限 4.431 vs backprop 4.633；相对 EGGROLL 效率约 10³–10⁴ 倍；最大 243M 参数。尚无独立复现，且规模远小于生产级预训练。

开发者实战落地与开箱指南

qlabs-eng/dust 提供最小实现：python prepare_data.py 从 Hugging Face 流式准备 FineWeb，torchrun --nproc_per_node=8 dust.py --tokens 1M 复现主实验，baselines/backprop.py 是同模型对照。需 Linux、Python 3.10+、支持 bf16 的 NVIDIA GPU。现阶段更适合研究不可微架构、循环/展开计算等 backprop 难训的方向。