Reflection 公开 Beam 156 页技术报告:23.8T Token 预训练、10.5K 张 GB300 跑 4 周异步 RL,NVFP4 保留约 99% 分数
2026-11-06 Reflection 官方账号发布 Beam 模型技术报告(156 页 PDF),完整披露这款 501.3B/23.4B 激活 MoE 开源模型的训练方法:23.8T Token 预训练、6,144 张 GB300 不到 4 周完成,后训练在约 10.5K 张 GB300 上跑 4 周、生成超 1 亿条 rollout 的全异步 RL。报告称 FP8/NVFP4 量化分别保留 99.93%/98.98% 的中位分数,1.93B 草稿模型 DFlash 2 单请求解码提速 1.96–3.03 倍(均为厂商口径)。

核心要点速览
- 规模:501.3B 总参 / 23.4B 激活,52 层、256 专家/层、每 token 激活 8 个,词表 151,936
- 预训练:23.8T Token,6,144 张 GB300 不到 4 周,后期 goodput 92.3%、稳态 MFU 21%
- RL:约 10.5K 张 GB300 跑 4 周,超 1 亿条 rollout、11 万并发、12 秒权重更新,报告称随 RL 算力增加能力仍未见平台期
- 部署:FP8 / NVFP4 保留 99.93% / 98.98% 中位分数;DFlash 2 单请求解码提速 1.96–3.03 倍
- 安全:自研 ISE 中有害请求拒绝/转向率 88.9%、无害请求配合率 81.5%,四类系统性风险均评为 Limited




