Together 在 DeepSWE 上对 GLM-5.3 与 GLM-5.3 Flash 做了约 900 次 rollout:全量 pass@1 为 69.0%、单次约 3.99 美元,Flash 为 63.4%、约 0.24 美元,成本约低 17 倍。蒸馏主要掉的是一次成功率而非能力上限,pass@4 差距收至 2.6 个百分点;先跑 Flash、测试失败再升级全量的级联达到 80.9%、约 1.70 美元/任务。对编码智能体,默认 Flash、用测试门控升级,比只跑全量更便宜且覆盖更高,但 Flash 破坏已通过基线测试的比例为 6.9% 对 4.4%,合并前仍需回归。
核心要点速览 (Key Takeaways)
- ✓DeepSWE 上 GLM-5.3 pass@1 69.0% / 约 3.99 美元,Flash 63.4% / 约 0.24 美元,单价约低 17 倍。
- ✓Flash 先行、失败再升级全量的级联为 80.9%、约 1.70 美元/任务,优于只跑全量。
- ✓Flash 破坏已通过基线测试的比例更高(6.9% 对 4.4%),生产路径需加回归门控。