Hugging Face TRL 1.14.0：DPO/KTO/GRPO 改走分块 log-prob，修 DDP 梯度未 all-reduce；H100 上峰值显存可降 31%

核心背景与行业痛点

后训练栈（DPO / KTO / GRPO）既要省显存，又要保证损失公式与分布式语义正确。TRL v1.13 把 Liger chunked_loss 厂商到 trl.losses 后出现双份公式漂移：GRPO grad_norm 不一致、KTO 在 PEFT 下忽略参考模型、DPO label_smoothing 被静默丢掉；更严重的是 plain DDP 下 fused path 在 unwrap 模型上算 loss，各 rank 梯度互不 all-reduce——这是静默训练错误，比「慢一点」更危险。

架构亮点与底层机制

v1.14.0（2026-09-25）删除 trl.losses：各 trainer 统一走 backbone → _ChunkedLogProbFunction → 既有 loss，只流式取选中 token 的 log-prob，仍不物化完整 logits。use_liger_kernel=True 继续启用 Liger 模型核，但 DPO/KTO/GRPO 的 loss 改走 TRL chunked path。内置 trl.kernels Triton 融合 logprob+entropy（CUDA/ROCm/XPU 默认开启）。同时删除 6 个低使用 experimental trainer，并写明 experimental 退出准则。

权威 Benchmark 与实测跑分对比

官方单卡 H100、Qwen3-0.6B、bs=4、seq 512：v1.13 fused inline-ref 0.2243s / 7.05GB；v1.14 chunked + precompute_ref_log_probs=True 0.1971s（−12.1%）/ 4.83GB（−31%）——该配置此前被 fused path 直接拒绝。内核微基准（bf16，V=151936，H=4096，8192 tokens）：selective_log_softmax+entropy_from_logits 12.8ms / 2.32GiB → 融合核 0.89ms（约 14×）。

开发者实战落地与开箱指南

执行 pip install -U trl==1.14.0。迁移时去掉 from trl.losses import FusedLinear*；需要省显存时打开 precompute_ref_log_probs=True。仍拒绝的组合见发行说明。vLLM 额外依赖支持窗改为 >=0.20.0,<=0.30.0。文档：huggingface.co/docs/trl。