MLX-LM-LoRA v5.8.6：Apple Silicon 本地微调库从 3.1.3 跃升，新增 DSLA 偏好对齐与无 Critic 的 KLPO 强化学习

核心背景与行业痛点

在 Mac 上做本地微调，过去大多停留在 SFT/LoRA；偏好对齐和强化学习（DPO、GRPO、PPO 等）往往要搬到 NVIDIA 集群上跑。MLX-LM-LoRA 是基于 Apple MLX 的训练库，目标是在 Apple Silicon 上直接跑完整的后训练流程。10 月 5 日发布的 v5.8.6 是 9 月 16 日 v3.1.3 之后的首个版本，版本号一次跨过 4.x。

架构亮点与底层机制

• DSLA：在偏好目标之外加入 prompt-response 相似度与 batch 方向的隐空间监督，可选 DPO、ORPO 或 CPO；DSLA-DPO 使用冻结参考模型，ORPO/CPO 版本无需参考模型。
• KLPO：每个 prompt 采样一条完整回答，用终局奖励和采样器条件 KL 记录训练，支持 token 与 sequence 两种回归路线，以及 MC、binary、top-k、full 四种 KL 估计器；实现来自 KLPO 原始仓库。
• 在线训练省显存：Online DPO、XPO、RLHF REINFORCE、PPO 加入微批处理和共享工具，GRPO 打分更稳定。
• 循环模型提速：兼容的 MLX 版本上为 gated-delta 层提供快速 VJP，不可用时回退到检查点实现。

权威 Benchmark 与实测跑分对比

Release 说明和 README 没有公布训练速度、显存或下游任务的对比数字，本文不做推测。可核实的硬指标只有依赖门槛：mlx>=0.32.3、mlx_lm>=0.32.0、Python >=3.11。效果请在自己的模型和数据上实测。

开发者实战落地与开箱指南

升级：pip install -U mlx-lm-lora（PyPI 5.8.6）。DSLA 示例：mlx_lm_lora.train --model <model> --train --train-mode dsla --dsla-loss orpo --data <偏好数据>，数据沿用 prompt/chosen/rejected 格式。KLPO 示例：--train-mode klpo --klpo-route token --klpo-kl-estimator mc，数据为 prompt/answer。QAT 现已支持 DSLA。完整参数和 Python API 见 文档站，改动对比见 v3.1.3...v5.8.6。