👀96
🔥78
MLX-LM-LoRA v5.8.6：Apple Silicon 本地微调库从 3.1.3 跃升，新增 DSLA 偏好对齐与无 Critic 的 KLPO 强化学习
Gökdeniz Gülmez 于 10 月 5 日发布 MLX-LM-LoRA v5.8.6（GitHub Release + PyPI 同步上线），这是 3.1.3 之后的大版本。新增 DSLA（可选 DPO/ORPO/CPO 目标）与无 Critic 的 KLPO（token/sequence 两种路线、多种 KL 估计器），改进 GRPO 数值稳定性与 Online DPO/XPO/RLHF/PPO 微批处理，为 gated-delta 层加入快速 VJP。最低依赖升至 mlx>=0.32.3、mlx_lm>=0.32.0、Python>=3.11，许可证统一为 Apache 2.0。
核心要点速览
- 版本跨度：从 v3.1.3（9 月 16 日）直接跳到 v5.8.6，合并 PR #64、#94、#96–#102 共 9 个，见 Release 说明。
- 两种新训练模式：
--train-mode dsla（--dsla-loss dpo|orpo|cpo，默认--latent-weight 0.1）与--train-mode klpo（--klpo-route token|sequence，--klpo-kl-estimator mc|binary|topk|full）。 - KLPO 不使用 GRPO 组归一化、PPO 比率裁剪，也不需要参考模型，复用 GRPO 奖励回调与生成/打分流水线。
- 依赖门槛提高：
mlx>=0.32.3、mlx_lm>=0.32.0、Python>=3.11，旧环境需先升级。 - QAT 扩展到 DSLA；新增 Python API 参考文档，见 官方文档站。
关联模型 / 智能体 / 厂商:
