Unsloth 发布 DeepSeek-V4.1-Flash-1017 动态 GGUF:1-bit 版 250GB、128GB+ 内存可本地跑,Engram 表可放 SSD
Unsloth 于 10 月 19 日(UTC)发布 DeepSeek-V4.1-Flash-1017 的动态 GGUF 量化与本地运行指南。按 Unsloth 口径,1-bit UD-IQ1_M 体积 250.4GB(无损 Q8 为 508.4GB),在 long17k 上与官方权重 top-1 一致率 88.2%,可在 128GB+ 内存设备上运行;模型的 Engram n-gram 表(110.6–202.8GB)可通过 mmap 留在 SSD 按需读取。目前需用 Unsloth 的 llama.cpp 分支或 Unsloth Desktop 运行。

核心要点速览
- 1-bit UD-IQ1_M 250.4GB,较无损 UD-Q8_K_XL(508.4GB)缩小约 51%;long17k top-1 一致率 88.2%、wiki1100 为 87.1%(Unsloth 指南,厂商口径)
- 最小的 UD-IQ1_S 为 233.0GB,适配 128GB 内存设备(如 Mac、DGX Spark),top-1 一致率 82.8%–85.1%;3-bit UD-IQ3_XXS 需约 256GB(如 Mac Studio),一致率 94.6%–95.1%
- 模型由 552B 主干加 196B Engram 参数组成,Engram n-gram 表 110.6–202.8GB 可经 mmap 留在 SSD 按需加载,省内存但不省磁盘
- Unsloth 称其基于 llama.cpp 的实现比其他 CPU/显存/ngram 方案推理快约 3 倍(厂商口径,未见第三方复测)
- HF 仓库 为 MIT 许可,提供 IQ1_S 到 Q8_K_XL 共 9 档量化,另附可单独替换精度的 Engram 文件