MiaAI Lab(@MiaAI_lab)为 GLM-5.3-Flash EXL3 增加 TP=3 路径,可在三台 DGX Spark 上运行:相对 TP=2 解码速度 +28%、prefill +9%,并给出 3.2M KV cache 与 1M 上下文;另可选从头节点经 NFS 共享权重(NFS_SHARE=1),释放其余节点磁盘。仓库:github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks。

核心要点速览

  • ✓新增 TP=3:三台 DGX Spark 跑 GLM-5.3-Flash EXL3。
  • ✓相对 TP=2:解码 +28%、prefill +9%;3.2M KV / 1M 上下文。
  • ✓可选 NFS_SHARE=1 从头节点加载权重,释放其余节点空间。
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读llama.cpp v0.6.0 稳定版发布:正式纳入 GLM-5.3-Flash(320B)与 Qwen4Exp MTP 投机解码,新 llama_batch_ext API,Apple GPU 小批量矩阵乘最高约 3 倍
立即阅读→