MiaAI Lab(@MiaAI_lab)为 GLM-5.3-Flash EXL3 增加 TP=3 路径,可在三台 DGX Spark 上运行:相对 TP=2 解码速度 +28%、prefill +9%,并给出 3.2M KV cache 与 1M 上下文;另可选从头节点经 NFS 共享权重(NFS_SHARE=1),释放其余节点磁盘。仓库:github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks。

核心要点速览 (Key Takeaways)

  • 新增 TP=3:三台 DGX Spark 跑 GLM-5.3-Flash EXL3。
  • 相对 TP=2:解码 +28%、prefill +9%;3.2M KV / 1M 上下文。
  • 可选 NFS_SHARE=1 从头节点加载权重,释放其余节点空间。
ADSponsored