LM Studio 宣布与 Inco 合作，在发布首日就把 Splash 推理引擎接入 LM Studio。官方称在 M5 Max 上运行 Qwen3.8-27B 可达约 144 tok/s，并给出安装指引（lmstudio.ai/blog/splash-engine）。此前 Inco 已开源 Splash；此次意味着本地桌面用户可在 LM Studio 内直接用上该 Apple 硅优化引擎，而不必单独拼装推理栈。
一键应用到您的开发环境与预算测算
MiaAI Lab（@MiaAI_lab）为 GLM-5.3-Flash EXL3 增加 TP=3 路径，可在三台 DGX Spark 上运行：相对 TP=2 解码速度 +28%、prefill +9%，并给出 3.2M KV cache 与 1M 上下文；另可选从头节点经 NFS 共享权重（NFS_SHARE=1），释放其余节点磁盘。仓库：github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks。
开源项目 magnitudedev/magnitude（Apache-2.0，约 3.1k stars）是本地推理服务：剖析本机硬件、推荐合适本地模型，再下载、调优并运行；可接到 Codex、Claude Code、Cline、Hermes。模型按需加载，内存紧张时自动卸载，便于在已有编码智能体里用本地模型。
Unsloth 宣布优化后的本地 GGUF 解码使 GLM-5.3-Flash 推理最高提速约 3.3 倍（常见场景约 1.6–3.4×），并启用多 token 预测（MTP）与更快的长上下文解码。3-bit 量化可在约 128GB 内存设备上通过 Unsloth Desktop 或 llama.cpp 运行，配套文档与 Hugging Face GGUF 权重已更新。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察