通义千问官方确认,125B 多模态 MoE 模型 Qwen3.8-Flash-Next 已可通过 Unsloth GGUF 在约 75GB 内存上本地运行,并支持把 N-gram 嵌入放到 CPU/统一内存以接近显存速度。这是 Qwen4 架构预览权重的首日本地部署路径。
核心要点速览
- ✓125B MoE(每 token 激活 6B,另有 51B N-gram 嵌入)可在约 75GB RAM 上本地推理,无需整模装进 GPU 显存
- ✓Unsloth 提供 Day-0 GGUF 与 Qwen3.8-Flash-Next 指南,CPU RAM / 统一内存路径可接近显存吞吐
- ✓官方权重同步在 Hugging Face / ModelScope;vLLM 与 SGLang 已提供 NVIDIA 与 AMD Day-0 服务支持
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察