微软 Foundry 团队于 2026-11-05 发博:Foundry Local CLI ≥0.13.0 可用 ONNX Runtime 在本机跑 4bit Qwen3.8-27B(权重约 18GB),经 Bring Your Own Key 接到 GitHub Copilot。需 NVIDIA ≥24GB 显存(24GB 时上下文约 64K;≥32GB 可达模型上限 262K)。官方引用模型卡口径 Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7;并称在 RTX 5090 / DGX Spark 上生成速度优于同量化的 llama.cpp。Mac/AMD 尚在路线图。
核心要点速览
- ✓形态:Foundry Local ≥0.13.0 + 4bit Qwen3.8-27B(约 18GB 权重),经 BYOK 接 GitHub Copilot App
- ✓硬件:NVIDIA ≥24GB 显存;24GB→约 64K 上下文,≥32GB→可达 262K;需自装 CUDA/cuDNN
- ✓官方引用跑分(模型卡口径,非 4bit 复测):Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7、NL2Repo-Bench 42.3、DeepSWE 1.1 42.2
- ✓推理栈:ONNX Runtime + DFlash2 推测解码 + INT4/KV 量化 + 前缀缓存;厂商称长上下文相对 llama.cpp 优势更大
- ✓边界:微软承认复杂推理仍宜云端;Mac/AMD 未上线;Copilot CLI 本地模型≠自动离线,需另开 COPILOT_OFFLINE

开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
云端编码 Agent 按 Token 计费、代码出网、断网即停;本地 27B 又常卡显存与长仓库吞吐。微软想让日常改代码留本机,难题再回云端。
架构亮点与底层机制
Foundry Local ≥0.13.0 用 ONNX Runtime 跑 4bit Qwen3.8-27B(权重约 18GB):DFlash2 推测解码、INT4/KV 量化、前缀缓存。24GB 显存约 64K 上下文,≥32GB 可冲向 262K。Copilot App 经 BYOK 指向本机 endpoint。
权威 Benchmark 与实测跑分对比
博文表格为模型卡口径:Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7、NL2Repo 42.3、DeepSWE 42.2,非 4bit 复测。微软自测称同量化下 RTX 5090 / DGX Spark 快于 llama.cpp,超约 131K 后优势更大;并承认复杂推理仍宜云端。
开发者实战落地与开箱指南
winget install Microsoft.FoundryLocal → foundry model load qwen3.8-27b → Copilot 填 Base URL。适合隐私/离线日常编码;大重构仍用云端。上线前确认遥测与 COPILOT_OFFLINE,并自测量化后工具调用。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察