微软 Foundry 团队于 2026-11-05 发博:Foundry Local CLI ≥0.13.0 可用 ONNX Runtime 在本机跑 4bit Qwen3.8-27B(权重约 18GB),经 Bring Your Own Key 接到 GitHub Copilot。需 NVIDIA ≥24GB 显存(24GB 时上下文约 64K;≥32GB 可达模型上限 262K)。官方引用模型卡口径 Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7;并称在 RTX 5090 / DGX Spark 上生成速度优于同量化的 llama.cpp。Mac/AMD 尚在路线图。

核心要点速览

  • ✓形态:Foundry Local ≥0.13.0 + 4bit Qwen3.8-27B(约 18GB 权重),经 BYOK 接 GitHub Copilot App
  • ✓硬件:NVIDIA ≥24GB 显存;24GB→约 64K 上下文,≥32GB→可达 262K;需自装 CUDA/cuDNN
  • ✓官方引用跑分(模型卡口径,非 4bit 复测):Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7、NL2Repo-Bench 42.3、DeepSWE 1.1 42.2
  • ✓推理栈:ONNX Runtime + DFlash2 推测解码 + INT4/KV 量化 + 前缀缓存;厂商称长上下文相对 llama.cpp 优势更大
  • ✓边界:微软承认复杂推理仍宜云端;Mac/AMD 未上线;Copilot CLI 本地模型≠自动离线,需另开 COPILOT_OFFLINE
微软 Foundry Local 接 GitHub Copilot:本地跑 Qwen3.8-27B 做编码 Agent,约 24GB 显存即可,厂商口径 Terminal-Bench 2.1 约 73.0
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

云端编码 Agent 按 Token 计费、代码出网、断网即停;本地 27B 又常卡显存与长仓库吞吐。微软想让日常改代码留本机,难题再回云端。

架构亮点与底层机制

Foundry Local ≥0.13.0 用 ONNX Runtime 跑 4bit Qwen3.8-27B(权重约 18GB):DFlash2 推测解码、INT4/KV 量化、前缀缓存。24GB 显存约 64K 上下文,≥32GB 可冲向 262K。Copilot App 经 BYOK 指向本机 endpoint。

权威 Benchmark 与实测跑分对比

博文表格为模型卡口径:Terminal-Bench 2.1 73.0、SWE-bench Pro 61.7、NL2Repo 42.3、DeepSWE 42.2,非 4bit 复测。微软自测称同量化下 RTX 5090 / DGX Spark 快于 llama.cpp,超约 131K 后优势更大;并承认复杂推理仍宜云端。

开发者实战落地与开箱指南

winget install Microsoft.FoundryLocal → foundry model load qwen3.8-27b → Copilot 填 Base URL。适合隐私/离线日常编码;大重构仍用云端。上线前确认遥测与 COPILOT_OFFLINE,并自测量化后工具调用。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Memdoor 复现 GVS5H:5 个 Qwen3.8-27B 组队在 LiveCodeBench Hard 前 10 题均分 9.8/10,高于 Fable 5 单次调用的 8.0
立即阅读→