Omarchy 本地模型引擎 omarchy-local-ai 0.5.0 发布：64 GB 机器默认推荐 Nemotron 3.5 Bolt，DHH 称 Omarchy 4.6 将按硬件自动推荐最佳本地模型

核心背景与行业痛点

本地跑编码 Agent，最难的往往不是模型本身，而是「我这台机器该跑哪个模型、用哪个推理引擎、开多大上下文」。DHH 主导的 Arch 系 Linux 发行版 Omarchy 想把这件事做成一条命令。11 月 1 日合并的 PR #17267 加入 omarchy agent local use best：按显卡家族和内存档位，从策展过的「配方」目录里挑一个开源模型，装好后出现在 Agents 面板里，和 Claude、Codex 订阅并排。11 月 9 日 DHH 在 X 上说，Omarchy 4.6 会把这件事变得「轻而易举」，截图里是 AMD AI 软件副总裁 Anush Elangovan 本月初送他的 Ryzen AI Max+ 495 机器，本地 Qwen3.8 Flash Next 占用 94 GiB。

架构亮点与底层机制

引擎和配方目录打包为 omarchy-local-ai，随 omarchy update 更新，运行时不联网拉目录。每个配方用摘要锁定运行时镜像、用 revision 锁定 Hugging Face 权重并校验哈希，记录各上下文档位的实测内存峰值。模型跑在 rootless Podman 容器中：内部网络无外网、只读根文件系统、去掉全部 capabilities、API key 走 Podman secret，启动后还会检查服务拒绝未鉴权请求。运行时同时提供 Chat Completions、Responses 和 Anthropic Messages 三种接口。v0.5.0 新增 64 GB GB10 级支持，修复 Bolt 镜像在页缓存占满后拒绝 4,096 token 以上请求的问题，并支持 use --detach 后台下载。

权威 Benchmark 与实测跑分对比

以下均为项目方在自家硬件上的实测，非第三方评测。Ryzen AI Max+ 395 / 128 GB：Flash Next 首版峰值约 99 GiB，32K 提示预填 1,607 tok/s、解码 41.3 tok/s；v0.3.0 换到 Gufo 0.28.1 后解码 47.5 tok/s，代码编辑 105 tok/s。Qwen3.8 27B 改 4-bit 后 20.7 tok/s、40 GiB。64 GB GB10 上 Nemotron 3.5 Bolt 短提示 91 tok/s、32K 提示 82 tok/s。DHH 那台 495 / 192 GB 机器的速度，官方未公布。

开发者实战落地与开箱指南

已在 Omarchy 上的用户可运行 omarchy agent local use best，或用 omarchy agent --local 让 OpenCode / pi 直接接本地模型；其他 Agent 可连本地端口的三种 API。目前推荐表只覆盖 Strix Halo 128 GB 和 GB10/N1x 64/128 GB 三档，普通笔记本暂无配方，回复区也在追问小内存机器怎么办、能否显示预期 tok/s。引擎会给桌面预留 8 GiB 内存。Omarchy 4.6 的发布日期尚未公布。