LiteLLM 开源自托管云端编程 Agent Moyai：替代 Devin 后 31 天账单从 10.19 万美元降到约 2.17 万美元（-79%）

核心背景与行业痛点

云端后台编程 Agent（Devin、Codex Cloud 一类）按席位和会话计费，模型与路由都由厂商决定。LiteLLM 在发布博客里自曝：仅内部使用，Devin 单月账单就到了 $101,872。他们本身就运营一个能路由 100+ 供应商的网关，于是决定只为推理付费、不再为席位付费，自建了 Moyai，并在 10 月 7 日把生产同款代码开源到 BerriAI/moyai。

架构亮点与底层机制

• 持久化云会话：每个任务拿到独立工作区（终端 + 文件系统 + 浏览器），Agent 改代码、跑测试、准备 PR，全程不碰本地笔记本；可中途发更正，第二天在 Slack 里接着聊，大任务可拆给并行 worker 再合并。
• Harness 可插拔：默认 Claude Agent SDK（开 prompt caching），也可逐会话切到 Hermes、Codex、OpenCode、Deep Agents、Tool Loop，见 harness 文档；新增 harness 只是注册表加一项。
• 模型层统一走 LiteLLM：会话中可在 GPT-6 Astra、Claude Opus 5.5、GLM-5.3 间切换，花费按成员归属；供应商密钥只在服务端，沙箱拿不到，边界说明见 security-and-scope。

权威 Benchmark 与实测跑分对比

目前没有公开的 SWE-bench 类任务成功率数据。唯一公开数字是成本：同一 31 天窗口，Devin 累计 $101,872，Moyai 约 $21,700（约 $700/天），官方称省 79%（约 $80,172），且是“同等产出”的自报口径，未经第三方核验。

开发者实战落地与开箱指南

git clone https://github.com/BerriAI/moyai.git 后 uv sync --frozen，复制 .env.example，本地 demo 无需 API key 即可预览 UI。生产部署默认跑在 Modal 上，需要 Python 3.12+、uv 和一个启用目标模型的 LiteLLM 网关，再执行 uv run python deploy_modal.py，之后可接 GitHub、Slack、Linear、Notion。提醒两点：部署即开始计费，关浏览器不会停算力；截至发稿仓库约 58 star，GitHub 未检测到 LICENSE 文件，商用前请先确认授权条款。