Langfuse 推出开源 AI Gateway 公测：Rust 编写、22MB 镜像，改一个 base URL 就能按人、按 Key、按模型统计 Claude Code 和 Codex 的花费

核心背景与行业痛点

企业里的 AI 用量早已不是一个团队做一个聊天机器人：每个工程师电脑上都有 Claude Code 或 Codex，各部门用着自己的助手和脚本。平台团队要回答「谁在用哪个模型、干什么、花多少钱」，但这些工具大多没人埋点；厂商密钥也常被直接发给个人，离职后难以回收。Langfuse 11 月 9 日（changelog 日期为 11 月 4 日）宣布 AI Gateway 公测，想把所有模型调用收口到一个入口。

架构亮点与底层机制

管理员在 Langfuse 里保存 OpenAI、Anthropic 的厂商凭证，勾选允许调用的模型，再给成员发网关 Key。用户 Key 随人员离开组织自动失效，CI 可用服务账号 Key；Key 可设过期时间、即时吊销，还能附带 team、cost_center 等元数据，客户端无法篡改。网关原样转发请求，每次调用记录为一条 generation，可选「Full」（含输入输出）或「Usage」（只记用量和成本）。和只统计 token 的独立网关不同，这些记录就是普通 Langfuse trace，可直接用于搜索、评测和标注。

权威 Benchmark 与实测跑分对比

官方给出的性能数字（官方/厂商口径）：开启追踪时中位延迟低于 3ms，单台 2 vCPU 节点支撑 1000 多个并发流，内存随负载线性增长。尚无第三方压测公布，也没有与 LiteLLM、Portkey 等网关的对比数据。公测期只支持 OpenAI 和 Anthropic，路由、header 仍可能变动。

开发者实战落地与开箱指南

管理员在 Organization settings → AI Gateway 完成配置后，成员把 OpenAI SDK 的 base_url 改为所在区域的网关地址（如 gateway.cloud.langfuse.com/openai/），并用网关 Key 替换厂商 Key 即可。Claude Code、Codex、Copilot CLI、OpenCode、pi 都有现成接入文档。受监管行业可在内网自托管 22MB 镜像；如果涉及隐私，默认只记录元数据和成本，确有需要再开启完整日志。后续路线图包括按团队设置支出上限、跨厂商故障切换、PII 脱敏和自动模型路由。