Inworld Inference 全面开放：专为消费级 AI 打造的开源模型推理 API，Gemma 4 26B p95 首 token 比 OpenRouter 中位供应商快 7.8 倍

核心背景与行业痛点

大厂和多数推理商都在押注企业与编程场景，但消费级 AI（陪伴、家教、语音助手、互动小说）的约束正好相反：每一轮都要重发整段对话历史，Inworld 统计其服务的应用中位提示长度是回复的 13–36 倍；一次用户操作还会扇出安全审核、意图分类、记忆读写等约 20 次调用；用户月付 5–20 美元甚至免费，每次调用都必须极便宜。Inworld Inference 即为此而建，10 月 14 日向所有开发者开放。

架构亮点与底层机制

不追求模型数量，而是为每个开源模型单独做推理构建：草稿模型先写若干 token、主模型一次前向验证的投机解码（输出分布不变，见 Leviathan 等论文）；把 Gemma 4 26B 的验证步改走 split-KV 注意力 kernel；KV 感知路由按“前缀命中量 × 副本负载”打分，把每轮对话送回持有其缓存的副本；MLP 用 NVFP4、注意力与 KV 保持 FP8，且每个构建必须在 MATH、MMLU-Pro、GSM8K 上不低于旧版才上线。

权威 Benchmark 与实测跑分对比

以下均为厂商口径：Gemma 4 26B p95 首 token 0.31 秒，对比 OpenRouter 中位供应商 2.42 秒（快 7.8 倍）；验证注意力单层快 3.4–7.5 倍，p50 TTFT 154→117 ms；GLM 5.3 Flash 缓存命中 25%→47%，30 天 2000 万+请求仅 98 次失败。官方注明 OpenRouter 数据为快照，并非同负载对比。

开发者实战落地与开箱指南

API 兼容 OpenAI SDK：base_url 设为 https://api.inworld.ai/v1，模型如 inworld/models/gemma-4-26b-a4b-it。用 service_tier 按请求选档：后台摘要用 Flex（忙时快速失败且不计费），实时回复用 Fast；配置 fallback.ttft_timeout 可在首 token 超时后自动切备用模型。价格与模型列表见 Models，接入文档见 Inworld Docs。