印度 AI 公司 Sarvam 在 X 和官方博客宣布 Sarvam Token Factory 向所有人开放:用位于印度的 GPU 集群托管自家 Sarvam 105B 以及 GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro、Gemma 4 31B,统一走 OpenAI 兼容 API。官方称多数模型在速度和成本上追平或超过全球主流推理商,DeepSeek V4.1 Flash 首发价每百万 token 输入 14 卢比、输出 55 卢比。

核心要点速览

  • ✓一个 OpenAI 兼容 API 接入 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3.1 Pro、Gemma 4 31B 等,算力在印度本土
  • ✓DeepSeek V4.1 Flash 分两个端点:面向编程 Agent 的 Interactive 约 200 token/秒/用户(输入 25 / 输出 105 卢比每百万 token),Standard 输入 14 / 输出 55 卢比
  • ✓官方实测:Sarvam 105B 首 token 0.2 秒、单用户 330 token/秒;Gemma 4 31B 在 10K 提示下首 token 0.40 秒,比唯一另一家提供商快 5 倍
  • ✓Kimi K3.1 Pro 在编程任务上每 GPU 吞吐最高为 InferenceX 公开结果的 1.9 倍;DeepSeek V4.1 Flash 每天服务 4500 亿+ token,95.7% 提示 token 命中缓存
  • ✓运营印度最大的 B200 集群,同一推理栈也可为企业本地部署,主打数据驻留和无锁定
Sarvam Token Factory 全面开放:印度本土 GPU 托管开源模型推理,一个 OpenAI 兼容 API 接入 DeepSeek V4.1 Flash、Kimi K3.1 Pro、GLM 5.3
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

印度企业调用开源大模型多走海外推理商,数据驻留、延迟和成本都是问题。Sarvam 在 X 上发布(1.7 千多点赞)并在官方博客宣布 Sarvam Token Factory 向所有人开放。

架构亮点与底层机制

Token Factory 是 Sarvam 自建的推理栈,用印度本土 GPU 集群托管自家 Sarvam 105B,以及 GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro、Gemma 4 31B,统一走 OpenAI 兼容 API。官方称做了三级缓存和缓存感知路由。

权威 Benchmark 与实测跑分对比

以下均为 Sarvam 自测:Sarvam 105B 首 token 0.2 秒、单用户 330 token/秒;Gemma 4 31B 在 10K 提示下首 token 0.40 秒,比唯一另一家提供商快 5 倍;Kimi K3.1 Pro 每 GPU 吞吐最高为 InferenceX 公开结果的 1.9 倍。

开发者实战落地与开箱指南

今天起开发者和企业即可使用。DeepSeek V4.1 Flash 的 Interactive 端点约 200 token/秒/用户,适合编程 Agent,每百万 token 输入 25、输出 105 卢比;Standard 端点输入 14、输出 55 卢比。用 OpenAI SDK 的项目换 base URL 和 key 即可接入。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读llama.cpp 与 ggml 正式发布 v1.0.0:3.5 年来首个大版本,C API 改用语义化版本、破坏性变更必升主版本;同时移除 35 个废弃函数,新增 FP8 KV 缓存、MoE 专家缓存与 /v1/audio/speech
立即阅读→