Thinking Machines 兑现承诺开源 Inkling 2 Small：594B 总参 / 17B 激活 MoE 权重上架 Hugging Face，Apache 2.0 可商用，原生 NVFP4 两张 B300 即可跑，SGLang、vLLM、Cloudflare 等首日支持

核心背景与行业痛点

11 月 5 日，Mira Murati 创办的 Thinking Machines Lab 发布第二代首款模型 Inkling 2 Small，当时只能在自家 Tinker 平台上调用和微调，并表示完成外部安全测试后会以 Apache 2.0 开源权重。一周后承诺兑现。过去一年美国实验室的开源权重模型在规模和能力上普遍落后于中国厂商，这次一家前沿实验室把接近 6000 亿参数的多模态模型完整放出，社区不少人称之为目前最强的美国开源模型（社区说法，非官方排名）。模型卡的安全章节写明，团队做了 CBRN、网络安全、失控风险等内外部测试，结论是相比现有开源生态「没有带来实质性的能力提升风险」。

架构亮点与底层机制

据模型卡，Inkling 2 Small 是 48 层的解码器 Transformer，前馈层为稀疏 MoE：384 个专家里每个 token 只激活 8 个，总参 594B、激活 17B（Cloudflare 页面写作 18B，以模型卡为准）。注意力混合使用局部层和全局层，图像经视觉 Transformer 编码后与文本投影到同一隐空间联合处理，支持 100 万 token 上下文。最特别的是精度：模型从预训练、中训练到后训练全程使用 NVFP4，因此 NVFP4 就是原生精度，主权重约 394GB。官方也提供 MXFP8 版本，但称其评测只高 1–2 个百分点，实际用途中没有意义。

权威 Benchmark 与实测跑分对比

以下均为模型卡中的厂商口径数据。第三方指数方面，Artificial Analysis Intelligence Index v5.0 为 30.6，Vals Index v2.2 为 56.1%。编码方面，DeepSWE v1.1 为 72.1%，FrontierCode v2.0 为 25.4%，SWE-Atlas v1.1 为 61.9%。搜索与工具方面，BrowseComp 为 90.2%，MCP Atlas 为 85.4%。同表对比中，DeepSeek-V4.1-Flash 的 AA Index（32.6）和 DeepSWE（77.0%）仍高于 Inkling 2 Small，闭源的 Claude Haiku 5.5 在 AA Index 上达 36.5，Inkling 的优势主要在 BrowseComp、JobBench（70.5%）和企业运营类任务。SGLang 官方称在 NVIDIA Vera Rubin 上单用户批量 1 可达每秒 576 token（推理框架方口径）。

开发者实战落地与开箱指南

自建部署：从 Hugging Face 下载 NVFP4 权重，按 SGLang 或 vLLM 官方 recipe 启动，至少准备 2 张 B300 或 4 张 H200；Unsloth 和 TokenSpeed 也有对应方案。想继续训练可用 Tinker、Miles、SkyRL 或 Snowflake Cortex Training。不想自己运维的话，Cloudflare Workers AI 用 @cf/thinkingmachines/inkling-2-small 调用，需要 Workers 付费计划，价格为每百万 token 输入 0.30 美元、输出 1.00 美元、缓存输入 0.10 美元；OpenRouter 同价并提供限免版本，Together、Baseten、Nebius、Modal、Fireworks、NVIDIA 也已上线。使用前请阅读官方的可接受使用政策。