NVIDIA 为韩国四大开源模型发布 Dynamo 部署配方：A.X K2、K-EXAONE 2.0、Solar Open 2、Motif-3 一键上 B200，官方称推理性能最高 2 倍

核心背景与行业痛点

韩国政府的「AI for All」计划扶持了一批本土基础模型，但几百 B 到七百多 B 参数的 MoE 模型单卡放不下，要拆到多张 GPU 上，请求路由、KV 缓存传输和并行策略都得逐个调，很多团队卡在「模型开源了、却上不了生产」这一步。11 月 9 日 NVIDIA 首尔 AI Day 上，NVIDIA 宣布为 SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2 和 Motif Technologies 的 Motif-3 发布 Dynamo 优化部署配方，同期还宣布与韩国科技部（MSIT）扩大主权 AI 合作。

架构亮点与底层机制

Dynamo 是 NVIDIA 开源的分布式推理服务框架，负责多节点间的请求路由与通信。四套配方都放在 GitHub ai-dynamo/dynamo 的 recipes/ 目录，统一采用 NVFP4 权重、FP8 KV 缓存和 vLLM 后端，各提供「聚合」和「预填/解码分离」两种 Kubernetes 清单，外加模型缓存下载任务与 AIPerf 基准任务。细节因模型而异：Motif-3 用 TP2 + 专家并行 + MTP2 多 token 预测；A.X K2 用 TP4 加 EAGLE3 投机解码，并附 32 张 H200 的方案；Solar Open 2 聚合模式开启 KV 感知路由。

权威 Benchmark 与实测跑分对比

NVIDIA 官方口径是 B200 上「开箱最高 2 倍」推理性能，但未说明对比基线。Dynamo 文档给出了更具体的数字（聊天 trace，SLA 为每用户 ≥50 tok/s、TTFT p50 <5 秒）：Motif-3 两张 B200 单 GPU 输出 293.96 tok/s、TTFT 388 ms；Solar Open 2 两副本 216.88 tok/s/GPU、TTFT 308 ms；K-EXAONE 2.0 四卡 87 tok/s/GPU、TTFT 291 ms；A.X K2 八卡 76.49 tok/s/GPU、TTFT 0.525 秒。Motif-3 和 A.X K2 用的是合成投机解码接受长度，不代表真实质量。第三方独立评测：官方未公布。

开发者实战落地与开箱指南

有 B200 集群的团队可直接克隆 ai-dynamo/dynamo，进入 recipes/ 下对应目录（ax-k2、k-exaone-2.0、solar-open2-250b、motif-3），先跑 model-cache 下载权重，再 apply vllm/ 下的部署清单，最后用 perf/ 里的任务复现基准。选型建议看文档：低并发、重首 token 选聚合；要独立扩展预填与解码再上分离模式，K-EXAONE 2.0 的分离方案每 GPU 吞吐与聚合持平、却要两倍 GPU。Solar Open 2 默认高推理强度，max_tokens 太小会在推理中途截断，结构化输出尤其要注意。