SemiAnalysis 在 AgentX(面向多轮长上下文智能体负载的基准)上指出,新的 AMD MI355x 提交在较低交互性区间的总拥有成本(tokens per $ TCO)上击败 B300,并点名 vLLM、AMD 与 LMCache 工程团队。对选型推理硬件与 agentic serving 栈有参考价值。

核心要点速览

  • ✓基准:AgentX 衡量多轮、长上下文智能体真实流量。
  • ✓结果:AMD MI355x 在较低交互档位 tokens/$ TCO 优于 B300。
  • ✓栈:点名 vLLM、AMD、LMCache 协作推进 agentic 优化。
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读SGLang v0.5.22 重磅发布:DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍,InstantTensor 载入提速 10 倍
立即阅读→