SemiAnalysis 在 AgentX(面向多轮长上下文智能体负载的基准)上指出,新的 AMD MI355x 提交在较低交互性区间的总拥有成本(tokens per $ TCO)上击败 B300,并点名 vLLM、AMD 与 LMCache 工程团队。对选型推理硬件与 agentic serving 栈有参考价值。

核心要点速览 (Key Takeaways)

  • 基准:AgentX 衡量多轮、长上下文智能体真实流量。
  • 结果:AMD MI355x 在较低交互档位 tokens/$ TCO 优于 B300。
  • 栈:点名 vLLM、AMD、LMCache 协作推进 agentic 优化。
ADSponsored