2026-07-14 09:01:35
英伟达的 vLLM 在 MoE 模型上的优化优于 AMD,达到每秒 12000+ 个 Token
根据 SemiAnalysis 在 7 月 13 日的报道,英伟达在 vLLM 推理优化方面相较 AMD 展现出明显的性能优势,GB200 NVL72 架构在如 Kimi K2.5 这类专家混合(Mixture-of-Experts)模型上实现了每秒超过 12,000 个 token 的吞吐量。该分析指出,英伟达的 Dynamo 分布式推理框架与 vLLM 深度集成,使其能够高效实现专家并行化以及 KV 缓存优化;而 AMD 的 MI355X 目前依赖标准版 vLLM,在大规模 MoE 场景下缺乏相应的深度优化。