半导体研究机构 SemiAnalysis 周一（13 日）发文指出，辉达 (NVDA-US) 近期针对开源推理引擎 vLLM 的最佳化成果表现亮眼，在推理效能方面展现明显优势；相较之下，超微半导体 (AMD-US) 在部分模型的 vLLM 支援与最佳化程度仍有进一步提升空间。

值得注意的是，该机构两周前才指出，辉达的「CUDA 护城河正遭缓慢侵蚀」，公司面临的最大竞争压力，来自愈来愈多超大规模云端业者与 AI 模型公司转向自研 ASIC 晶片，针对训练或推理等特定场景打造专属晶片架构。

分析指出，这两则相互呼应的判断，将 AI 晶片竞争的焦点从「谁的硬体更强」拉回一个更根本的问题，即在推理时代的规模化部署中，软体生态的深度，可能比单一世代 GPU 的硬体领先更具决定性。

对于每天执行数十亿次推理调用的 AI 企业而言，「部分模型支援良好」与「所有模型稳定优化」之间的落差，会在规模效应下被急剧放大。

vLLM 目前是大型语言模型推理领域应用最广泛的开源引擎，SemiAnalysis 选择以此作为评判基准，本身即传达一项讯息，即开源推理生态正成为衡量 AI 晶片真实性能的关键战场。

以千亿参数等级的混合专家（MoE）模型 Kimi K2.5 为例，辉达与 AMD 的差距尤其明显。

辉达 GB200 NVL72 透过机架级 NVLink 将 72 张 GPU 高速互联，支援规模达 8 至 16 的宽专家并行。

此架构让每张 GPU 承载的专家权重大幅减少，HBM 频宽压力随之降低，All-to-All 通讯也能在高速 NVLink 域内完成，而非透过较慢的 InfiniBand 网路传输，最终使每 GPU 吞吐量可达每秒 12,000 个 token 以上。

相较之下，基于 AMD MI355X 难以实现同等规模的专家并行与机架级互联，在同一测试中表现明显逊色。

在软体层面，辉达推出的 Dynamo 分散式推理框架与 vLLM 深度整合，针对 MoE 模型实现了预填充与解码分离、高效 KV 快取传输及双批次重叠等优化，能在 NVL72 上充分发挥硬体潜力。

反观 AMD 目前仍主要依赖标准 vLLM 与 DISAGG 版本，针对超大型 MoE 模型与宽并行场景的深度优化尚未跟上。

「部分模型」措辞背后的全面性鸿沟

SemiAnalysis 将 AMD 的落后限定在「部分模型」。分析认为，这项措辞其实包含两层讯息。

其一，AMD 并非全面落后。在通用运算场景中，其 MI 系列 GPU 已具备一定竞争力，Meta(META-US) 近期签署的巨额采购订单即是佐证。

其二，「部分」二字恰恰凸显了当前差距的核心：全面性软体生态覆盖的缺失。

分析指出，在 AI 推理场景中，企业客户追求的是稳定、可预期的部署体验，维护两套软体堆叠以覆盖不同模型的成本，往往是决策时的关键因素。

AMD 若要完成从「部分领先」到「全面可用」的跨越，所需投入的软体工程恐怕比硬体更新更加耗时。

这不只是撰写更多驱动程式与适配层的问题，更代表必须在数以千计的模型架构、不断演进的开源框架，以及分散的开发者社群中，建立起广泛的相容性与信任。

推理时代，软体才是真正的护城河

随着 AI 产业重心从训练转向推理，软硬体的战略价值正经历结构性重估。

训练任务相对集中、可控，硬体性能差距可靠资本投入弥补；推理则属于分散式、持续性的运算，微秒级的延迟差异会在每天数十亿次调用中被层层放大，直接转化为成本结构的分化。

分析指出，辉达的软体生态壁垒由三个层面叠加构成：

• 涵盖约 400 万名开发者的 CUDA 工具链及其二十年积累；
• 对所有主流机器学习框架的优先适配；
• 以及 cuDNN、TensorRT、NCCL 等优化函式库所形成的深度绑定。

三者叠加产生的移转成本，远超任何单一硬体规格上的差距。

这项判断也与 SemiAnalysis 两周前的分析相互呼应。该机构当时指出，Anthropic 已形成由 Google(GOOGL-US) TPU、亚马逊 (AMZN-US) Trainium 与辉达 GPU 共同构成的多平台算力架构。

大量 Claude 模型的训练运行于 TPU，Claude Code 的推理则愈来愈多部署于 Trainium，显示辉达 GPU 的市占正遭自研 ASIC 缓慢蚕食。

然而，此次针对 vLLM 性能的正面评价显示，辉达在推理软体堆叠上的深度优化领先幅度，并未随着硬体竞争格局的演变而同步收窄。