vLLM 在 AMD GPU 上实现投机解码：打破 NVIDIA 推理性能垄断

核心事件

vLLM 官方宣布在 AMD ROCm 平台上正式支持投机解码（Speculative Decoding）技术，通过“草稿模型预生成+大模型并行验证”的机制，显著提升了 AMD GPU 在大语言模型推理中的 Token 生成速度与系统吞吐量。

• ▶ 推理效率质变： 投机解码通过引入轻量级草稿模型（如 TinyLlama），在不损失精度前提下，将受限于内存带宽的推理过程转变为受限于计算能力的验证过程，大幅降低首字延迟（TTFT）和每 Token 延迟。
• ▶ AMD 生态补完： 此次更新标志着 AMD ROCm 软件栈在 vLLM 这一主流推理框架中实现了与 NVIDIA CUDA 的功能对齐，进一步侵蚀 NVIDIA 在高性能推理市场的软件护城河。

八卦洞察

长期以来，AMD 在 AI 领域的短板并非硬件算力，而是软件生态的滞后。vLLM 作为目前全球最流行的开源推理引擎，其对 AMD 投机解码的原生支持，意味着企业级用户在迁移至 AMD MI300 系列显卡时，不再需要牺牲核心的性能优化特性。从行业视角看，投机解码已成为大模型落地的“标配”，它解决了 LLM 推理中严重的内存受限问题。AMD 此次发力，本质上是在加速“去 CUDA 化”进程，通过深度参与开源社区，让非 NVIDIA 硬件在生产环境中的总拥有成本（TCO）更具竞争力。

行动建议

对于正在进行算力扩容的基础设施团队，建议立即在 AMD MI300/MI200 系列平台上对 vLLM 的投机解码功能进行基准测试。特别是在 RAG（检索增强生成）和长文本处理场景下，该技术带来的延迟收益将直接转化为用户体验的提升。同时，建议关注草稿模型与主模型的参数配比优化，以实现最佳的加速比。