Gemma 4 26B 在单张 RTX 5090 上突破 600 tok/s：投机采样重塑消费级推理上限

开发者近期在 Reddit LocalLLaMA 社区分享了一项惊人的基准测试结果：通过在 vLLM (0.19.2rc1) 中应用 DFlash 投机采样技术，Gemma 4 26B (AWQ 4-bit 量化版) 在单块 RTX 5090 (32GB VRAM) 上实现了高达 600 tokens/second 的推理速度。

• ▶ 投机采样（Speculative Sampling）已成为单卡推理性能翻倍的核心变量。测试显示，在 256 输入/1024 输出的典型场景下，DFlash 框架配合草稿模型（Draft Model）显著降低了 Token 生成延迟。
• ▶ RTX 5090 的硬件红利：32GB 显存与高带宽优势，使得 26B 规模的中量级模型在量化后能够以极高吞吐运行，彻底模糊了消费级硬件与企业级推理工作站的界限。

八卦洞察

600 tok/s 不仅仅是一个跑分数字，它标志着本地 AI 时代的“实时交互”瓶颈已被打破。在传统的自回归解码中，推理速度受限于显存带宽，而 DFlash 这种“小模型预测、大模型验证”的机制，在 RTX 5090 强大的算力支撑下，将推理效率推向了物理极限。Gemma 4 的架构优化配合 vLLM 的底层调度，证明了 20B-30B 规模的模型将成为未来一年端侧 AI Agent 的“甜点级”选择。这种速度意味着复杂的 Agent 多步推理可以在几秒内完成，极大地提升了用户体验的连贯性。

行动建议

对于开发者而言，应立即关注 vLLM 对 DFlash 及类似投机采样算法的更新，这是目前提升本地 RAG 或 Agent 响应速度最廉价且高效的手段。对于企业级应用，若需在边缘端部署高性能 LLM，优先考虑 26B 左右规模的模型配合投机采样，而非盲目追求更大参数量的模型，以获得最优的性能功耗比。