Qwen3.8-Flash-Next 性能突破：NVFP4 助力 2xDGX Spark 实现极速推理

开发者近日分享了在 2xDGX Spark 集群上部署 Qwen3.8-Flash-Next 的极致配置方案，通过 NVFP4 量化技术实现了 50 t/s 的解码速度与高达 2,900 t/s 的预填充效率。

• ▶ NVFP4 成为 Blackwell 架构的性能分水岭： 该配置充分利用了 NVIDIA Blackwell 架构（sm_121）对 4 位浮点数（FP4）的硬件级支持，预填充速度的激增预示着长文本处理成本的大幅下降。
• ▶ vLLM 生产环境的“影子分支”： 核心优化并非来自 vLLM 主分支，而是特定的 release/qwen38next 分支，这表明针对下一代模型的极致优化仍处于高度定制化阶段。
• ▶ 硬件补丁是解锁潜力的钥匙： 实现 sm_121 的完整支持仍需手动打入针对两个关键文件的补丁，反映出顶尖 AI 基础设施在软件适配上的超前性与复杂性。

八卦洞察

此次性能数据的核心价值不在于 50 t/s 的解码速度（这受限于通信带宽和模型规模），而在于近 3,000 t/s 的预填充（Prefill）吞吐量。在企业级 RAG 和长上下文 Agent 场景中，预填充效率直接决定了系统的首字延迟（TTFT）和并发处理能力。NVFP4 的落地标志着量化技术已从单纯的“省显存”转向“极速算”，Blackwell 架构的 Tensor Core 在 FP4 模式下的吞吐能力正在重塑大模型推理的经济曲线。

行动建议

对于追求极致推理性能的团队，建议立即跟踪 vLLM PR #53896 相关的非公开 commit，并评估 FP4 在特定业务场景下的精度损失。同时，基础设施团队应提前储备针对 sm_121 架构的内核级补丁方案，以应对即将到来的 Blackwell 大规模交付。在模型选择上，Qwen 系列与 NVFP4 的高度适配使其成为构建高频交易或实时交互级 AI 应用的首选底座。