性能狂飙：双GH200实现DeepSeek-V4-Flash百万上下文极致推理

开发者社区近期在双 NVIDIA GH200 Grace Hopper 超级芯片上实现了推理性能的重大突破：通过集成 DeepSeek-V4 特有的缓存布局补丁（PR #48993）及 SGLang 深度优化，成功在 192GB HBM 环境下支持百万级（1M）上下文，并达成 10,000 tok/s 的预填充（Prefill）速度与超过 300 tok/s 的解码速度。

• ▶ 缓存布局的底层重构：通过应用针对 DSV4 的特定缓存布局优化，显著降低了显存碎片化，这是在有限显存内承载百万级上下文的技术关键。
• ▶ 异构架构的协同优势：GH200 的 Grace CPU 与 Hopper GPU 协同，配合 SGLang 在 ARM64 平台上的源码级构建，证明了非 x86 架构在处理超长文本推理时的吞吐潜力。
• ▶ 预测解码的效率增益：通过设置 DSpark 预测 6 个 token 并禁用异步调度，进一步压榨了硬件性能，使生成速度突破 276-300 tok/s 的瓶颈。

八卦洞察

这次突破的核心价值不在于单纯的硬件堆砌，而在于“模型感知推理”（Model-Aware Inference）的胜利。DeepSeek 系列模型的非对称架构要求推理框架必须打破通用逻辑，进行底层的内存编排重构。10,000 tok/s 的预填充速度意味着长文本 RAG 应用中的“延迟墙”正在被瓦解。此外，SGLang 在 ARM64 上的成功适配，预示着未来数据中心推理集群可能会加速向 Grace-Hopper 这种高带宽、大统一内存的架构迁移，以应对生成式 AI 对长上下文的刚需。

行动建议

企业基础设施负责人应密切关注 vLLM 与 SGLang 针对 MoE 架构的最新 PR 动态，尤其是涉及内存管理与缓存布局的非合并分支；对于追求极致长文本体验的 RAG 或 Agent 场景，应优先评估 GH200 等具备超大 HBM 容量的硬件方案，而非传统的显存受限机型。