极限榨干 GB10：Qwen3.8-Flash-Next 混合量化与 SSD 卸载方案解析

核心事件

开发者在 LocalLLaMA 社区发布了针对 Qwen3.8-Flash-Next 的深度优化方案，通过在单台 GB10/DGX Spark 设备上组合使用 Intel AutoRound int4 量化、混合精度算子以及 SSD/RDMA 卸载技术，实现了代码生成 47.5t/s 及 JSON 处理 60t/s 的极高推理吞吐量。

• ▶ 混合精度量化策略： 对 lm_head 实施未校准的 int8 量化，并对 GDN 投影、QSA 及共享专家模块（Shared Experts）进行 fp8 量化，在未观察到明显精度损失的情况下大幅压缩显存。
• ▶ I/O 瓶颈突破： 创新性地将 fp8 ngram 表卸载至本地 NVMe SSD 或外部 RDMA 服务器，有效缓解了单卡显存压力，支持更长的上下文缓存。
• ▶ 针对性性能表现： 在 mtp=3 c=1 的配置下，针对结构化数据（JSON）的推理效率比常规模型提升显著，展示了模型在特定工业场景下的应用潜力。

八卦洞察

此方案的出现标志着大模型推理从“通用优化”转向“极致工程化”。该项目不仅是简单的量化，而是一场针对特定硬件（GB10）与特定架构（Qwen 混合专家模型思路）的精准手术。其核心价值在于证明了“非校准量化（Uncalibrated Quantization）”在特定层（如 lm_head）的实用性，打破了必须依赖大规模校准集才能保证量化质量的迷思。此外，利用 SSD 存储 ngram 表而非占用昂贵的 HBM/显存，为私有化部署中“大模型、小显存”的矛盾提供了极具参考价值的工程路径。

行动建议

• 技术团队： 在进行推理加速时，应评估对非关键层（如输出头或特定专家模块）实施非校准低比特量化的可行性，以换取更高的吞吐量。
• 基础设施架构师： 关注 vLLM 与本地高速存储（NVMe/RDMA）的联动优化，尤其是在处理长文本（Prefix Cache）和投机采样（Speculative Decoding）时，存储 I/O 正在成为新的性能杠杆。
• 企业决策者： 针对代码补全、自动化报表（JSON）等高频结构化任务，采用此类经过“极限压缩”的专项模型，可显著降低单次 Token 的推理成本。