突破显存瓶颈：Qwen3.6-35B MoE 策略性卸载实现 2.36 倍 Prefill 性能飞跃

核心摘要

通过将 Qwen3.6-35B-A3B 的 8 个 MoE 专家层策略性地卸载至 CPU，开发者在 RTX 3090 (24GB) 上成功释放显存，通过提升批处理大小使提示词处理速度（Prefill）从 564 tok/s 飙升至 1330 tok/s，增幅达 136%。

• ▶ MoE 架构的非对称优势：由于 MoE 模型的稀疏激活特性，卸载部分专家层对生成（Decode）速度影响微乎其微，但释放的显存能显著提升 KV Cache 和批处理空间。
• ▶ 吞吐量胜过纯速度：在长上下文（64K）场景下，VRAM 的瓶颈不在于计算力，而在于批处理容量。将 -b (batch size) 从 512 翻倍至 1024 是性能翻倍的核心驱动力。

八卦洞察

「八卦智库」认为，这一实验揭示了消费级 GPU 在大模型长上下文时代的生存法则：精细化内存管理（Tiered Memory Management）优于盲目追求全显存运行。Qwen3.6-35B 的 A3B（Active 3B）架构赋予了模型极高的推理灵活性。传统的 llama.cpp “自动匹配”往往倾向于保守的显存分配，而手动调优 MoE 专家分布，本质上是在利用 CPU 的大容量内存为 GPU 的高带宽计算“松绑”。在 RAG（检索增强生成）应用日益普及的今天，Prefill 速度直接决定了系统的响应延迟，这种通过牺牲极小部分专家响应时间来换取吞吐量爆发的策略，将成为单卡运行中型 MoE 模型的标准范式。

行动建议

• 针对 RAG 开发者：若使用 24GB 显卡处理长文本，应优先通过卸载部分专家层（Expert Offloading）来腾出显存，将批处理参数（-b 和 -ub）推至硬件极限，以换取更高的预处理吞吐量。
• 量化选择策略：在显存受限时，选择 Q6 等高精度量化并配合专家卸载，其效果往往优于强行压缩至 Q4 以适配全显存运行，前者能更好地保持模型逻辑能力。