专家级优化：通过 VRAM 缓存“热”专家，MoE 模型推理速度提升 50%

核心事件

开发者在 llama.cpp 框架中针对混合专家模型（MoE）实现了一项突破性优化：通过仅将高频调用的“热”专家（Hot Experts）驻留显存，而非传统的整层卸载，成功将 Qwen 3.8 Flash Next 等模型的推理速度从 20 t/s 提升至 30 t/s，增幅达 50%。

• ▶ 粒度革命：该方法打破了“按层卸载”的传统逻辑，将显存管理的粒度细化到专家级别，解决了大参数 MoE 模型无法完全装入显存的痛点。
• ▶ 激活局部性：研究发现，在编码、重构等特定任务中，模型会持续激活特定的专家组，这为静态或半动态的专家缓存策略提供了实证支持。

八卦洞察

这项优化揭示了 MoE 模型推理中的“空间局部性”原理。长期以来，本地 LLM 玩家受限于显存容量，往往被迫在“全显存运行小模型”或“显存+内存混合运行大模型（忍受极低速度）”之间二选一。此次“热专家”策略的成功，本质上是将 VRAM 视作模型权重的 L3 缓存，而非静态存储池。这表明，尽管 MoE 模型总参数量巨大，但在特定任务下，其“工作集（Working Set）”其实非常精简。这种从“全量加载”到“稀疏缓存”的思维转变，是提升消费级硬件推理效率的关键钥匙。

行动建议

对于开发者而言，应立即关注 llama.cpp 的相关 PR，并在特定垂直领域（如代码助手、翻译）尝试对专家调用进行 Profile 分析，制定针对性的专家预加载配置。对于硬件厂商，这进一步证明了高带宽内存（HBM）与灵活的内存管理单元（MMU）在未来 AI PC 架构中的核心地位。建议优化方向应从单纯增加显存容量，转向提升显存与系统内存之间的交换效率。