内核融合

事件核心llama.cpp 社区近期提交了一项关键 PR (#29948)，通过在 CUDA MMQ（矩阵-矩阵量化）算子中融合 FFN（前馈网络）的门控/上升矩阵乘法（gate/up matmuls）与 GLU（门控线性单元）激活函数，并采用交错行存储方案。在 NVIDIA DGX Spark (GB10) 环境下，该优化使 Qwen-27B 模型在 Q4_K_M 和 Q8_0 等量化格式下的推理吞吐量提升了 4.6% 至 7.4%。▶ 内核融合减少 I/O 损耗：通过将原本独立的矩阵乘法与激活函数合并为一个 CUDA Kernel，大幅减少了中间结果在显存中的读写次数。▶ 存储架构优化：引入交错行（Interleaved rows）设计，优化了量化权重的内存访问模式，直接提升了 MMQ 算子的执行效率。▶ 实测增益显著：Qwen3.8-27B Q4_K_M 的处理速度从 840.1 tok/s 跃升至 899.9 tok/s，证明了底层算子优化在高性能硬件上的巨大潜力。八卦洞察这次更新标志着本地大模型推理（Local LLM）进入了“存量性能压榨”阶段。在算力不再是唯一瓶颈的今天，内存带宽（Memory Bandwidth）成为了制约推理速度的死穴。llama.cpp 此次针对 GLU 逻辑的“手术级”优化，本质上是在模拟 TensorRT 等闭源引擎的深度融合策略。值得注意的是，这种优化在 GB10 等新一代硬件上表现尤为出色，暗示了开源社区正在紧跟硬件迭代步伐，迅速填补通用框架与极致性能之间的鸿沟。对于追求端侧推理效率的开发者来说，这不仅是数字的提升，更是对量化模型可用性的质变。行动建议建议所有基于 llama.cpp 部署 Qwen 或 Llama 系列模型的企业和开发者，立即同步 master 分支以获取此项 CUDA 优化红利。在硬件选型上，应重点关注对 MMQ 算子支持更佳的 NVIDIA 架构；在量化策略上，优先测试 Q4_K_M 格式，以平衡精度与此次优化带来的吞吐量增益。