llama.cpp 正式合并 Gemma 4 MTP 支持：本地大模型推理效率迎来代际跨越

核心事件

开源推理框架 llama.cpp 正式合并了对 Google 最新模型 Gemma 4 多 Token 预测（Multi-Token Prediction, MTP）架构的支持。这一更新意味着本地开发者现在可以利用 Gemma 4 的原生并行预测能力，在不增加额外草稿模型（Draft Model）开销的情况下，显著提升推理吞吐量。

• ▶ MTP 架构的降维打击： 与传统的投机采样（Speculative Decoding）不同，Gemma 4 的 MTP 架构在训练阶段就引入了多 Token 预测头，使得模型在推理时能一次性输出多个 Token，极大缓解了内存带宽瓶颈。
• ▶ 生态响应速度惊人： 从 Gemma 4 发布到 llama.cpp 核心代码合并仅用时极短，再次证明了开源社区在适配前沿架构方面已全面领先于闭源商业软件。

八卦洞察

Google 正在通过 Gemma 4 重新定义“高效推理”的准门槛。长期以来，本地 LLM 玩家受限于显存带宽，而 MTP 技术的普及将推理效率的竞争从“暴力堆算力”转向了“架构优化”。llama.cpp 的快速跟进，实际上是将 Google 的工业级优化直接喂到了边缘侧设备手中。我们认为，这不仅是技术的合并，更是 Google 试图通过极致的端侧性能，在与 Meta Llama 系列的“开发者心智夺取战”中反客为主的关键一步。

行动建议

对于开发者而言，建议立即更新本地 llama.cpp 构建版本，并针对 Gemma 4 的 MTP 特性重新评估 RAG（检索增强生成）和 Agent 任务的延迟表现。对于企业级应用，应重点关注 MTP 在高并发场景下的 QPS 提升，这可能意味着在相同的硬件成本下，能够支持更复杂的逻辑推理流。