八卦情报：Gemma 4 引入 KV Cache 嫁接技术，AIME 2025 准确率飙升至 90%

核心事件

研究人员提出了一种创新的“KV Cache 嫁接”（KV Cache Grafting）技术，通过将验证过的知识直接存储为 KV 状态，并在推理时实现字节级一致的恢复。在冻结权重的 Gemma 4 12B 模型上，该技术将同一路由系统在 AIME 2025 竞赛中的准确率从 76.7% 显著提升至 90.0%。

• ▶ 非侵入式增强： 该方法在模型权重完全冻结（Frozen）的情况下运行，无需昂贵的重新训练或微调。
• ▶ 推理性能飞跃： 13.3% 的绝对准确率提升证明了 KV 状态作为知识载体比传统文本 Prompt 具有更高的信息密度。
• ▶ 确定性恢复： 实现了与原始计算完全一致的字节级恢复，彻底消除了 KV 缓存加载过程中的精度损失。

八卦洞察

这项技术标志着从“检索增强生成”（RAG）向“状态增强推理”（State-Augmented Inference）的范式演进。传统的 RAG 依赖于将文本塞入上下文窗口，这不仅受限于 Token 长度，还会因模型对长文本理解的波动而导致性能下降。而“KV Cache 嫁接”直接操作模型的“思维中间态”，跳过了冗余的计算步骤。90% 的 AIME 成绩意味着 12B 规模的模型在特定推理任务上已经具备了挑战更大参数量模型的潜力。这预示着未来端侧 AI 可能会通过预置“知识缓存包”来实现专业领域的性能爆发，而无需依赖云端巨型模型。

行动建议

1. 技术架构演进： 建议大模型开发团队关注 KV 缓存的序列化与标准化，探索将其作为一种“热插拔”知识库的可能性。
2. 推理成本优化： 对于高频、高难度的垂直领域查询，企业应考虑预计算并存储关键路径的 KV Cache，以降低推理延迟并提升输出稳定性。
3. 关注 AGI 峰会： 密切关注 7 月 19 日的技术演示及 arXiv 论文，评估其在 Gemma 之外的其他主流架构（如 Llama 3）上的迁移潜力。