突破 llama.cpp 双卡瓶颈：张量并行支持量化 KV 缓存，推理效率大幅提升

开发者近日发布了名为 llama.cpp_qts 的轻量级分支，成功解决了 llama.cpp 在“–split-mode tensor”（张量并行）模式下长期不支持量化 KV 缓存的技术痛点，为双 GPU 用户带来了显著的推理加速与显存优化。

• ▶ 核心突破：该补丁打破了张量并行与量化 KV 缓存（Q-KV）不可兼得的限制，允许用户在享受多卡并行计算增益的同时，通过量化技术大幅扩展有效上下文长度。
• ▶ 硬件利好：针对拥有双 RTX 3090 或 4090 的消费级发烧友，该优化能有效降低长文本推理时的显存压力，实测在特定场景下可获得明显的 Token 生成速度提升。

八卦洞察

在本地大语言模型（Local LLM）生态中，llama.cpp 一直是效率的标杆，但其多卡并行策略（TP vs RP）的割裂始终是高级用户的痛点。长期以来，开启张量并行（TP）意味着必须放弃 KV 缓存量化，这在处理长文本 RAG 或复杂对话时会导致显存迅速耗尽。此次社区驱动的修复，本质上是对分布式推理门槛的一次“向下兼容”式下放。它证明了在硬件算力边际效应递减的当下，底层显存管理与数据流调度的微调，依然能榨取出惊人的性能红利。这不仅是代码层面的补丁，更是本地 AI 社区对极致性价比追求的体现。

行动建议

对于依赖双卡环境进行长文本分析或 RAG 应用的开发者，建议立即测试 llama.cpp_qts 分支，评估其在 4-bit 或 8-bit KV 缓存下的稳定性。同时，建议主流推理框架（如 Ollama、LM Studio）关注该补丁的合并进展，将其作为提升多卡用户体验的关键特性。在配置时，应根据显存带宽匹配最佳的张量拆分比例，以最大化发挥该补丁的吞吐优势。