突破显存瓶颈：ik_llama.cpp 如何在 12GB 显存上实现 Qwen 35B 的极速推理

核心事件

一位开发者通过采用 ik_llama.cpp 替代原生 llama.cpp，成功在 12GB 显存的 RTX 4070 Super 上实现了 Qwen 3.6 35B 模型 110 tok/s 的推理性能，验证了针对 CPU 卸载（Offloading）优化的分支在处理超大参数模型时的显著优势。

八卦洞察

• ▶ 推理效率的“非对称”竞争： 传统的 MTP（投机采样）方案在显存受限时往往会因上下文切换开销而受阻，而 ik_llama.cpp 通过更激进的 CPU 卸载调度，打破了 GPU 显存的物理天花板。
• ▶ 硬件民主化的新路径： 此案例证明，通过软件层面的算子优化，中端消费级显卡（如 4070 Super）完全具备运行 30B+ 参数量级模型的潜力，无需昂贵的企业级显存堆叠。

行动建议

• ▶ 性能调优： 如果你在本地部署大模型时遇到显存溢出或推理速度瓶颈，优先尝试 ik_llama.cpp 等针对特定硬件架构优化的分支，而非仅依赖官方主干版本。
• ▶ 架构评估： 对于边缘计算或个人工作站场景，应重新评估“CPU+GPU 混合推理”的性价比，合理配置卸载层数（Layer Offloading）往往能带来比单纯扩充显存更高的投入产出比。