llama.cpp 引入 –n-cpu-ffn 选项：打破显存瓶颈，消费级显卡性能实现跨代跃迁

核心摘要

GitHub 开发者 John-194 提交的 PR #26622 为 llama.cpp 引入了针对稠密模型的 --n-cpu-ffn 选项。该功能借鉴了混合专家模型（MoE）的配置逻辑，允许用户将前馈网络（FFN）层卸载至 CPU 处理。这一优化使得在 16GB 或更低显存的消费级硬件上，能够以约 20 t/s 的高速运行 Qwen 2.5-27B 等中大型模型，并支持高达 130k 的长上下文，彻底改写了端侧 AI 的性能边界。

• ▶ 异构推理新范式：通过精准切分计算任务，将显存占用极大的 FFN 层交由 CPU 处理，释放 GPU 显存用于存储海量的 KV Cache，解决了长文本推理中的显存溢出难题。
• ▶ 性能表现惊人：在典型配置下，Qwen 2.5-27B (Q4_K_M) 配合 130k 上下文，推理速度可达 20 t/s。这意味着 16GB 显存设备现在具备了此前 32GB 甚至 48GB 设备才有的生产力表现。

八卦洞察

在 AI 硬件领域，“显存墙”一直是限制端侧大模型普及的首要障碍。以往的 CPU 卸载（Offloading）往往意味着性能的断崖式下跌，但此次 PR 的精妙之处在于它识别了稠密模型中 FFN 层的计算特性。通过将 FFN 这种“计算密集但对显存极度饥渴”的部分进行异构分配，开发者实际上在软件层面实现了一种“虚拟显存扩张”。这不仅是 llama.cpp 社区的胜利，更向行业传递了一个信号：软件定义的内存管理优化，其潜力远未被榨干。对于苹果 M 系列芯片之外的 PC 玩家，这无疑是重大利好，进一步缩小了 Windows/Linux 环境与统一内存架构之间的体验差距。

行动建议

• 开发者与极客：立即跟踪该 PR 进展并进行本地测试。特别是针对 Qwen 2.5 或 Llama 3 系列中型模型，重新评估硬件的推理上限。
• 硬件采购建议：在构建本地 AI 工作站时，高带宽的内存（如 DDR5 6400+）以及支持高速 PCIe 通道的 CPU 价值凸显，因为 CPU 参与推理的权重正在增加。
• 端侧应用厂商：关注此技术对降低 RAG（检索增强生成）应用门槛的影响。长上下文能力的释放意味着更复杂的本地文档处理任务现在可以在低成本硬件上运行。