八卦情报：MTP 解码补丁发布，旧款英伟达 GPU（Kepler 至 Turing）重获加速能力

开发者针对 llama.cpp 推出了关键补丁，修复了多令牌预测（MTP）在不支持 BF16 的旧款英伟达 GPU（如 Kepler、Maxwell、Pascal、Turing 架构）上触发 cuBLAS 崩溃的问题，通过精度自适应机制实现了跨代硬件的兼容。

• ▶ 打破架构壁垒：该补丁消除了 MTP 技术对 Ampere 及后续架构（RTX 30/40 系列）的强依赖，使 Pascal (GTX 10系列) 等“长尾”显卡也能享受现代推理加速技术。
• ▶ 智能精度回退：通过引入 CUDA 能力检查（Capability Check），系统可根据硬件自动在 BF16、快速 FP16 及基础精度间切换，彻底解决了旧硬件强制执行 BF16 计算导致的系统溃败。

八卦洞察

在 AI 算力竞赛极度内卷的当下，业界目光往往聚焦于 H100 或 B200 等顶奢芯片，但开源社区（如 LocalLLaMA）展现了另一种极致的“算力压榨”美学。此次补丁的意义不仅在于技术修复，更在于对全球存量算力的再挖掘。MTP（多令牌预测）作为提升大模型推理吞吐量的核心手段，其门槛的下放意味着边缘计算和预算有限的开发者可以利用廉价的二手硬件（如 Tesla P40 或 GTX 1080 Ti）构建高性能的本地 AI 节点。这种“向下兼容”的工程努力，是实现 AI 民主化的隐形推手。

行动建议

对于仍在使用旧款 GPU 工作站或尝试在边缘设备部署 LLM 的团队，建议立即同步 llama.cpp 的最新 CUDA 后端补丁。在编译时，务必根据具体显卡架构（如 Pascal 架构指定 SM_61）进行针对性优化。此外，虽然实现了兼容，但 Kepler 等极旧架构在 FP16 下的性能表现仍需实测，建议优先在 Turing (RTX 20系列) 或 Pascal 架构上部署以获得最佳性价比收益。