多显卡推理

开发者 Piotr Wilkin (pwilkin) 近期在 llama.cpp 提交了编号为 #25051 的关键 PR，旨在让 Vulkan 后端的张量并行 (Tensor Parallelism, TP) 达到实际可用状态，这标志着非 NVIDIA 硬件在多显卡协同推理效率上迈出了重要一步。 ▶ 跨平台多卡协同： 该 PR 解决了 Vulkan 在多 GPU 环境下的同步与内存瓶颈，使得 AMD、Intel 及混合硬件阵营能够利用张量并行提升推理吞吐量。 ▶ 通信效率优化： 相比传统的流水线并行（Pipeline Parallelism），高效的 TP 能够显著降低多卡间的延迟，是运行超大规模参数模型（如 Llama-3-70B/405B）的核心技术。 八卦洞察 长期以来，多 GPU 扩展一直是 CUDA 的“领地”，尤其是 NVLink 提供的硬件级支持让 NVIDIA 在大模型推理市场稳坐江山。然而，llama.cpp 对 Vulkan TP 的持续优化，本质上是在软件层面通过算法补偿来抵消非 NVIDIA 硬件在互联带宽上的劣势。Piotr 的这一尝试如果成功，将极大释放存量 AMD/Intel 显卡的计算潜力，使得“廉价多卡集群”成为本地大模型部署的可行方案，进一步削弱 CUDA 的生态霸权。 行动建议 硬件部署： 建议拥有多块 AMD 显卡或混合显卡环境的开发者密切关注该 PR 的合并进度，在生产环境中尝试从流水线并行迁移至张量并行。 性能压测： 针对 70B 以上规模的模型，应重点测试 Vulkan TP 在不同 PCIe 带宽下的扩展效率，以评估其在非 NVLink 环境下的性能损耗比。 技术储备： 关注 Vulkan 1.3 及其相关扩展在分布式推理中的应用，这可能是未来绕过闭源生态实现高性能 AI 算力的关键路径。