张量并行

核心摘要 本地大模型推理领域的标杆框架 ExLlamaV3 正式发布 v1.0.0 版本，通过重构底层算子彻底移除了对 flash-attention-2 和 xformers 的强制依赖，并实现了跨模型家族的深度张量并行（Tensor Parallel）优化。 ▶ 架构极简主义： 摆脱外部复杂依赖，显著降低了本地部署的“依赖地狱”风险，同时提升了跨平台兼容性。 ▶ 多卡性能飞跃： 张量并行支持已扩展至包括 G 系列在内的大多数主流模型，多 GPU 协同效率大幅提升。 八卦洞察 ExLlamaV3 的这次迭代不仅仅是版本号的跳跃，它代表了本地推理框架从“补丁式优化”向“原生架构掌控”的范式转移。长期以来，本地 LLM 社区受困于复杂的 CUDA 环境配置，特别是 flash-attention 等库的编译问题。Turboderp 与 Fable 团队的合作，本质上是在推理层进行了一次“垂直整合”。通过自研高性能算子替代通用库，ExLlama 正在巩固其作为消费级硬件上最快、最稳定推理引擎的地位。这种趋势预示着，未来的本地 AI 竞争将不再仅仅是量化算法的竞争，而是底层工程实现能力的博弈。 行动建议 对于依赖 EXL2 格式进行高吞吐量推理的企业和开发者，建议立即启动从 V2 到 V3 的迁移评估。特别是涉及多卡（Multi-GPU）部署的场景，V3 的张量并行优化将带来显著的延迟降低。此外，由于移除了重型依赖，CI/CD 流程中的容器镜像体积有望进一步压缩，建议同步优化部署镜像。

开发者 Piotr Wilkin (pwilkin) 近期在 llama.cpp 提交了编号为 #25051 的关键 PR，旨在让 Vulkan 后端的张量并行 (Tensor Parallelism, TP) 达到实际可用状态，这标志着非 NVIDIA 硬件在多显卡协同推理效率上迈出了重要一步。 ▶ 跨平台多卡协同： 该 PR 解决了 Vulkan 在多 GPU 环境下的同步与内存瓶颈，使得 AMD、Intel 及混合硬件阵营能够利用张量并行提升推理吞吐量。 ▶ 通信效率优化： 相比传统的流水线并行（Pipeline Parallelism），高效的 TP 能够显著降低多卡间的延迟，是运行超大规模参数模型（如 Llama-3-70B/405B）的核心技术。 八卦洞察 长期以来，多 GPU 扩展一直是 CUDA 的“领地”，尤其是 NVLink 提供的硬件级支持让 NVIDIA 在大模型推理市场稳坐江山。然而，llama.cpp 对 Vulkan TP 的持续优化，本质上是在软件层面通过算法补偿来抵消非 NVIDIA 硬件在互联带宽上的劣势。Piotr 的这一尝试如果成功，将极大释放存量 AMD/Intel 显卡的计算潜力，使得“廉价多卡集群”成为本地大模型部署的可行方案，进一步削弱 CUDA 的生态霸权。 行动建议 硬件部署： 建议拥有多块 AMD 显卡或混合显卡环境的开发者密切关注该 PR 的合并进度，在生产环境中尝试从流水线并行迁移至张量并行。 性能压测： 针对 70B 以上规模的模型，应重点测试 Vulkan TP 在不同 PCIe 带宽下的扩展效率，以评估其在非 NVLink 环境下的性能损耗比。 技术储备： 关注 Vulkan 1.3 及其相关扩展在分布式推理中的应用，这可能是未来绕过闭源生态实现高性能 AI 算力的关键路径。

通过将推断模式从传统的按层拆分（Layer Split）切换为张量并行（Tensor Split），开发者在 RTX 5090 与 3090 Ti 异构显卡组合上实现了 Qwen3.6-27B (Q8_0) 模型超过 100 t/s 的极致推理速度，性能较此前提升近 43%。 ▶ 突破异构显卡瓶颈：张量并行模式有效解决了“按层拆分”带来的显卡间串行等待问题，使 RTX 5090 的强大算力不再受限于 3090 Ti 的层间传输延迟。 ▶ 27B 模型进入“即时响应”时代：在消费级硬件上实现 100+ t/s 的 Q8 高精度推理，意味着本地大模型在处理复杂逻辑任务时，其响应速度已完全超越主流云端 API。 八卦洞察 这一案例揭示了本地 LLM 玩家正在经历从“内存容量焦虑”到“算力饱和优化”的范式转移。在多显卡（尤其是新旧混搭）环境下，传统的按层拆分会导致流水线停顿（Pipeline Stall），即高端显卡在等待低端显卡完成当前层的计算。而张量并行（Tensor Parallelism）通过让两张显卡同时处理同一个张量的不同部分，极大地提高了 TFLOPS 的利用率。这证明了在 RTX 5090 时代，软件层面的并行策略优化比单纯堆砌显存容量更能决定用户体验的上限。 行动建议 对于拥有多 GPU 设备的开发者和 AI 爱好者，建议立即放弃默认的按层分配策略，转向支持 --split-mode tensor 的后端（如 llama.cpp）。在配置异构集群（如 5090 混搭 30/40 系列）时，应优先考虑计算密度的平衡而非简单的显存平分，以最大化利用新一代显卡的吞吐能力。此外，针对 27B 这一级别的模型，Q8 量化配合张量并行已达到性能甜点位，无需为了速度过度牺牲精度。

开发者近日发布了名为 llama.cpp_qts 的轻量级分支，成功解决了 llama.cpp 在“--split-mode tensor”（张量并行）模式下长期不支持量化 KV 缓存的技术痛点，为双 GPU 用户带来了显著的推理加速与显存优化。 ▶ 核心突破：该补丁打破了张量并行与量化 KV 缓存（Q-KV）不可兼得的限制，允许用户在享受多卡并行计算增益的同时，通过量化技术大幅扩展有效上下文长度。 ▶ 硬件利好：针对拥有双 RTX 3090 或 4090 的消费级发烧友，该优化能有效降低长文本推理时的显存压力，实测在特定场景下可获得明显的 Token 生成速度提升。 八卦洞察 在本地大语言模型（Local LLM）生态中，llama.cpp 一直是效率的标杆，但其多卡并行策略（TP vs RP）的割裂始终是高级用户的痛点。长期以来，开启张量并行（TP）意味着必须放弃 KV 缓存量化，这在处理长文本 RAG 或复杂对话时会导致显存迅速耗尽。此次社区驱动的修复，本质上是对分布式推理门槛的一次“向下兼容”式下放。它证明了在硬件算力边际效应递减的当下，底层显存管理与数据流调度的微调，依然能榨取出惊人的性能红利。这不仅是代码层面的补丁，更是本地 AI 社区对极致性价比追求的体现。 行动建议 对于依赖双卡环境进行长文本分析或 RAG 应用的开发者，建议立即测试 llama.cpp_qts 分支，评估其在 4-bit 或 8-bit KV 缓存下的稳定性。同时，建议主流推理框架（如 Ollama、LM Studio）关注该补丁的合并进展，将其作为提升多卡用户体验的关键特性。在配置时，应根据显存带宽匹配最佳的张量拆分比例，以最大化发挥该补丁的吞吐优势。

核心速递 llama.cpp b9095 版本正式发布，核心突破在于支持双 Blackwell PCIe GPU 在无需 NCCL 依赖的情况下实现张量并行（Tensor Parallelism, -sm tensor）。 ▶ 去 NCCL 化：通过绕过复杂的 NVIDIA 集体通信库（NCCL），显著降低了 Windows 及消费级环境下多显卡协同推理的配置难度。 ▶ Blackwell 深度适配：在 RTX 50 系列显卡大规模铺货前，社区已完成底层 P2P 通信优化，预示着新一代架构在本地大模型（LocalLLaMA）领域的统治力。 ▶ 性能潜力：该更新针对 PCIe 通道优化了数据交换效率，特别是在双 5060 Ti 等中端配置上，有望实现大参数模型的高速推理。 八卦洞察 长期以来，张量并行（TP）被视为企业级 A100/H100 集群的专利，主要受限于 NCCL 在非 Linux 环境下的兼容性黑盒。llama.cpp 此次更新本质上是在软件层面“暴力拆解”了 NVIDIA 的企业级软件护城河。通过在 Blackwell 架构上实现原生的 P2P（Peer-to-Peer）内存访问，开发者正将消费级硬件推向“准服务器级”表现。这意味着，未来的 AI 开发者可能不再需要昂贵的 NVLink 桥接，仅靠 PCIe 槽位即可在双卡环境下流畅运行 70B 甚至更大规模的模型。这不仅是技术的进步，更是本地算力对云端垄断的又一次有力回击。 行动建议 对于计划构建本地推理性算力池的用户，建议密切关注 RTX 50 系列显卡的 PCIe P2P 带宽实测数据。若双 5060 Ti 或 5090 在无 NCCL 模式下表现稳定，企业应重新评估边缘侧部署（Edge Deployment）的硬件选型，优先考虑具备高带宽 PCIe 通道的 Blackwell 消费级方案，而非盲目追求昂贵的专业卡。