异构计算

本文深度对比了主流推理引擎 vLLM、SGLang 与 llama.cpp 在由 Blackwell（RTX 5090）与 Ada（RTX 6000 Ada、4090）架构组成的 7 卡异构集群上的实测表现，重点关注长上下文预填充（Prefilling）任务中的流水线并行（Pipeline Parallelism）效率。 ▶ FP4 时代的工业级落地：测试显示 vLLM 和 SGLang 已全面拥抱 NVFP4，而 llama.cpp 则通过 MXFP4 实现 4-bit 权重推理。这标志着低比特量化已从实验室走向 Blackwell 架构的生产环境，成为提升吞吐量的核心手段。 ▶ 异构集群的“长板效应”：在混合 RTX 5090 与 4090 的复杂环境下，推理效率不再仅取决于单卡算力，而在于引擎对流水线并行的调度能力。SGLang 在处理长上下文 RAG 任务时的预填充速度表现出更强的架构适应性。 八卦洞察 从这份硬核测评中，我们看到了 AI 推理层正在发生的范式转移。Blackwell 架构引入的 FP4 硬件加速不仅是规格参数的提升，它迫使推理引擎必须重写底层 Kernel 以适配新的数据格式。目前 SGLang 凭借更激进的内存管理和算子优化，在异构集群中展现出了超越 vLLM 的灵活性。值得注意的是，llama.cpp 尽管在企业级并发上稍逊，但在多架构混合（Heterogeneous）支持上的兼容性极高，这为预算有限、依赖“拼凑算力”的初创公司提供了极佳的替代方案。未来的竞争焦点将从单纯的吞吐量转向“算力碎片化”环境下的资源调度效率。 行动建议 针对 Blackwell 用户：若已部署 RTX 50 系列或 B200，应优先选择支持原生 FP4 Tensor Core 加速的 SGLang 或 vLLM 分支，以最大化硬件利用率。 针对混合架构集群：在 40 系列与 50 系列混插的场景下，建议采用 Pipeline Parallelism 策略，并重点监控各阶段的显存碎片，SGLang 的 RadixAttention 在此类场景下具有显著的预填充优势。 关注量化标准：密切关注 NVFP4 与 MXFP4 的精度损失差异，在长文本 RAG 场景中，建议进行针对性的困惑度（Perplexity）测试，防止过度量化导致模型逻辑崩坏。

事件核心近日，Reddit 社区 LocalLLaMA 的一名开发者发布了关于在 macOS 上运行 NVIDIA GPU（特别是最新的 Blackwell 架构）的突破性进展。该研究不仅成功让系统识别出 Blackwell 显卡并加载驱动，更在调试过程中挖掘出了苹果一直未公开的“秘密武器”：macOS 内核中隐藏的 RDMA（远程直接内存访问）子系统符号。这意味着 Apple 的 Metal 框架可能已经具备了支持 GPU 缓冲区进行零拷贝（Zero-copy）网络传输的能力，这为高性能分布式 AI 计算在 Mac 平台上的落地扫清了底层技术障碍。技术/商业细节在技术层面，该项目的核心挑战在于 GSP（GPU System Processor）固件在通过 Thunderbolt 5（TB5）连接时的启动失败问题。虽然 Blackwell 显卡已被 macOS 识别，但由于 TB5 的某些协议特性，GSP 固件无法正常初始化，目前该开发者正与 George Hotz 的 tinygrad 团队协作攻关。然而，更具产业冲击力的发现是调试器中暴露的 RDMA 符号。RDMA 允许网络设备直接访问内存，无需 CPU 干预，从而极大地降低了延迟和 CPU 负载。在 macOS 中发现针对 Metal GPU 缓冲区的 RDMA 支持，暗示了苹果正在底层构建一套类似于 NVIDIA GPUDirect RDMA 的架构。这意味着，未来在多台 Mac 或 Mac 与外部加速器之间，数据可以实现真正的“无感”高速流转，彻底打破了统一内存架构（UMA）仅限于单机内部的局限性。八卦分析：全球影响「Bagua Intelligence」认为，这一发现彻底改写了我们对苹果 AI 战略的认知。长期以来，业界认为苹果的“围墙花园”是封闭且排斥第三方高性能硬件的，但 RDMA 符号的出现表明，苹果在底层架构上早已为“数据中心级”的互联做好了准备。首先，这暗示了苹果可能正在秘密研发自己的高性能集群互联协议，以支撑未来 M 系列芯片在服务器端的扩张。其次，这也为异构计算留下了后门——如果 macOS 支持标准的 RDMA 流程，那么通过高性能互联手段将 NVIDIA GPU 集群与 Mac 控制节点整合，在技术上将变得异常顺滑。这不仅是硬件发烧友的胜利，更是对当前 AI 算力格局的一次潜在搅局：如果 Mac 能成为高效管理 NVIDIA 算力的“头节点”，苹果在企业级 AI 市场的地位将产生质变。战略建议对于 AI 开发者和算力架构师，我们建议密切关注 tinygrad 社区在 macOS 驱动层的进展，尤其是针对 GSP 固件的补丁。一旦 TB5 链路下的固件初始化问题解决，Mac 将成为运行本地大模型（LLM）的最强异构平台之一。对于企业决策者，应重新评估 Apple Silicon 在分布式推理集群中的角色。苹果隐藏的 RDMA 能力预示着其未来可能推出针对 AI 基础设施的专用软件栈。现在开始布局基于 Metal 与 RDMA 的混合算力架构，可能在未来 12-18 个月内获得显著的性能与能效比优势。不要被苹果的封闭外壳所迷惑，其底层架构正在向高性能计算（HPC）全面靠拢。