异构计算突破：Strix Halo + RTX 3090 Ti 协同优化，Qwen3-27B 推理性能飙升 16 倍

核心事件

通过对 llama.cpp 的深度调优及 159 次层放置（Layer Placement）与 KV 格式实验，开发者在 AMD Strix Halo（128GB 统一内存）与 RTX 3090 Ti eGPU 的异构组合上，将 Qwen3-27B 在 262K 长文本下的推理速度从 9.5 tok/s 提升至 153 tok/s，在 HumanEval 评测中击败了双 RTX 3090 的 vLLM 服务器方案。

• ▶ 异构协同新范式： 成功实现单个 llama.cpp 进程跨 Vulkan（AMD）与 CUDA（NVIDIA）后端运行，利用 Strix Halo 的海量统一内存承载长文本 KV Cache，由 3090 Ti 负责核心计算。
• ▶ 软件定义的性能飞跃： 性能的量变并非来自硬件升级，而是源于对模型层放置策略的极致优化，证明了在边缘侧处理超长上下文的可行性。

八卦洞察

此案例揭示了本地大模型（Local LLM）领域的一个关键趋势：显存容量的优先级正在超越纯算力 TFLOPS。 传统的双 3090 方案虽然算力强劲，但在处理 262K 这种极端上下文时，受限于显存碎片化和 PCIe 带宽瓶颈，表现反而不如“APU + eGPU”的混血方案。AMD Strix Halo 的 128GB 统一内存成为了解决 RAG 和长文本推理“内存墙”问题的奇兵。这标志着 NVIDIA 在高性能推理市场的绝对垄断正受到异构软件生态（如 llama.cpp 的多后端支持）的有力挑战。

行动建议

• 针对开发者： 放弃对单一 CUDA 环境的依赖，积极探索 llama.cpp 的 Vulkan 与 RPC 调度机制，利用统一内存架构（UMA）处理长文本任务。
• 针对企业部署： 在构建本地化 RAG 系统时，应重新评估硬件投资组合。高带宽、大容量内存的 APU 平台配合中端 GPU，可能比昂贵的 A100/H100 租赁方案更具性价比。