DeepSeek V4 Flash 登陆 AMD Strix Halo：32 tok/s 开启端侧大模型性能新基准

核心事件

开发者在配备 128GB 统一内存的 AMD Ryzen AI MAX+ 395（Strix Halo 平台）上，成功实现了 DeepSeek V4 Flash 及其投机草稿模型（Speculative Draft Model）的本地化部署。该方案在单台工作站硬件上达到了 32 tok/s 的实用解码速率，且相关代码已基于 Apache-2.0 协议开源。

• ▶ 硬件突破：AMD Strix Halo 凭借超大容量的统一内存架构，彻底解决了端侧运行超大规模模型时常见的显存（VRAM）瓶颈问题。
• ▶ 算法红利：通过引入投机采样（Speculative Decoding）技术，在不牺牲模型精度的前提下，显著提升了端侧推理的吞吐量。
• ▶ 开源生态：该项目的开源不仅为 Strix Halo 用户提供了即插即用的工具链，也为企业级私有化部署提供了高性能的参考范式。

八卦洞察

DeepSeek V4 Flash 在 AMD 顶级 APU 上的表现，标志着端侧 AI 算力正经历从“玩具级”向“生产力级”的质变。AMD 的统一内存策略正在精准打击 NVIDIA 中低端显卡在本地推理市场的痛点——显存容量不足。对于 DeepSeek 而言，其模型在高性能消费级硬件上的适配能力，将进一步巩固其在开源大模型领域的统治地位。这不仅是硬件的胜利，更是算法优化与异构计算深度融合的必然结果。

行动建议

对于企业架构师，建议重新评估基于 AMD Strix Halo 平台构建本地 RAG（检索增强生成）或私有化代码助手的 TCO（总拥有成本），其性价比可能已超越传统的“CPU+中端独显”方案。对于开发者，应重点关注投机采样技术在不同统一内存架构下的优化空间，这已成为提升端侧 LLM 用户体验的关键技术路径。