突破显存枷锁：SSD 串流技术助力 177B 超大模型在消费级显卡实现 10 tok/s 推理

事件核心

近日，LocalLLaMA 社区的一项突破性进展引起了全球 AI 开发者的高度关注。一名开发者通过自研推理引擎，成功在仅配备 16GB 显存的 RTX 5060 Ti 显卡和 32GB 内存的普通 PC 上，运行了参数量高达 177B 的 Qwen3.8-Flash-Next 模型。该方案采用了 NVFP4（Nvidia Floating Point 4-bit）量化技术，将 119GiB 的模型主体驻留在 SSD 中，通过按需串流（Streaming）专家模块的方式进行推理，目前已实现 9-10 tok/s 的解码速度。

技术/商业细节

• MoE 架构的稀疏性红利： 该突破的核心在于充分利用了混合专家模型（MoE）的特性。在推理过程中，模型仅需激活少数专家模块。通过 SSD 串流技术，系统无需将整个 119GiB 模型载入显存，而是根据输入动态从 SSD 读取所需的专家权重。
• NVFP4 量化与存储优化： 采用 NVFP4 量化不仅大幅压缩了模型体积，还保持了极高的推理精度。119GiB 的体积使得模型可以轻松存放在主流 NVMe SSD 中，而 SSD 的顺序读取速度成为了性能的关键瓶颈。
• 推理引擎的异步优化： 开发者透露，目前的 9-10 tok/s 仅是初步成果。通过进一步优化 SSD 预取算法和并行 IO 处理，v2 版本预计将速度提升至 14-15 tok/s，这已经达到了许多云端 API 的响应水平。

八卦分析：全球影响

「八卦情报局」认为，这一进展标志着大模型推理从“显存竞赛”向“IO 优化”的范式转移。长期以来，运行超大模型（100B+）被认为是企业级 GPU（如 H100/A100）的专利，普通用户被挡在门外。SSD 串流技术的成熟，实际上是在软件层面通过极高的 IO 吞吐量弥补了硬件显存的短板。

从全球产业链来看，这对于存储厂商（如三星、美光）是重大利好。未来高性能 AI PC 的定义可能不再仅仅取决于算力（TOPS），还取决于 SSD 的读取带宽和 PCIe 通道的速率。同时，这也将加速 MoE 架构的普及，因为这种架构天生适合这种“空间换时间”的推理策略。

战略建议

• 对开发者： 关注“异构存储推理”技术。不要局限于显存优化，应探索如何利用 PCIe 5.0 SSD 的高带宽来构建本地超大模型应用。
• 对硬件厂商： 消费级硬件的营销重心应向“AI IO 吞吐”倾斜。高速 NVMe 接口与 GPU 之间的直接数据传输（如 GPUDirect Storage 的民用化）将成为核心卖点。
• 对企业端： 考虑降低对昂贵 H100 集群的依赖。对于非实时、高吞吐的离线批处理任务，基于 SSD 串流的低成本工作站方案展现出了极高的 ROI 潜力。