LayerStoRm 开源：消费级显卡打破显存屏障，实现 186GiB MoE 模型与百万长文本推理

LayerStoRm 是一款基于 MIT 协议开源的实验性专家流（Expert Streaming）推理引擎，近日展示了在总计 96GB 显存的消费级硬件（2× RTX 5090 + 2× RTX 5080）上，成功运行 186GiB 的 GLM-5.3-Flash 模型，并支持 100 万 token 的超长上下文，在 8k 上下文下推理速度达到 24.5 tok/s。

• ▶ 核心突破：通过将 MoE（混合专家模型）的专家权重固定在主机内存（RAM）中，并按 token 动态获取至 GPU，LayerStoRm 彻底解耦了模型参数规模与显存容量的硬性绑定。
• ▶ 硬件降权：该技术证明了利用高带宽 PCIe 通道和系统内存，可以在万元级消费显卡阵列上运行原本需要数张 A100/H100 才能承载的顶级 MoE 模型。

八卦洞察

LayerStoRm 的出现标志着本地大模型（Local LLM）推理范式的重大转变。传统的“显存即正义”逻辑正在被“专家流”架构稀释。对于 MoE 模型而言，由于单次推理仅激活极少数专家，显存不再需要容纳全部参数，而是演变为一个高速缓存层。此举将极大推动 100B+ 规模模型在个人工作站和边缘计算节点上的普及。值得注意的是，RTX 5090 的 PCIe 5.0 支持与 LayerStoRm 的结合，实际上将推理瓶颈从显存容量转移到了系统总线带宽和内存频率上，这为未来 PC 硬件的升级路径提供了新的 AI 导向。

行动建议

对于开发者和初创企业，建议立即关注 MoE 架构的“非对称加载”优化，利用 LayerStoRm 类似的流式框架降低长文本 RAG 系统的部署成本。硬件采购方面，若以本地推理为核心，应优先考虑支持 PCIe 5.0 的主板及高频 DDR5 内存，而非盲目追求昂贵的企业级计算卡。同时，需警惕系统内存延迟对首字响应时间（TTFT）的影响，在模型量化精度与推理速度之间寻找动态平衡。