Janas：突破内存瓶颈，SSD 流式专家加载开启大模型平权新纪元

Janas 是一个专为内存受限环境设计的推理系统，通过从 SSD 流式传输混合专家模型（MoE）的专家模块，实现了在普通硬件上运行远超内存容量的大规模语言模型。

• ▶ MoE 架构的“空间换时间”红利：充分利用 MoE 模型稀疏激活的特性，将非活动参数置于 SSD，仅在推理时动态加载，将运行超大模型的内存门槛降低了数倍。
• ▶ 预取与缓存的协同优化：通过专家预取算法和 LRU 缓存策略，Janas 有效抵消了 SSD 的 I/O 延迟，解决了传统虚拟内存交换机制导致的推理性能断崖。

八卦洞察

在当前大模型竞赛中，内存容量（VRAM/RAM）已成为比算力更严峻的“马尔萨斯陷阱”。Janas 的核心价值在于它重新定义了存储层级在 AI 推理中的角色。长期以来，SSD 被视为冷存储，但在 MoE 架构下，由于每步推理仅需激活极少数专家，SSD 实际上可以充当“二级显存”。这种“按需加载”的模式不仅是技术上的折中，更是端侧 AI（Edge AI）普及的关键路径。如果说量化技术（Quantization）是从纵向压缩模型，那么 Janas 代表的流式加载则是从横向扩展了硬件的承载边界。这意味着未来 70B 甚至更高级别的模型，将不再是 H100 集群的专属，普通工作站甚至高端笔记本电脑也能通过高速 NVMe 硬盘实现流畅推理。

行动建议

对于开发者而言，应重点关注 MoE 模型的稀疏化潜力，在模型选型时优先考虑架构对流式加载的友好度。对于硬件解决方案商，应加速优化 SSD 到 GPU/NPU 的直接数据通路（如 GPUDirect Storage 技术的民用化），以进一步降低 I/O 损耗。企业在部署私有化大模型时，可以通过此类技术大幅降低硬件采购成本，实现“低配硬件跑高配模型”的降本增效。