权重流转

核心事件 开发者 carloslfu 推出的开源项目 SlotStream 通过“权重流转”（Weight Streaming）技术，成功在仅有 48GB 内存的 Mac 设备上运行了 104GB 的 Qwen 模型，且推理速度达到可用的 12 tok/s，彻底打破了本地大模型推理对物理显存容量的硬性依赖。 ▶ 核心突破：利用 Apple Silicon 的统一内存架构与高速 NVMe SSD，将模型权重按需从磁盘流式传输至内存，而非一次性全部加载。 ▶ 性能表现：在模型体积远超物理内存（2.1倍）的情况下，依然保持了每秒 12 个 Token 的生成速度，足以满足大多数本地交互场景。 八卦洞察 SlotStream 的出现标志着本地 AI 推理正从“显存容量竞赛”转向“I/O 带宽优化”。长期以来，运行 70B 及以上参数的模型被认为是专业级工作站的特权，但 SlotStream 证明了通过精密的调度算法，SSD 可以作为“二级显存”参与计算。这种“以空间换时间，以带宽补容量”的策略，极大延长了存量 Mac 设备的生命周期。更深层的影响在于，它削弱了 NVIDIA 在高显存 GPU 上的垄断溢价——如果消费级硬件能通过流转技术运行 100B+ 模型，开发者对昂贵 H100/A100 的依赖将在特定开发场景下显著降低。 行动建议 开发者：关注“权重流转”与“分片加载”技术，在构建边缘计算或本地 RAG 应用时，应优先考虑 I/O 吞吐优化而非单纯追求内存扩容。 企业采购：在评估本地 AI 开发设备时，SSD 的读写带宽（如 Mac 的高速统一架构）应被视为与显存同等重要的核心指标。 模型厂商：应针对流式推理优化模型结构，例如采用更易于分片加载的层级设计，以适配未来的低显存运行环境。