浏览器运行80B大模型：llama.cpp WebGPU后端实现MoE专家磁盘流式传输

llama.cpp的WebGPU后端现已正式集成磁盘分页（Disk Paging）技术，支持在Chrome浏览器中直接运行Qwen3-Next 80B等超大规模MoE模型，通过从磁盘实时流式传输专家模块，彻底打破了浏览器环境下的显存限制。

• ▶ 显存瓶颈的降维打击：通过按需加载MoE专家权重，该技术允许在显存远小于模型体积的设备上运行80B规模模型，将推理门槛从“昂贵显卡”降至“高速SSD”。
• ▶ 从实验性到通用化：此前该功能仅限于特定手写引擎，现已整合进主流的llama.cpp框架，意味着所有符合GGUF格式的MoE模型均可无缝接入Web生态。
• ▶ Web端AI分发的范式转移：WebGPU与磁盘流控的结合，标志着浏览器正从简单的展示层进化为高性能本地推理终端，实现了“零安装”的大模型部署。

八卦洞察

这一突破的核心在于对MoE（混合专家模型）稀疏性的极致利用。在推理过程中，MoE模型仅需激活少数专家，这为磁盘I/O替代显存提供了物理基础。尽管推理速度受限于磁盘读取带宽，但对于非实时对话、长文本处理等场景，这种“空间换规模”的策略极具杀伤力。它实际上将AI竞争的战场从显存容量拉回到了存储吞吐量，这对于拥有高性能NVMe硬盘的消费级PC和Mac用户而言是重大利好。更深层的意义在于，它削弱了云端API的垄断力，让复杂的SOTA模型能够以极低成本触达终端用户。

行动建议

• 开发者侧：应立即关注GGUF格式在Web端的适配，针对MoE架构进行量化策略优化，以平衡磁盘读取压力与推理精度。
• 企业应用：可探索基于WebGPU的“内网私有化部署”方案，利用员工电脑的本地算力处理敏感数据，无需部署复杂的客户端环境。
• 硬件考量：在评估AI PC性能时，高速SSD的随机读取性能（IOPS）将成为除算力（TOPS）之外的另一个关键指标。