突破端侧限制：Noema 通过分页技术在 iPhone 17 Pro 上运行 Gemma 4 26B 模型

核心事件

Noema 团队展示了其最新技术成果：通过 Noema Overfit 框架的分页机制（Model Paging），在 iPhone 17 Pro 上成功运行了 Q4_K_M 量化版本的 Gemma 4 26B A4B 模型。该方案将非专家权重保留在 RAM 中，而将专家权重进行动态分页管理，实现了超大模型在移动端的流畅运行。

• ▶ 端侧 MoE 的胜利： 26B 参数规模的模型进入手机端，标志着 Mixture of Experts (MoE) 架构在端侧推理中已成为突破物理内存限制的主流方案。
• ▶ 内存分页技术的复兴： 通过智能调度专家权重的换入换出，Noema 证明了即便在 RAM 有限的设备上，也能通过牺牲极小延迟换取极高模型能力的飞跃。

八卦洞察

此次演示的核心价值不在于“跑通”，而在于“如何跑通”。Gemma 4 26B A4B（Active 4 Billion）的设计初衷就是为了平衡性能与功耗。Noema 的“Overfit”框架实际上是在挑战苹果生态的封闭内存管理。在 iPhone 17 Pro 这一（预期的）高性能平台上，这种分页技术预示着未来的端侧 AI 将不再局限于 3B 或 7B 的“小模型”，而是向 20B+ 级别的“中量级”模型演进。这意味着更复杂的逻辑推理和 RAG 能力将无需上传云端，直接在本地完成闭环，这对于隐私敏感型应用和低延迟交互场景是颠覆性的。

行动建议

• 开发者视角： 紧跟 MoE 架构的优化趋势。未来的端侧开发重点将从单纯的量化转向“内存-闪存”的高效调度算法，建议关注 Noema 这种针对特定硬件层的分页优化方案。
• 硬件与架构： 关注 UFS 4.0+ 及更高带宽存储对端侧 AI 的支撑作用。对于 AI 硬件厂商，提升存储读取速度（IOPS）在某种程度上比单纯堆叠 RAM 容量更具成本效益。