大模型“瘦身”奇迹：276B参数模型在10GB内存Mac上实现本地运行

核心事件

继 Mference 框架更新后，由 Thinking Machines 开发的 Inkling-Small 276B-A12B 模型现已支持在 Apple Silicon 设备上运行。该模型基于 4-bit MLX 转换版本，在总参数量高达 276B 的情况下，通过 MoE（混合专家）架构仅激活约 12B 参数。实测显示，在 M5 芯片设备上，该模型仅需 9.48GB 峰值内存即可实现约 2.86 tok/s 的解码速度。

• ▶ 稀疏激活的技术红利：尽管磁盘占用高达 148GB，但得益于 MoE 架构的稀疏性，实际推理时仅需加载激活路径上的专家权重，彻底打破了“超大模型必须超大显存”的固有认知。
• ▶ MLX 生态的统治力：此次突破再次证明了 Apple MLX 框架在统一内存架构下的极致优化能力，使得消费级 Mac 正在成为超大规模本地模型实验的首选平台。

八卦洞察

这一进展标志着本地 AI 推理进入了“大模型、小开销”的新阶段。Inkling-Small 的表现揭示了一个残酷的行业真相：模型规模（Total Params）与运行门槛（Memory Floor）正在脱钩。对于开发者而言，这意味着可以在不牺牲模型深度和知识容量的前提下，利用 MoE 架构在端侧设备上运行以往只有云端集群才能承载的参数规模。这种“空间换智能”的策略，将极大加速高阶推理能力向个人计算终端的渗透。

行动建议

1. 架构转向：建议端侧 AI 开发者优先关注 MoE 架构而非单纯的密集型小模型（SLM），利用稀疏性在有限内存下换取更高的逻辑推理上限。
2. 硬件选型：企业级本地化部署应重新评估 Apple Silicon 设备的性价比，尤其是在处理需要大参数量支撑的复杂 RAG 任务时。
3. 工具链跟进：密切关注 Mference 等推理加速框架对 MLX 的底层优化，这是目前实现超大规模模型本地化落地的关键路径。