苹果神经网络引擎

核心事件 ANEMLL Forge 0.2.1 正式发布，实现了在 M6 Mac Mini (32GB) 上通过 Apple 神经网络引擎 (ANE) 高质量运行 Qwen3.8-27B 模型。该版本通过引入 INT8 K/V 缓存和共享输出头的投机采样技术，成功将上下文窗口推至 192K，显著提升了边缘侧长文本处理能力。 ▶ 内存效率革命：通过将 K/V 缓存从 FP16 压缩至 INT8，内存占用减半，使 32GB 内存设备能够支撑 192K 的超长上下文，打破了硬件物理限制。 ▶ 投机采样优化：采用更小的草稿模型（Drafter）并与目标模型共享输出头，在不牺牲速度的前提下节省了 0.86 GB 的 ANE 专用内存。 ▶ 性能表现分化：解码速度受内容类型影响显著，JSON 生成高达 35–62 tok/s，而散文类文本维持在 10–17 tok/s；短上下文下的 Prefill 速度可达 260 tok/s。 八卦洞察 长期以来，Mac 用户运行大模型主要依赖统一内存（Unified Memory）和 GPU 算力，而 Apple 神经网络引擎（ANE）往往处于闲置或低效利用状态。ANEMLL Forge 的这一进展标志着“边缘侧长文本”处理进入了精细化运营时代。通过对 ANE 内存布局的深度压榨，M6 Mac Mini 这种中端配置被强行拉升到了企业级 RAG（检索增强生成）工作站的水平。值得注意的是，192K 上下文的首次编译耗时高达 2 小时，这反映了 CoreML 框架在处理超大规模计算图时的固有开销，但一旦缓存完成，其推理效率足以碾压同价位的 PC 方案。 行动建议 对于拥有 32GB 及以上内存的 Mac 用户，建议立即部署 ANEMLL Forge 以替代传统的 llama.cpp 方案，尤其是在处理长文档分析任务时。开发者应关注其“共享输出头”的实现思路，这是在 ANE 显存受限环境下提升投机采样效率的最佳实践。此外，针对 128K 以上的上下文，务必调整预填（Prefill）批处理大小以防止内存溢出。