端侧推理

核心事件 MTPLX 是一款专为 Apple Silicon 架构深度优化的原生 MTP（Multi-Token Prediction）推理引擎，通过直接调用模型内置的 MTP 头，在 MacBook Pro M5 Max 上实现了 Qwen3.6-27B 模型推理速度 2.24 倍的飞跃。 八卦洞察 ▶ 打破内存瓶颈： 传统投机采样（Speculative Decoding）依赖外部草稿模型，往往造成显存/内存冗余与同步开销；MTPLX 通过原生 MTP 架构，在不增加额外内存占用的前提下实现并行预测，这是端侧 AI 性能优化的新范式。 ▶ 底层硬件协同： 该引擎精准利用了 Apple Silicon 的统一内存架构与 Metal 算力，证明了针对特定芯片架构进行“深度定制化推理”比通用的 CUDA 兼容方案更能释放端侧算力潜力。 行动建议 对于开发者：应密切关注支持 MTP 架构的模型权重，优先在端侧部署此类模型以获得即时的性能红利。 对于硬件厂商：Apple Silicon 的统一内存优势正被推理引擎厂商深度挖掘，未来端侧推理的竞争将从单纯的算力堆叠转向“模型架构与硬件指令集的深度耦合”。