M5 Max

开发者社区近日发布了针对 Apple M5 Max 芯片深度优化的 Splash 引擎分支版本——Splish，通过 AI 辅助重构底层算子，实现了综合推理速度 1.5 倍、单次请求 1.25 倍的性能飞跃。 ▶ 硬件原生适配的红利： 相比于追求向下兼容的通用版本，Splish 放弃了对 M1 等旧款芯片的兼顾，转而全力压榨 M5 Max 的计算带宽与指令集特性。 ▶ AI 驱动的底层重构： 该项目利用 Claude 3.5 Opus（原帖提及为 Opus 5.5）进行代码优化，标志着 AI 辅助编程已从应用层深入到高性能计算（HPC）的内核优化领域。 八卦洞察 Splish 的出现揭示了本地大模型（Local LLM）生态的一个重要转向：从“通用适配”走向“极致私有化定制”。长期以来，Apple Silicon 的统一内存架构（UMA）虽强，但开源推理框架往往为了兼容性而采取保守策略。Splish 的成功证明，针对 M5 Max 这一类高性能 SoC 进行“反向移植”和特定优化，可以释放出远超官方预期的潜力。这也暗示着未来高性能本地推理将不再依赖单一的通用库，而会演变成针对特定芯片制程的定制化算子竞赛。 行动建议 对于追求极致性能的本地 AI 开发者和企业，建议立即关注 Metal 框架下的硬件亲和性（Hardware Affinity）优化。在 M5 系列设备普及背景下，放弃“一刀切”的编译方案，转向针对特定架构（如 M5 Max 的算力核心分布）的定制化部署，将成为提升 RAG 响应速度和长文本处理能力的低成本捷径。同时，应积极探索利用高阶 LLM 辅助进行 C++/Metal 算子的重写与调优。

社区用户在 128GB 内存的 M5 Max 顶级配置上，利用 llama.cpp 首发分支对阶跃星辰（StepFun）最新发布的 3.7 Flash 模型进行了深度性能压测，揭示了国产大模型在顶级端侧硬件上的真实吞吐上限。 ▶ 内存墙挑战：在 Q4_K_S 量化下，模型内存峰值占用突破 120GB，几乎吃满 M5 Max 的 128GB 统一内存，导致系统出现轻微卡顿，这预示着超大参数 Flash 模型在端侧部署已触及当前消费级硬件的天花板。 ▶ 极致吞吐表现：实测生成速度达到 62.8 t/s，Prompt 处理（Prefill）速度最高冲至 1056.65 t/s。在 16k 以内的短上下文场景下响应近乎瞬时，即便在 32k-64k 的长文本压力下，性能依然保持在商用可用区间。 八卦洞察 阶跃星辰 3.7 Flash 在 llama.cpp 社区的快速适配，标志着国产大模型正从“API 依赖”转向“本地优先”的全球开发者生态。此次测试数据极具代表性：1000+ t/s 的预处理速度意味着 RAG（检索增强生成）系统的首字延迟（TTFT）将被压缩到极致。然而，M5 Max 128GB 版本的“捉襟见肘”也释放了一个明确信号：未来的端侧 AI 竞争，本质上是模型压缩算法与统一内存带宽的生死时速。StepFun 能够在保持高参数量性能的同时，在 Apple Silicon 上实现如此高的吞吐，证明其架构在 KV Cache 优化上具有显著优势。 行动建议 对于追求极致隐私与低延迟的企业级应用，建议优先布局 M5 Max 或 Ultra 级别的硬件矩阵，并重点关注 Q4 以下的混合量化方案以释放系统内存压力。开发者应针对 llama.cpp 的最新分支进行针对性编译优化，利用 Apple Silicon 的 AMX 指令集进一步压榨 StepFun 3.7 Flash 在长上下文 RAG 场景下的吞吐潜力。