口袋级推理基准测试：智能手机正式进入“本地大模型”实用时代

最新基准测试数据显示，以 iPhone 15 Pro 和三星 S24 Ultra 为代表的旗舰手机在运行 Llama 3 8B 等主流大模型时，已能稳定达到 10-30 tokens/second 的推理速度，标志着端侧 AI 正式跨越“可用性”门槛。

• ▶ 硬件性能释放： 苹果 A17 Pro 与高通骁龙 8 Gen 3 的 NPU 表现强劲，在 4-bit 量化下，8B 规模的模型已能实现流畅的人机交互。
• ▶ 内存瓶颈凸显： 尽管算力充足，但移动端有限的统一内存（Unified Memory）和带宽仍是限制 10B 以上模型运行的核心枷锁。

八卦洞察

「八卦资本」认为，这场“口袋里的革命”本质上是生成式 AI 从云端垄断向边缘民主化的权力转移。10-30 TPS 的速度意味着用户在进行基础文本创作、本地 RAG（检索增强生成）或隐私敏感型任务时，完全可以脱离昂贵的云端 API。这不仅会重塑 App 的订阅模式，更将迫使苹果和谷歌在操作系统底层深度集成推理引擎。目前，软件框架（如 MLC LLM 和 ExecuTorch）的优化效率甚至比硬件迭代更具决定性，端侧推理的“摩尔定律”正由算法压缩和算子优化共同驱动。

行动建议

• 开发者端： 立即转向“端云协同”架构。将低延迟、高隐私需求的 RAG 任务下放到端侧，利用 4-bit 量化模型降低运营成本。
• 企业端： 关注移动端 NPU 的特定内核优化。在评估硬件采购时，内存带宽应作为比 CPU 频率更优先的 AI 性能指标。
• 投资端： 重点布局模型压缩（Pruning/Quantization）技术以及跨平台推理框架，这些是打通端侧 AI 最后一百米的“卖水人”。