移动端推理

Qwen3.8-Flash-Next 模型已通过 BigMoeOnEdge 推理框架及 IQ3_XXS 极端量化技术，在小米 14T Pro 手机 CPU 上实现了完全本地化运行，标志着高性能 MoE 模型在移动端部署取得新突破。 ▶ MoE 架构的移动端下沉：Qwen 系列的“Flash”版本配合 MoE（混合专家模型）优化框架，证明了即使不依赖 NPU，仅靠手机 CPU 也能处理复杂的本地推理任务。 ▶ 极端量化成为端侧标配：IQ3_XXS 等超低比特量化技术的应用，在极度压缩内存占用的同时，保留了模型的核心逻辑能力，是 SLM（小语言模型）落地移动端的关键。 八卦洞察 此次 Qwen3.8-Flash-Next 在小米 14T Pro（搭载天玑 9300+）上的成功运行，不仅是极客的性能秀，更是“Local-First AI”趋势的里程碑。长期以来，移动端 AI 依赖云端 API 或受限于极小参数模型，而 Qwen 的 Flash 系列通过架构优化，正在打破这一僵局。值得注意的是，BigMoeOnEdge 推理引擎对 MoE 结构的针对性优化，解决了传统框架在处理专家切换时的延迟痛点。这预示着未来个人助理将不再是“联网才聪明”，而是真正驻留在端侧的隐私安全大脑。对于国产大模型而言，Qwen 在端侧生态的抢跑，将极大增强其在 Android 阵营中的开发者粘性。 行动建议 对于应用开发者，应立即评估 MoE 架构模型在端侧替代传统 Dense 模型的可能性，特别是在隐私敏感型场景（如本地文档摘要、私人日程管理）。硬件厂商则需进一步优化 CPU 缓存与内存带宽，以适应 MoE 模型频繁的权重切换需求。建议关注 BigMoeOnEdge 等新兴推理后端，探索其在非 NPU 环境下的性能极限。

核心事件 Liquid AI 近期发布了 LFM2.5-VL-3B 视觉语言模型，该模型拥有 3.1B 参数，量化后体积仅约 2GB。近日有开发者在移动设备（据称为 iPhone 17 测试环境）上成功实现了该模型的本地推理，通过摄像头识别出《我的世界》史蒂夫玩偶，标志着高性能非 Transformer 架构在边缘侧多模态任务中的关键进展。 ▶ 架构范式转移：Liquid AI 采用线性递归单元（LRU）架构，避开了传统 Transformer 在处理长序列和视觉输入时的 KV Cache 内存瓶颈，使 3B 级别的视觉模型能以 2GB 的极低显存占用适配手机。 ▶ 边缘侧多模态落地：尽管单次推理耗时达 151 秒，显示出当前移动端算力与复杂视觉推理之间的缺口，但其识别精度证明了小型化模型在本地处理复杂视觉语义的可行性。 八卦洞察 Liquid AI 的这次“秀肌肉”实际上是对 OpenAI 和 Google 主导的 Transformer 路线的一次有力挑战。在 AI 业界，大家都在谈论“内存墙”（Memory Wall），而 Liquid AI 的架构优势在于其恒定的状态空间复杂度。对于移动端和可穿戴设备而言，内存比算力更昂贵。LFM2.5-VL-3B 能够在 2GB 内存下运行，意味着它不仅是为手机准备的，更是为未来的 AR 眼镜和嵌入式设备量身定制。虽然 2 分半钟的推理延迟在用户体验上是灾难性的，但随着 NPU 算力的迭代，这种架构上的轻量化将成为端侧 AI 爆发的真正基石。 行动建议 1. 开发者侧：应开始关注非 Transformer 架构（如 SSM, Liquid, Mamba）的模型生态，特别是在资源受限的边缘计算场景，这些架构可能比单纯的 Transformer 量化更具效能比。 2. 硬件厂商：需加速针对非线性算子的硬件加速优化，未来的端侧 AI 竞争将不仅是算力（TOPS）的竞争，更是对多样化模型架构兼容性的竞争。 3. 企业应用：对于隐私敏感度高、需离线运行的视觉识别任务（如工业巡检、私人助理），Liquid AI 提供的轻量化视觉方案是目前值得调研的技术路径。