Liquid AI

核心摘要 Liquid AI 提出了一种名为“最终 Token 偏好优化”（Final Token Preference Optimization, FTPO）的新算法，旨在通过在推理阶段直接优化最终输出结果的质量，有效解决大模型在长链条推理中陷入“末日循环”（Doom Loops）的顽疾。 八卦洞察 ▶ 从过程到结果的范式转移：当前主流的思维链（CoT）过于依赖中间推理步骤的准确性，一旦某个中间环节出错，模型便会陷入死循环。FTPO 强调对最终输出的直接反馈，类似于将强化学习的焦点从“步步为营”转向“终局获胜”。 ▶ 计算效率的博弈：该方法在不增加额外推理成本的前提下，通过对模型输出分布的微调，显著提升了模型在复杂逻辑任务中的鲁棒性，这对于追求极致推理效率的边缘计算场景具有重要意义。 行动建议 对于大模型研发团队：应重新评估现有的指令微调（SFT）流程，尝试将 FTPO 纳入训练管线，以减少模型在长文本生成中的逻辑坍塌。 对于 AI 应用开发者：在构建复杂推理 Agent 时，可优先考虑采用具备此类优化机制的模型，以降低因推理路径冗长导致的系统性故障风险。

事件核心MIT 衍生初创公司 Liquid AI 正式发布了其最新的 Liquid Foundation Models (LFM) 2.5 系列。其中最受瞩目的是 8B-A1B 模型，这是一个采用 Mixture-of-Experts (MoE) 架构的 80 亿参数模型，但在推理时仅需激活 10 亿参数。该模型最令人震撼的数据在于其训练规模：在高达 38 万亿 (38T) Token 的海量数据集上进行了训练。LFM 2.5 并非基于传统的 Transformer 架构，而是采用了 Liquid AI 独有的、基于动力系统（Dynamical Systems）的新型架构，旨在解决 Transformer 在长序列处理和推理成本上的固有缺陷。技术/商业细节LFM 2.5 的核心竞争力在于其极高的“数据参数比”。通常，Llama 3.1 8B 等模型使用约 15T Token 训练，而 Liquid AI 将这一数字推高到了 38T，这意味着模型对知识的压缩率和理解深度达到了新高度。在架构层面，LFM 避开了传统 Attention 机制的二次方复杂度，实现了线性缩放。这使得 8B-A1B 模型在拥有 128K 上下文窗口的同时，其内存占用远低于同级别的 Transformer 模型。在 Benchmark 测试中，LFM 2.5 8B 在多项指标上超越了 Meta 的 Llama 3.1 8B 和 Google 的 Gemma 2 9B，尤其是在编码（Coding）和长文本推理方面表现卓越。八卦分析：全球影响Liquid AI 的这次发布向业界释放了一个强烈信号：Transformer 可能并非 AI 的终局。长期以来，硅谷一直存在“架构焦虑”，即担心 Transformer 的推理成本会限制 AI 的大规模商业化。Liquid AI 证明了通过非 Transformer 架构（如状态空间模型 SSM 或其变体）配合极致的数据喂养，可以在更小的参数规模下实现更强的性能。这对于边缘计算（Edge AI）和端侧设备具有颠覆性意义。如果 1B 激活参数的模型能达到 8B 甚至更高参数模型的水平，那么智能手机和 IoT 设备将真正具备运行复杂逻辑的能力，而无需依赖昂贵的云端 GPU 集群。战略建议对于开发者： 重点关注非 Transformer 架构的适配。LFM 2.5 提供的推理效率优势，特别是在 KV Cache 压力巨大的长文本场景下，可能是降低 RAG 应用成本的关键。对于企业决策者： 重新评估“模型大小”与“模型能力”的关系。不要盲目追求千亿级参数模型，Liquid AI 的案例证明，经过超大规模数据精炼的小模型（SLM）在特定业务场景下具有更高的 ROI。对于硬件厂商： 关注非 Transformer 算子在芯片层面的优化。随着 Liquid AI、Mamba 等架构的兴起，单纯针对 Attention 优化的硬件架构可能面临兼容性挑战。