Liquid AI 提出“最终 Token 偏好优化”（FTPO）：破解大模型推理“末日循环”的新路径

核心摘要

Liquid AI 提出了一种名为“最终 Token 偏好优化”（Final Token Preference Optimization, FTPO）的新算法，旨在通过在推理阶段直接优化最终输出结果的质量，有效解决大模型在长链条推理中陷入“末日循环”（Doom Loops）的顽疾。

八卦洞察

• ▶ 从过程到结果的范式转移：当前主流的思维链（CoT）过于依赖中间推理步骤的准确性，一旦某个中间环节出错，模型便会陷入死循环。FTPO 强调对最终输出的直接反馈，类似于将强化学习的焦点从“步步为营”转向“终局获胜”。
• ▶ 计算效率的博弈：该方法在不增加额外推理成本的前提下，通过对模型输出分布的微调，显著提升了模型在复杂逻辑任务中的鲁棒性，这对于追求极致推理效率的边缘计算场景具有重要意义。

行动建议

• 对于大模型研发团队：应重新评估现有的指令微调（SFT）流程，尝试将 FTPO 纳入训练管线，以减少模型在长文本生成中的逻辑坍塌。
• 对于 AI 应用开发者：在构建复杂推理 Agent 时，可优先考虑采用具备此类优化机制的模型，以降低因推理路径冗长导致的系统性故障风险。