后训练

核心事件总结Hugging Face 专家 Niels 指出，同策蒸馏（On-policy Distillation, OPD）已跃升为 PapersWithCode 最热门的技术术语，并成为 Qwen 2.5/3、GLM-4/5 以及 DeepSeek 系列等顶级模型提升推理与对齐能力的核心后训练（Post-training）技术。▶ 范式转移：大模型训练正从依赖静态数据集的离线蒸馏，转向基于模型自身生成分布的动态在线对齐，以解决分布偏移（Distributional Shift）难题。▶ 性能引擎：OPD 是国产大模型在数学、代码及复杂推理基准测试中逼近甚至超越 GPT-4o 的关键“秘密武器”。八卦洞察同策蒸馏的火爆，本质上标志着大模型竞争进入了“数据炼金”的下半场。传统的监督微调（SFT）和离线蒸馏存在严重的“曝光偏差”——学生模型在推理时一旦偏离了预设的训练路径，就会产生幻觉或逻辑崩溃。OPD 通过让学生模型在自己的预测空间内进行探索，并由更强的教师模型（或奖励模型）实时纠偏，极大地增强了模型的鲁棒性。这解释了为什么 DeepSeek 和 Qwen 能以较小的参数规模，在长链推理任务中表现出惊人的稳定性。这种技术路径的统一，意味着“暴力美学”正在让位于“精细对齐”。行动建议对于 AI 研发团队，建议立即评估现有的后训练流水线，将重心从单纯的 SFT 转向 OPD 与 RLAIF（AI 反馈强化学习）的结合。重点应放在构建高效的在线采样（Online Sampling）基础设施上，因为 OPD 的核心瓶颈已不再是计算量，而是如何在高吞吐环境下实现教师模型与学生模型的实时交互与反馈。对于企业应用层，应关注那些采用 OPD 技术的开源模型，它们在特定垂直领域的逻辑一致性通常优于传统微调模型。

RPS（Reversed Plasticity SFT，反向塑性微调）是一种借鉴神经科学原理的 LLM 后训练新方法，通过模拟人类从幼年（高塑性/基础技能）到成年（低塑性/高级技能）的认知演化过程，显著增强了 Qwen3-8b 在程序合成等复杂任务中的逻辑稳定性。 ▶ 范式转移：RPS 颠覆了传统的统一学习率或线性衰减微调模式，将“学习率”等同于“模型塑性”，通过两阶段策略（高 LR+简单数据 → 10% 低 LR+困难数据）实现了更精准的知识固化。 ▶ 实证效果：在 Qwen3-8b 的初步测试中，该方法有效解决了模型在处理高难度代码任务时常见的逻辑崩坏问题，提升了生成代码的可靠性与一致性。 八卦洞察 RPS 的出现标志着 LLM 微调正从“暴力数据灌输”向“认知阶段管理”进化。其核心价值在于解决了后训练中的“灾难性遗忘”与“过拟合”之间的矛盾。在第一阶段，高学习率确保模型快速吸收通用指令逻辑；在第二阶段，极低的学习率则像“精细雕刻刀”，在不破坏底层架构的前提下，让模型掌握复杂的领域专家知识。这种方法对于算力受限但追求极致垂直性能的团队极具吸引力，它证明了在算法层面，模拟生物进化路径依然是提升 AI 效率的捷径。 行动建议 对于专注于代码生成、数学推理或法律/医疗等垂直领域的开发者，建议立即在现有的 SFT 流程中引入 RPS 实验。具体操作上，应重新审视数据集的“难度梯度”，并根据数据复杂度动态调整学习率步长，而非盲目追求全局收敛。此外，该方法在小参数模型（如 8B 级别）上的表现尤为突出，是优化端侧模型逻辑能力的低成本优选方案。