几何稳定性

本研究通过李雅普诺夫谱（Lyapunov spectrum）分析揭示了解码器 Transformer 模型中的一个关键几何规律：MLP 层与注意力层谱范数的比例（Spectral Ratio）直接决定了模型是否会陷入“秩-1 坍缩”。研究指出，将该比例维持在 0.5–2 之间是确保模型直至最终层仍具备几何稳定性的核心逻辑。 ▶ 秩-1 坍缩（Rank-1 Collapse）的预警指标：研究发现，当模型在深层失去表达多样性、所有 token 向量趋同（即秩坍缩）之前，MLP 与 Attention 的谱范数比例会首先失衡。 ▶ 0.5–2 的“黄金区间”：实验表明，若该比例偏离此区间，模型能量将过度向某一组件倾斜，导致几何结构在传递过程中迅速退化。 ▶ 超越梯度监控的诊断工具：谱比分析提供了一种比传统损失函数或梯度范数更敏感的底层诊断手段，能提前捕捉到训练过程中的“无声失败”。 八卦洞察 在当前大模型（LLM）疯狂堆叠参数的背景下，这项研究触及了一个被长期忽视的痛点：架构的几何健康度。长期以来，业界对 MLP 和 Attention 的配比多基于经验主义（如 4:1 的隐藏层维度比），但这种静态配比忽略了训练动态中的“能量漂移”。李雅普诺夫谱的引入，实际上是将动力系统理论引入了 Transformer 的稳定性分析。这意味着，未来的架构设计可能不再仅仅是参数量的游戏，而是关于如何维持特征空间在高维传递中不发生“坍缩”的精密几何对齐。对于追求极深层模型或长文本稳定性的团队来说，这提供了一个极具价值的监控维度。 行动建议 1. 引入谱范数监控：在预训练（Pre-training）的观测指标（Observability Stack）中加入各层 MLP 与 Attention 的谱范数比例监控，将其作为模型健康度的早期预警信号。2. 动态初始化调整：若在实验阶段发现比例持续偏离 0.5–2 区间，应考虑调整初始化增益（Gain）或引入层级缩放（Layer-wise Scaling）来强行拉回几何平衡。3. 优化残差连接设计：在设计新型 Transformer 变体时，应评估不同残差分支对谱比的影响，确保能量在 Token 混合（Attention）与特征变换（MLP）之间均匀分配。