xHC：扩展超连接——重塑大模型残差流的“第三种缩放维度”

xHC（Expanded Hyper-Connections）通过将Transformer的残差流扩展为N个并行流，打破了传统深度与宽度的二元缩放限制，为提升模型智能开辟了全新的拓扑缩放路径。

• ▶ 突破N=4瓶颈： 相比此前止步于4个并行流的超连接技术，xHC成功实现了更深层次的残差流扩展，证明了增加并行流数量是提升模型表征能力的有效手段。
• ▶ 稳定性与效率并重： 结合流形约束（mHC）的优势，xHC在大规模参数下依然保持了优异的训练稳定性，解决了多流架构容易出现的梯度爆炸或消失问题。
• ▶ 缩放定律的新变量： 实验表明，残差流的扩展（N维度）与模型深度和宽度具有互补效应，为算力受限下的模型性能优化提供了新思路。

八卦洞察

在主流AI研究仍沉浸在增加层数（Depth）或隐藏层维度（Width）时，xHC的出现标志着架构设计进入了“拓扑缩放”时代。传统的Transformer残差连接本质上是一条“单行道”，而xHC将其改造为“多车道高速公路”。这种改变不仅是参数量的堆砌，更是对信息流转效率的重构。Bagua Intelligence认为，xHC的真正潜力在于它可能改变我们对Scaling Laws的理解：当传统的宽度缩放遇到边际效用递减时，增加残差流的并行度（N）或许是通往下一代推理能力的关键。此外，这种架构对内存访问模式的改变，也将倒逼底层算子（如FlashAttention的变体）进行针对性优化。

行动建议

对于模型架构师，建议在自研底座模型时，将残差流并行度作为超参数进行消融实验，特别是在追求极致推理性能的场景下；对于AI基础设施供应商，应关注此类非线性连接架构带来的内存带宽压力，提前布局支持多流并行计算的底层库。初创团队可尝试在较小规模模型上通过增加N值来模拟更大规模模型的表现，以实现“以小博大”。