八卦情报:微软证实 OpenAI 在 GPT-6 系列中采用循环 Transformer 架构
事件核心
微软官方文档近期意外披露,OpenAI 在 GPT-6 系列模型中引入了“循环 Transformer”(Looped Transformers)架构,这一细节证实了此前《The Information》关于 OpenAI 架构演进的报道。根据披露,GPT-6.1 (代号 Sol) 采用了两阶段推理过程,而非传闻中的三阶段。关于“GPT-6 与 6.1 共享基础权重”的表述,业内分析认为这指向了 OpenAI 正在推行一种基于同一基座模型(Base Model)进行差异化后训练(Post-training)的标准化生产路径。
技术/商业细节
循环 Transformer 的核心在于通过权重共享(Weight Sharing)机制,让模型在推理过程中多次反复调用同一组参数。这种方法显著降低了推理时的内存占用,并能通过增加推理步数(Inference Steps)来提升模型在复杂逻辑任务上的表现。GPT-6.1 Sol 采用两阶段推理,意味着模型在处理长链条思考任务时,通过循环迭代实现了类“思维链”的自我纠错,这标志着大模型从单纯的“预测下一个 Token”向“动态推理引擎”演进。
八卦分析:全球影响
OpenAI 这一架构调整释放了两个关键信号:首先,计算效率已成为模型规模化竞争的胜负手,循环架构是应对高昂推理成本的直接手段;其次,OpenAI 正在尝试通过“基座模型+循环推理”的组合,弱化对超大规模参数量的依赖,转而追求推理深度。对于竞争对手而言,这意味着单纯堆砌参数的 Scaling Law 可能即将触顶,算法架构的“循环化”将成为下一阶段技术护城河。
战略建议
企业在评估大模型选型时,应从关注“参数规模”转向关注“推理效率与逻辑深度”。对于开发者,需关注循环架构对 RAG 系统及长上下文处理带来的延迟影响。建议研发团队密切关注循环推理在多步规划任务中的表现,并提前布局针对此类架构的推理优化技术,以规避未来算力成本的剧烈波动。
粤公网安备44030002003366号