大模型“注意力”并非“专注力”：PNAS 研究揭示 Transformer 架构的执行控制缺陷

最新发表于《PNAS Nexus》的研究指出，Transformer 架构在认知科学层面上缺乏“执行控制”能力，导致其在处理包含干扰信息的复杂上下文时，无法像人类一样有效过滤噪声，从而引发推理失效。

• ▶ 注意力机制的本质是“相似度”而非“选择”：Transformer 的注意力分配极易被无关但显著的特征（Salient Features）劫持，这解释了为何 RAG 系统在引入低质量检索内容时性能会大幅下降。
• ▶ 模型规模无法弥补架构短板：单纯增加参数量并不能赋予模型区分任务相关信息与纯噪声的能力，这种“执行控制”的缺失是当前生成式 AI 迈向可靠推理的核心障碍。

八卦洞察

业界长期以来对“Attention is All You Need”存在一种认知误区，即认为机器的注意力等同于人类的专注力。事实上，Transformer 的注意力是一种“被动匹配”机制。本研究通过实验证明，当任务指令中混入干扰项时，模型的注意力会被权重强制分散。这意味着，目前所谓的“长文本能力”在很大程度上是脆弱的——只要上下文中的噪声达到一定阈值，模型的逻辑链条就会崩塌。这不仅是算法问题，更是底层架构的认知局限。我们正处于从“概率拟合”向“结构化控制”转型的临界点，未来的架构演进必须引入类似于人类前额叶皮层的“硬性过滤”机制。

行动建议

针对企业级应用，开发者不应寄希望于模型能自动在海量上下文中“去伪存真”。在 RAG 架构中，必须在检索后环节（Post-retrieval）引入强力的重排（Reranking）和噪声清理模块，甚至使用较小的专用模型先进行“信息脱敏”。在 Prompt 工程中，应采用“少发散、多聚焦”的策略，通过显式的思维链（CoT）引导模型进行自我校验，以抵消其天然的执行控制缺陷。