线性RNN

TempoPFN 提出了一套创新的合成时间序列生成框架与增强库，专门用于预训练基于 DeltaProduct 的线性 RNN 模型，实现了卓越的零样本（Zero-shot）预测性能，该研究已被 NeurIPS 接收。 ▶ 合成数据打破时序瓶颈：不同于自然语言，高质量时序数据往往存在隐私和碎片化问题。TempoPFN 通过大规模合成数据预训练，证明了“先验数据拟合网络”（PFN）在时序领域的泛化潜力。 ▶ 线性 RNN 的架构回归：在 Transformer 统治大模型的当下，TempoPFN 采用线性 RNN（DeltaProduct）架构，在保持长序列处理效率的同时，通过合成预训练达到了比肩甚至超越 Transformer 的预测精度。 ▶ 工业级零样本能力：该模型在 Toto-2 和 TS-ICL 等基准测试中的成功应用，标志着时序预测正从“一域一模型”转向“通用基础模型”范式。 八卦洞察 时序预测领域长期受困于“小样本”和“领域差异”。TempoPFN 的核心价值在于它不再试图暴力拟合有限的真实观测值，而是通过模拟复杂的随机过程生成海量合成数据，让模型学习时间序列的底层数学规律。这种从 Prior-Data Fitted Networks (PFNs) 演化而来的思路，本质上是在构建时序界的“世界模型”。值得注意的是，选择线性 RNN 而非 Transformer，反映了端侧设备和实时预测场景对计算效率的极致追求——这正是时序模型在金融高频交易、工业物联网等场景落地的关键。 行动建议 对于企业架构师，应密切关注 TSFM（时序基础模型）的成熟度，评估从传统统计模型或微调模型转向零样本通用模型的迁移成本；对于算法工程师，TempoPFN 开源的合成数据增强库是极佳的工具，可用于提升现有预测模型的鲁棒性；对于投资者，合成数据生成（Synthetic Data Gen）与高效架构（Linear RNN/Mamba）的结合是时序 AI 赛道值得布局的技术高地。

核心事件 Sparse Delta Memory (SDM) 提出了一种创新的稀疏更新机制，旨在通过解耦计算开销与状态规模，解决线性RNN（如Mamba、RWKV）在长文本召回能力上弱于Transformer的硬伤。 ▶ 状态规模与计算的解耦： 传统线性架构通过固定大小的状态实现恒定推理成本，但受限于状态容量；SDM通过稀疏增量更新，在不显著增加计算量的前提下，大幅扩展了模型的可寻址内存。 ▶ 弥合性能鸿沟： 实验表明，SDM使线性RNN在长序列任务和关联召回测试中，表现出接近甚至超越传统Softmax Attention（Transformer）的性能。 ▶ 硬件友好型稀疏： 不同于随机稀疏，SDM的设计考虑了现代硬件的存取特性，确保了在大规模状态下的推理效率。 八卦洞察 长期以来，AI架构界存在一个“不可能三角”：线性推理成本、无限上下文容量、高保真召回。Transformer牺牲了推理成本（$O(n^2)$），而线性RNN牺牲了召回保真度。SDM的出现标志着线性架构进入了“稀疏扩展”时代。其核心逻辑在于：并非所有历史信息在每一时刻都同等重要，通过“稀疏增量”只更新最相关的状态部分，模型实际上实现了一种动态的、高容量的缓存机制。这不仅是对Mamba等架构的补强，更是对Transformer统治地位的一次有力挑战，尤其是在端侧AI和长程对话场景中。 行动建议 对于大模型底层架构研发团队，应重点评估SDM在现有线性框架（如Mamba-2或RWKV-7）中的集成潜力，这可能是低成本实现百万级上下文的关键。对于应用层开发者，关注基于此类架构的轻量化模型，它们将在实时流式处理和长文档RAG中展现出极高的性价比优势。