Mamba

核心事件 Sparse Delta Memory (SDM) 提出了一种创新的稀疏更新机制，旨在通过解耦计算开销与状态规模，解决线性RNN（如Mamba、RWKV）在长文本召回能力上弱于Transformer的硬伤。 ▶ 状态规模与计算的解耦： 传统线性架构通过固定大小的状态实现恒定推理成本，但受限于状态容量；SDM通过稀疏增量更新，在不显著增加计算量的前提下，大幅扩展了模型的可寻址内存。 ▶ 弥合性能鸿沟： 实验表明，SDM使线性RNN在长序列任务和关联召回测试中，表现出接近甚至超越传统Softmax Attention（Transformer）的性能。 ▶ 硬件友好型稀疏： 不同于随机稀疏，SDM的设计考虑了现代硬件的存取特性，确保了在大规模状态下的推理效率。 八卦洞察 长期以来，AI架构界存在一个“不可能三角”：线性推理成本、无限上下文容量、高保真召回。Transformer牺牲了推理成本（$O(n^2)$），而线性RNN牺牲了召回保真度。SDM的出现标志着线性架构进入了“稀疏扩展”时代。其核心逻辑在于：并非所有历史信息在每一时刻都同等重要，通过“稀疏增量”只更新最相关的状态部分，模型实际上实现了一种动态的、高容量的缓存机制。这不仅是对Mamba等架构的补强，更是对Transformer统治地位的一次有力挑战，尤其是在端侧AI和长程对话场景中。 行动建议 对于大模型底层架构研发团队，应重点评估SDM在现有线性框架（如Mamba-2或RWKV-7）中的集成潜力，这可能是低成本实现百万级上下文的关键。对于应用层开发者，关注基于此类架构的轻量化模型，它们将在实时流式处理和长文档RAG中展现出极高的性价比优势。

事件核心 近日，AI 社区发布了 Nemotron-3-Super-120B-A12B 模型，这是一款结合了 Mamba（状态空间模型，SSM）与 MoE（混合专家模型）的混合架构模型。该模型在 4 张 NVIDIA RTX 3090 显卡（约 71GB 显存占用）的硬件环境下，成功实现了 504K Token 的“大海捞针”（Needle In A Haystack）完美检索。这一突破标志着超长上下文处理不再是顶级数据中心集群的专利，本地化硬件在处理超大规模文档分析方面迈出了实质性的一步。 技术/商业细节 该模型的核心竞争力在于其对传统 Transformer 架构局限性的结构化改进： Mamba 混合架构： 与传统 Transformer 随上下文增加而膨胀的 KV 缓存（KV Cache）不同，Mamba 层通过固定大小的循环状态（Recurrent State）来捕捉长程依赖。这意味着在处理 50 万 Token 时，其推理开销和显存占用远低于同规模的纯 Transformer 模型。 MoE 效率： A12B 指代其活跃参数量，通过混合专家架构，模型在保持 120B 总参数量推理能力的同时，大幅降低了实际计算量，使其能在 4x3090 这种“平民级”多卡环境下运行。 量化优化： 社区发布的 imatrix GGUF 量化版本进一步压缩了模型体积，使得在有限显存内维持高精度长文本检索成为可能。测试显示，即便在 504K 的极端压力下，检索准确率依然保持在 100%。 八卦分析：全球影响 「八卦情报局」认为，这一事件释放了三个关键信号： 首先，“KV 缓存壁垒”正在崩塌。长期以来，长文本处理的瓶颈不在于算力，而在于显存对 KV 缓存的容纳能力。Mamba 架构的成功验证了线性缩放（Linear Scaling）在超长序列中的实战价值，这可能会迫使主流大模型厂商加速从纯 Transformer 向混合架构转型。 其次，本地 RAG（检索增强生成）的上限被重塑。以往本地用户处理长文档依赖于切片和向量检索，容易丢失全局语义。现在，单机 50 万 Token 的处理能力意味着用户可以将数本长篇著作或整个代码库直接塞入上下文，实现“真·全局理解”。 最后，硬件需求的平民化趋势。4x3090 这种配置在专业玩家和初创公司中非常普遍。当这种级别的硬件能跑赢云端 API 的长文本表现时，企业对于敏感数据上云的依赖度将进一步降低，私有化部署的商业价值将迎来爆发。 战略建议 对于开发者： 立即关注 SSM（如 Mamba）与 Transformer 的混合架构，这可能是未来两年内平衡推理成本与上下文长度的主流方案。在构建 RAG 应用时，应重新评估“分块检索”与“全上下文输入”的边界。 对于硬件采购： 显存带宽和容量依然是核心。对于本地 AI 工作站，多卡互联（如 NVLink 或高带宽 PCIe）在处理混合架构模型时将展现出比单卡更强的吞吐优势。 对于企业决策者： 评估将长文档分析任务从昂贵的云端 API（如 Claude 3.5 或 GPT-4o）迁移至本地混合架构模型的可行性，这不仅能显著降低 TCO（总拥有成本），还能确保核心知识产权的安全。

NVIDIA 官方发布了 Nemotron-3-Ultra 技术报告，推出了一款基于混合 Mamba-Transformer 架构的混合专家模型（MoE），旨在通过线性扩展的效率解决长文本处理与复杂智能体（Agentic）推理的算力瓶颈。 ▶ 架构范式转移：该模型巧妙融合了 Mamba 的线性扩展优势与 Transformer 的注意力机制，在 128k 超长上下文环境下，显著降低了推理延迟与显存占用，打破了纯 Transformer 架构的“二次方复杂度”魔咒。 ▶ 原生智能体优化：不同于通用的语言模型，Nemotron-3-Ultra 针对工具调用（Tool-use）、多步规划与复杂指令遵循进行了深度微调，在 Agentic Reasoning 基准测试中展现出超越同尺寸模型的性能。 ▶ MoE 效率巅峰：采用混合专家架构，在保持极高性能输出的同时，仅激活少量参数进行计算，极大提升了模型在企业级生产环境中的吞吐量。 八卦洞察 NVIDIA 正在通过 Nemotron-3-Ultra 重新定义 AI 基础设施的“软硬一体化”边界。通过力推 Mamba 混合架构，NVIDIA 不仅仅是在提供算力，更是在试图掌握下一代大模型架构的标准。这种架构对长上下文 RAG（检索增强生成）和自主智能体极度友好，本质上是在为自家 H100/B200 集群寻找最能发挥能效比的算法载体。对于开发者而言，这释放了一个明确信号：纯 Transformer 架构在边缘计算和超长序列任务中正面临挑战，混合架构（Hybrid Models）将成为未来 Agent 落地的主流。 行动建议 对于专注于长文本分析和 RAG 应用的技术团队，建议立即评估 Mamba-Transformer 混合架构在降低推理成本（TCO）方面的表现。企业级用户在构建自主智能体（Autonomous Agents）时，应优先考虑此类针对工具链调用优化的模型，而非盲目追求参数规模。同时，关注 NVIDIA NeMo 框架对该模型的集成，利用其针对特定垂直领域的微调工具链，快速构建差异化的 AI 应用。

开发者成功构建了名为 SM1（Scalar Mamba1）的变体，通过数学闭式解将 Mamba 的核心选择性扫描（Selective Scan）简化为原生 PyTorch 算子，解决了该架构在 NVIDIA Blackwell (sm_120) 硬件及 Windows 环境下的编译难题。 ▶ 硬件解耦：SM1 彻底摆脱了对特定 CUDA 内核（mamba-ssm）的依赖，利用原生 cumprod 和 cumsum 算子实现了与原始算法数学一致的逻辑。 ▶ 架构简化：通过常数变易法（Method of Variation of Parameters）推导出 d_state=1 递归的精确解，证明了在特定维度下，复杂的状态空间模型（SSM）可以被极简实现。 八卦洞察 SM1 的出现揭示了当前 AI 基础设施的一个痛点：前沿架构（如 SSM）往往过度依赖高度优化的定制化 CUDA Kernel，这导致了严重的硬件滞后性——即便是最先进的 Blackwell 显卡，在初期也面临驱动和算子库不匹配的尴尬。SM1 放弃了高维状态（d_state > 1）带来的微弱表达力增益，换取了在 Blackwell 上的“即插即用”能力。这种“以退为进”的工程思路，对于需要在非 Linux 环境或最新硬件上快速部署 Mamba 模型的团队具有极高的参考价值。 行动建议 工程团队：若在 Windows 或新一代 NVIDIA 硬件上遇到 mamba-ssm 编译失败，应优先评估 SM1 这种纯 PyTorch 实现方案，以降低环境配置成本。 研究人员：关注 d_state=1 在大规模任务中的表现损耗。如果标量状态足以支撑特定领域的性能，那么 SSM 的计算复杂度将进一步下降，有利于边缘侧推理。