MoE 架构

事件核心 俄罗斯科技巨头 Sberbank 正式发布了其最新旗舰模型 GigaChat 3.5-432B-A28B 及其基础版本。该模型采用混合专家模型（MoE）架构，总参数量高达 432B，而单次推理激活参数仅为 28B。最令社区振奋的是，官方在发布首日即同步推出了 GGUF 格式支持，并通过 Pull Request 积极推动其合并至 llama.cpp 主分支。 ▶ 架构优势：432B 的总参数量提供了极高的知识容量，而 28B 的激活参数确保了推理速度与 30B 级别模型相当，实现了性能与效率的平衡。 ▶ 生态策略：官方“Day-0”支持 GGUF 格式，标志着大模型厂商从“等待社区转换”转向“主动拥抱本地部署生态”，极大降低了超大规模模型的使用门槛。 ▶ 硬件兼容：通过 GGUF 量化，该模型有望在消费级多显卡环境或高配 Mac Studio 上运行，打破了 400B+ 模型仅能在企业级集群运行的迷思。 八卦洞察 Sberbank 此举不仅是技术实力的展示，更是一次精明的生态位抢占。在 Meta 和 Mistral 占据开源主流的当下，GigaChat 3.5 通过超大参数规模和极致的本地化适配（GGUF）来寻求差异化竞争。432B/28B 的配比暗示了其在处理复杂逻辑和多语言任务时的深厚潜力。更深层来看，这反映了非美系科技巨头在算力受限背景下，通过 MoE 架构和量化技术压榨硬件性能、实现“技术主权”的战略路径。对于开发者而言，这不仅是一个新模型，更是一个在私有化部署中替代 Llama 3 405B 的潜在强力竞争者。 行动建议 开发者应立即关注 llama.cpp 的相关 PR (#11585)，尝试在本地环境中构建并测试 Q4_K_M 等主流分位的量化版本。企业级用户若有俄语或特定欧洲语言的 RAG 需求，应重点评估该模型在长文本处理上的表现。同时，建议关注其推理成本与性能的实际曲线，评估其在私有化算力节点上的部署可行性。

事件核心 AI 开源社区迎来里程碑式进展。Longcat 2.0 模型权重已正式在 ModelScope 及相关平台发布，并采用极其宽松的 MIT 许可证。该模型采用混合专家（MoE）架构，总参数量达到惊人的 1.6 万亿（1.6T），而单次推理激活的参数约为 480 亿（48B）。这一发布不仅标志着开源模型在参数规模上正式跨入“万亿俱乐部”，更通过 MIT 协议彻底打破了商业应用的法律壁垒。 技术/商业细节 参数效率与架构：Longcat 2.0 的核心竞争力在于其极高的稀疏性。1.6T 的总参数量赋予了模型庞大的“知识库”，而 48B 的激活参数则将推理成本控制在可接受范围内。这意味着在拥有足够显存（存储总权重）的前提下，其推理速度可类比中型稠密模型。 MIT 许可证的杀伤力：相比 Meta Llama 系列带有附加限制的社区许可证，Longcat 2.0 选择 MIT 协议意味着企业可以无限制地进行商业化、修改和闭源二次开发。这对于追求底层技术自主权的科技巨头和初创公司具有极强的吸引力。 生态协同：此次发布由 elie 与 ModelScope 深度参与，展示了全球开发者社区与中国开源基础设施的紧密协作。模型权重的开放涵盖了完整的技术文档，为后续的微调（Fine-tuning）和量化（Quantization）铺平了道路。 八卦分析：全球影响 「八卦情报局」认为，Longcat 2.0 的出现是开源界对闭源巨头（如 OpenAI、Google）的一次强力“肌肉展示”。 首先，它验证了开源社区有能力驾驭万亿级参数模型的训练与分发。长期以来，1T+ 参数被认为是闭源巨头的护城河，Longcat 2.0 证明了通过 MoE 架构，开源力量可以实现“参数规模”的平权。其次，48B 的激活参数是一个精妙的平衡点。它既能提供远超 7B/8B 模型的逻辑推理能力，又避开了 1.6T 稠密模型无法落地的尴尬，直接瞄准了高端工作站和企业级服务器市场。 更深层的影响在于，这将迫使 Meta 等公司重新审视其开源策略。如果社区能够持续产出 MIT 协议的万亿级模型，那么带有“月活用户限制”的 Llama 协议将失去其作为事实标准的号召力。 战略建议 算力布局：企业应关注高显存、高带宽的硬件配置（如 H200 或多卡串联方案），以容纳 1.6T 的静态权重，利用其 MoE 特性实现高性能推理。 技术选型：对于需要构建垂直领域“专家系统”的团队，Longcat 2.0 的 MoE 架构提供了理想的底座。建议尝试针对特定专家层进行差异化微调。 合规优势：鉴于其 MIT 协议，建议对合规性要求极高的金融、政务类 AI 项目优先调研此模型，以规避未来潜在的授权风险。

核心摘要昇腾社区（Ascend-tribe）近期披露了 openPangu-2.0-Flash，这是一款原生基于华为昇腾平台训练的高性能混合专家（MoE）模型。该模型拥有 920 亿总参数，推理时仅激活 60 亿参数，并支持高达 512k 的超长上下文，其预训练数据量达到了惊人的 34T tokens。▶ 极致稀疏化架构：92B 总参数仅激活 6B，旨在实现极低延迟的“闪电级”推理响应，在吞吐量与模型深度之间取得了极佳平衡。▶ 认知进化：快慢思考融合：后训练阶段引入了具备“快慢思考”能力的统一 SFT 及多专家强化学习（RL），标志着国产开源模型开始深度探索类 o1 的逻辑推理范式。▶ 国产算力生态闭环：该模型的出现不仅是参数规模的堆砌，更是昇腾原生大模型从“可用”向“高性能原生优化”跨越的里程碑。八卦洞察openPangu-2.0-Flash 的核心竞争力在于其 34T Tokens 的海量数据集，这一数字已与 Meta 的 Llama 3 处于同一数量级，显示了其在知识密度上的野心。更值得关注的是其 512k 的上下文窗口，这直击当前企业级 RAG（检索增强生成）和长文档分析的痛点。从技术路径看，该模型试图通过高稀疏比的 MoE 架构，在非 H100/B200 集群上实现媲美顶级芯片的推理效率，这是对 NVIDIA 垄断地位的一次有力技术突围。行动建议对于开发者，建议密切关注 Hugging Face 的权重发布动态，第一时间测试其在非昇腾硬件上的兼容性与推理效率。对于企业决策者，应重新评估基于昇腾算力架构的国产 AI 基础设施方案，openPangu-2.0-Flash 的表现证明了国产软硬一体化优化已进入成熟期，可作为主线业务的备选方案进行预研。

LongCat 团队正式发布 LongCat-2.0，这是一个采用混合专家模型（MoE）架构的超大规模语言模型，拥有 1.6 万亿（1.6T）总参数量，但在推理时仅激活 480 亿（48B）参数，旨在解决长文本处理与复杂 RAG 场景下的效率瓶颈。 ▶ 稀疏化扩展的里程碑：LongCat-2.0 通过 1.6T 的海量参数空间实现了极高的知识容量，同时利用 MoE 机制将推理成本控制在 48B 级别，证明了“大而不臃”的架构在长上下文任务中的优越性。 ▶ 长文本与 RAG 的深度优化：该模型针对超长 Context Window 进行了专项调优，显著提升了在海量文档检索与合成任务中的准确率，直接对标行业顶尖的闭源长文本模型。 八卦洞察 LongCat-2.0 的出现标志着大模型竞争进入了“稀疏化扩展”的下半场。1.6T 的总参数量并非单纯的数字堆砌，而是为了在垂直领域专家化（Expert Specialization）上取得突破。对于全球 AI 产业而言，LongCat-2.0 的核心竞争力不在于其原始计算能力，而在于其对“长程注意力”与“动态路由”的极致优化。这种架构有效缓解了传统 Dense 模型在处理长文本时出现的“中间丢失（Lost in the Middle）”问题。我们认为，随着 RAG 架构向原生长文本（Native Long-Context）演进，LongCat 这种高容量、低激活的 MoE 模型将成为企业级知识库处理的首选底座。 行动建议 架构迁移评估：建议正在构建大规模 RAG 系统的企业，评估从传统 Dense 模型迁移至 LongCat-2.0 等 MoE 架构的可行性，以在不显著增加算力开销的前提下提升长文档处理精度。 基础设施对齐：开发者应关注针对 MoE 路由优化的推理后端（如 vLLM 或 TensorRT-LLM 的最新版本），以充分发挥 1.6T 模型在 48B 激活状态下的吞吐优势。 关注长文本评测：不要仅参考传统的 MMLU 等基准测试，应针对 LongCat-2.0 开展 Needle-in-a-Haystack（大海捞针）等长文本压力测试，以验证其在实际业务长文档中的召回表现。

事件核心MIT 衍生初创公司 Liquid AI 正式发布了其最新的 Liquid Foundation Models (LFM) 2.5 系列。其中最受瞩目的是 8B-A1B 模型，这是一个采用 Mixture-of-Experts (MoE) 架构的 80 亿参数模型，但在推理时仅需激活 10 亿参数。该模型最令人震撼的数据在于其训练规模：在高达 38 万亿 (38T) Token 的海量数据集上进行了训练。LFM 2.5 并非基于传统的 Transformer 架构，而是采用了 Liquid AI 独有的、基于动力系统（Dynamical Systems）的新型架构，旨在解决 Transformer 在长序列处理和推理成本上的固有缺陷。技术/商业细节LFM 2.5 的核心竞争力在于其极高的“数据参数比”。通常，Llama 3.1 8B 等模型使用约 15T Token 训练，而 Liquid AI 将这一数字推高到了 38T，这意味着模型对知识的压缩率和理解深度达到了新高度。在架构层面，LFM 避开了传统 Attention 机制的二次方复杂度，实现了线性缩放。这使得 8B-A1B 模型在拥有 128K 上下文窗口的同时，其内存占用远低于同级别的 Transformer 模型。在 Benchmark 测试中，LFM 2.5 8B 在多项指标上超越了 Meta 的 Llama 3.1 8B 和 Google 的 Gemma 2 9B，尤其是在编码（Coding）和长文本推理方面表现卓越。八卦分析：全球影响Liquid AI 的这次发布向业界释放了一个强烈信号：Transformer 可能并非 AI 的终局。长期以来，硅谷一直存在“架构焦虑”，即担心 Transformer 的推理成本会限制 AI 的大规模商业化。Liquid AI 证明了通过非 Transformer 架构（如状态空间模型 SSM 或其变体）配合极致的数据喂养，可以在更小的参数规模下实现更强的性能。这对于边缘计算（Edge AI）和端侧设备具有颠覆性意义。如果 1B 激活参数的模型能达到 8B 甚至更高参数模型的水平，那么智能手机和 IoT 设备将真正具备运行复杂逻辑的能力，而无需依赖昂贵的云端 GPU 集群。战略建议对于开发者： 重点关注非 Transformer 架构的适配。LFM 2.5 提供的推理效率优势，特别是在 KV Cache 压力巨大的长文本场景下，可能是降低 RAG 应用成本的关键。对于企业决策者： 重新评估“模型大小”与“模型能力”的关系。不要盲目追求千亿级参数模型，Liquid AI 的案例证明，经过超大规模数据精炼的小模型（SLM）在特定业务场景下具有更高的 ROI。对于硬件厂商： 关注非 Transformer 算子在芯片层面的优化。随着 Liquid AI、Mamba 等架构的兴起，单纯针对 Attention 优化的硬件架构可能面临兼容性挑战。