万亿参数

核心事件 在最新的 NVIDIA GB300 NVL72 集群测试中，拥有 2.4 万亿参数的 Qwen 3.8 模型在 FP8 精度下实现了惊人的推理表现：全集群总吞吐量达到 28.8 万 tokens/s，单 GPU 速率突破 4k tokens/s，单用户响应速度超过 350 tokens/s。 ▶ 硬件互联的质变：GB300 NVL72 通过 72 颗 Blackwell GPU 的全互联架构，彻底消除了万亿级参数模型在节点间的通信瓶颈。 ▶ FP8 生产力基准：无需额外微调即可在 FP8 精度下保持高性能，标志着超大规模模型从“实验室跑通”正式进入“工业化高并发”阶段。 八卦洞察 这次性能数据的流出，本质上宣告了“万亿参数模型推理难”的时代已经终结。以往 2.4T 级别的模型（如疑似 GPT-4 规模）在推理时往往面临极高的延迟和显存碎片化问题，但 GB300 NVL72 的第五代 NVLink 技术将 72 颗 GPU 虚拟化为一颗巨大的“超级 GPU”。 值得注意的是，单用户 350 tokens/s 的速度远超人类阅读极限（约 5-10 tokens/s），这意味着算力冗余将直接转化为更复杂的推理链（CoT）或多智能体（Multi-agent）实时协作。Qwen 3.8 在该架构上的表现，证明了国产顶级模型在 Blackwell 生态下的适配效率已达世界一流水平，算力霸权正在从单纯的显存堆砌转向“互联带宽”的降维打击。 行动建议 算力选型：对于追求万亿级 MoE 或密集模型实时响应的企业，应优先评估 GB300 NVL72 的 TCO 优势，而非单纯采购 H100 散卡。 架构优化：由于单卡吞吐量已达 4k+ tokens/s，开发者应将优化重心从“算子加速”转向“KV Cache 管理”和“高并发调度”，以充分喂饱 Blackwell 的吞吐胃口。 模型策略：鉴于 FP8 无损推理的成熟，建议在模型预训练阶段即考虑 FP8 兼容性，以实现从训练到推理的无缝切换。

事件核心 AI 开源社区迎来里程碑式进展。Longcat 2.0 模型权重已正式在 ModelScope 及相关平台发布，并采用极其宽松的 MIT 许可证。该模型采用混合专家（MoE）架构，总参数量达到惊人的 1.6 万亿（1.6T），而单次推理激活的参数约为 480 亿（48B）。这一发布不仅标志着开源模型在参数规模上正式跨入“万亿俱乐部”，更通过 MIT 协议彻底打破了商业应用的法律壁垒。 技术/商业细节 参数效率与架构：Longcat 2.0 的核心竞争力在于其极高的稀疏性。1.6T 的总参数量赋予了模型庞大的“知识库”，而 48B 的激活参数则将推理成本控制在可接受范围内。这意味着在拥有足够显存（存储总权重）的前提下，其推理速度可类比中型稠密模型。 MIT 许可证的杀伤力：相比 Meta Llama 系列带有附加限制的社区许可证，Longcat 2.0 选择 MIT 协议意味着企业可以无限制地进行商业化、修改和闭源二次开发。这对于追求底层技术自主权的科技巨头和初创公司具有极强的吸引力。 生态协同：此次发布由 elie 与 ModelScope 深度参与，展示了全球开发者社区与中国开源基础设施的紧密协作。模型权重的开放涵盖了完整的技术文档，为后续的微调（Fine-tuning）和量化（Quantization）铺平了道路。 八卦分析：全球影响 「八卦情报局」认为，Longcat 2.0 的出现是开源界对闭源巨头（如 OpenAI、Google）的一次强力“肌肉展示”。 首先，它验证了开源社区有能力驾驭万亿级参数模型的训练与分发。长期以来，1T+ 参数被认为是闭源巨头的护城河，Longcat 2.0 证明了通过 MoE 架构，开源力量可以实现“参数规模”的平权。其次，48B 的激活参数是一个精妙的平衡点。它既能提供远超 7B/8B 模型的逻辑推理能力，又避开了 1.6T 稠密模型无法落地的尴尬，直接瞄准了高端工作站和企业级服务器市场。 更深层的影响在于，这将迫使 Meta 等公司重新审视其开源策略。如果社区能够持续产出 MIT 协议的万亿级模型，那么带有“月活用户限制”的 Llama 协议将失去其作为事实标准的号召力。 战略建议 算力布局：企业应关注高显存、高带宽的硬件配置（如 H200 或多卡串联方案），以容纳 1.6T 的静态权重，利用其 MoE 特性实现高性能推理。 技术选型：对于需要构建垂直领域“专家系统”的团队，Longcat 2.0 的 MoE 架构提供了理想的底座。建议尝试针对特定专家层进行差异化微调。 合规优势：鉴于其 MIT 协议，建议对合规性要求极高的金融、政务类 AI 项目优先调研此模型，以规避未来潜在的授权风险。