GB10

核心摘要 Moonshot AI 的 Kimi K3 完整模型首次在 16x GB10 集群上通过 dspark 框架成功运行，实现了 20+ tps 的稳定推理速度，标志着国产超大规模模型在私有化部署与集群推理性能上的重要进展。 八卦洞察 ▶ 算力利用率的范式转移：通过 dspark 框架在 GB10 集群上实现 20+ tps，证明了针对超长上下文模型，分布式推理架构已能有效克服显存带宽与通信延迟的瓶颈。 ▶ 国产模型的“平民化”潜力：K3 完整版的成功运行意味着高性能私有化部署不再是巨头的专利，这将加速企业级长文本 AI 应用的落地进程。 行动建议 ▶ 技术跟进：密切关注 vllm 镜像的发布，评估其与现有推理基础设施的兼容性，特别是针对长上下文处理的内存优化方案。 ▶ 商业布局：对于依赖超长文本处理的垂直行业（如法律、科研、金融），应提前规划基于 K3 完整版的高性能私有化推理环境，以规避公有云 API 的数据合规风险。

事件核心 智谱 GLM-5.2 (Int4/Int8) 在 8× GB10 GPU 集群上展现了卓越的推理效率，预填充速度达到 1,200 t/s，解码速度维持在 33–54 t/s 的高效区间，且显存冗余足以支持 Mimo 2.5 多模态模型同步运行。 八卦洞察 ▶ 算力利用率的质变： GB10 架构在处理大规模参数模型时，通过 TP 8 并行策略不仅实现了高吞吐，还通过显存优化实现了“一机双模”的并发推理，显著降低了多模态应用的部署成本。 ▶ 多模态协同的工程化验证： 能够同时运行 GLM-5.2 与 Mimo 2.5 证明了异构模型在统一算力池下的调度可行性，这为构建端到端的复杂 AI Agent 提供了底层支撑。 行动建议 优化部署架构： 企业应评估当前工作流中大模型与多模态模型的显存占用，利用 GB10 等高性能硬件的冗余空间进行模型堆叠，以提升推理效率。 关注推理延迟： 33-54 t/s 的解码速度已进入生产级应用区间，建议在实时交互场景中优先考虑此类量化部署方案。