TritonMoE：跨平台 MoE 推理内核打破 CUDA 垄断，显存带宽效率提升 35%

该研究推出了一种完全基于 OpenAI Triton 编写的混合专家模型（MoE）推理内核 TritonMoE，通过融合 Gate+Up GEMM 算子，在无需厂商特定代码的情况下实现了 NVIDIA 与 AMD 平台的跨架构兼容，并在中短序列推理中超越了 Megablocks 的性能表现。

• ▶ 算子融合重塑带宽利用率：通过将 SwiGLU 投影的 Gate 和 Up 矩阵乘法融合，利用共享 Tile 加载完成双重计算，直接消除了 35% 的全局显存访问开销。
• ▶ 硬件中立性的工程胜利：TritonMoE 在 A100 上达到了 Megablocks 89%-131% 的吞吐量，且同一套代码无需修改即可在 AMD MI300X 上运行，标志着大模型推理底层正加速脱离 CUDA 深度绑定。

八卦洞察

TritonMoE 的出现不仅是一个技术补丁，更是对 NVIDIA 软件护城河的一次精准拆解。长期以来，MoE 内核的优化高度依赖厂商提供的底层库（如 CUTLASS），这导致了严重的供应商锁定。TritonMoE 证明了通过高阶 DSL（Domain Specific Language）进行算法级创新（如 Fused GEMM），可以在保持跨平台通用性的同时，在推理核心场景（Batch Size < 512）中反超专有优化库。这意味着“Triton-first”策略已成为非英伟达硬件厂商（如 AMD、Intel）在软件生态上实现“弯道超车”的唯一可行路径。

行动建议

• 基础设施团队：应立即评估将 MoE 推理后端从厂商私有库迁移至 Triton 框架的可行性，以降低多硬件适配（Multi-GPU Vendor）的维护成本。
• 算子开发人员：重点关注 SwiGLU 等非线性激活函数与 GEMM 的深度融合技术，这是当前缓解内存受限（Memory-bound）型推理瓶颈的关键。
• 硬件采购决策者：在评估 AMD MI300X 等竞品时，应将 Triton 算子库的成熟度作为核心权重，而非仅仅关注硬件标称算力。