重构模型推理：当GEMM不再是小批量实时AI的唯一瓶颈

核心事件

一位开发者通过直接使用 C++/CUDA 内核重写推理路径，挑战了 PyTorch 和 TensorRT 等通用图运行时的统治地位，揭示了在机器人和 VLA（视觉-语言-动作）等小批量、实时推理场景中，性能瓶颈已从矩阵乘法（GEMM）转向了算子调度与内存管理的开销。

• ▶ “抽象税”的代价： 在小批量（Small Batch）推理中，通用框架的内核启动开销和内存编排延迟远超计算本身，导致硬件利用率极低。
• ▶ 具身智能的性能奇点： 实时机器人控制要求极低的端到端延迟，这迫使开发者回归底层，通过手动融合内核（Kernel Fusion）和精细化内存控制来压榨性能。
• ▶ 超越算力竞赛： 推理效率的竞争正从单纯的 TFLOPS 转向对内存带宽和指令调度的极致优化。

八卦洞察

长期以来，AI 界的共识是“算力即一切”，而 GEMM（通用矩阵乘法）被视为绝对的性能核心。然而，随着具身智能（Embodied AI）和实时边缘推理的兴起，这种范式正在发生动摇。在 Batch Size 为 1 的极端实时场景下，GPU 往往处于“饥饿”状态，等待 CPU 发送指令或等待内存拷贝完成。该项目的出现标志着 AI 工程界的一次“返祖”现象：为了追求极致的实时性，开发者正从高度抽象的 Python 层撤退，重回 C++/CUDA 的硬核阵地。这不仅是技术手段的更迭，更是对当前主流“吞吐量优先”架构的一次有力反击，预示着未来专用化、轻量化推理引擎将成为机器人领域的标准配置。

行动建议

• 针对具身智能初创公司： 停止盲目依赖通用推理框架。在实时控制回路中，应投入工程力量自建或深度定制 CUDA 内核，以消除微秒级的调度延迟。
• 针对算法工程师： 在模型设计阶段就需考虑“推理友好度”。避免使用过多细碎的算子，优先选择易于进行内核融合（Kernel Fusion）的架构。
• 针对算力芯片厂商： 关注小批量场景下的指令发射速率和片上缓存（SRAM）的灵活调度，而非仅仅堆砌 HBM 带宽。