单卡 543 tok/s：NInfer 引擎在 RTX 5090 上刷新 Qwen3.6 推理性能极限

开发者近日开源了从零构建的 C++/CUDA 推理引擎 NInfer，该引擎通过底层极致优化，在单张 RTX 5090 显卡上运行 Qwen3.6-35B-A3B 模型时，实现了 543 tok/s 的惊人推理速度，且在 65K token 的长文本解码过程中始终保持稳定。

• ▶ 底层架构重塑：NInfer 绕过了传统 Python 框架的沉重开销，直接利用 C++ 和原生 CUDA 算子进行内存管理与计算调度，彻底释放了 RTX 5090 的硬件潜力。
• ▶ MoE 架构红利：Qwen3.6-35B-A3B 的“35B 总参数、3B 激活参数”设计与 5090 的显存带宽形成了完美匹配，证明了小规模激活 MoE 是消费级硬件实现极速推理的最优解。

八卦洞察

NInfer 的出现标志着“本地大模型（Local LLM）”社区正从单纯的“跑得通”转向“跑得极快”的专业工程化阶段。543 tok/s 的速度意味着处理 1000 字的文档仅需不到 2 秒，这已经超越了绝大多数云端 API 的响应速度。更有趣的是，这种性能表现直接挑战了 NVIDIA 企业级显卡在特定 MoE 模型推理上的性价比优势。当消费级显卡配合极致优化的 C++ 引擎时，其在边缘侧和个人工作站的竞争力将产生质的飞跃。这也预示着，未来高性能推理的门槛将不再仅仅是算力，更是对底层算子与特定架构（如 MoE）的深度耦合能力。

行动建议

• 开发者视角：应重点关注 NInfer 对 KV Cache 和显存带宽的分配策略，这种针对特定硬件（5090）与特定架构（MoE）的垂直优化是未来提升实时交互体验的核心。
• 企业应用：对于需要高吞吐、低延迟的私有化部署场景（如实时翻译、高频智能助手），应评估“RTX 5090 + 优化引擎”方案替代昂贵 H100/A100 集群的可能性。
• 模型选择：在消费级硬件上，优先选择类似 Qwen3.6-A3B 这种低激活参数的 MoE 模型，以获得最佳的能效比和响应速度。