性能狂飙：2x RTX 5090 实测 QEngine 1.3.1，Qwen 3.8B 吞吐量突破 500 tok/s

核心事件

在 LocalLLaMA 社区的最新实测中，开发者利用两块 NVIDIA RTX 5090 显卡运行 QEngine 1.3.1 推理引擎，成功将 Qwen3.8-Flash-Next 模型的单流解码速度推至 504 tokens/second。这一成绩比目前市面上主流的高性能引擎（如 Strata、vLLM 等）快了约 1.5 到 1.9 倍，标志着消费级硬件在小参数模型推理上达到了新的性能巅峰。

• ▶ 极致单流性能：QEngine 1.3.1 针对特定硬件架构进行了深度内核优化，在单并发场景下的解码速度大幅领先竞争对手。
• ▶ KV-in-RAM 创新：该引擎引入了 KV 缓存驻留内存模式，极大地降低了在闲置对话切换或多轮 Agent 任务中的首字延迟（TTFT）。
• ▶ 硬件红利释放：RTX 5090 的高带宽显存配合 QEngine 的优化，证明了 Blackwell 架构在本地 AI 工作流中的统治力。

八卦洞察

「八卦资本」认为，500 tok/s 的突破不仅是一个数字，它意味着本地 LLM 已经从“人类阅读速度”进化到了“机器处理速度”。这种极速推理是实现复杂 Agent 架构（如多步思考、自我反思循环）的基础。QEngine 的成功在于其“非通用性”——它放弃了对所有硬件的广泛兼容，转而对 3090/5090 等特定架构进行极限压榨。这预示着未来 AI 基础设施将走向分化：一类是追求极致兼容的云端通用引擎，另一类是追求极致性能的本地化、定制化内核。

行动建议

对于开发者而言，如果你的应用场景涉及高频 RAG 或实时交互 Agent，应立即评估支持 KV 缓存管理和硬件原生优化的推理后端。对于企业用户，RTX 5090 的表现证明了在特定任务（如代码辅助、实时翻译）上，本地双卡集群的性价比和响应速度已全面超越中端云端 API。建议在 Blackwell 架构普及初期，优先布局针对该架构优化的私有化部署方案。