Domino：解耦因果建模与自回归草拟，投机解码性能实现 5.8 倍飞跃

核心摘要

Domino 提出了一种创新的投机解码（Speculative Decoding）优化框架，通过将因果建模与自回归草拟过程解耦，在 Qwen3 模型上实现了高达 5.8 倍的吞吐量提升，目前该项目已在 GitHub 和 Hugging Face 全面开源。

• ▶ 架构范式转移：Domino 打破了传统投机解码中草拟模型必须执行完整自回归推理的限制，通过解耦因果建模显著降低了草拟阶段的计算开销。
• ▶ 极致性能表现：在 Qwen3 等前沿模型上的实测数据表明，该技术能将推理吞吐量推至原有水平的 5.8 倍，为高并发推理场景提供了新的技术标杆。
• ▶ 开源生态集成：项目同步释放了论文、代码及预训练模型，极大降低了开发者在生产环境中部署高效推理方案的门槛。

八卦洞察

长期以来，投机解码的瓶颈在于“草拟模型的开销”与“接受率”之间的博弈。如果草拟模型太重，加速效果会被抵消；如果太轻，准确率下降会导致频繁回退。Domino 的核心贡献在于它意识到“草拟”并不等同于“微缩版推理”。通过解耦因果建模，它实际上是在不损失逻辑连贯性的前提下，极大地压缩了预测下一个 Token 的计算成本。这标志着大模型推理优化正从单纯的“量化/剪枝”转向更深层的“计算逻辑重构”。在 Qwen3 这种高性能基座上实现近 6 倍的提升，预示着未来端侧和云端推理的成本将进一步下探。

行动建议

对于追求极致推理成本（Cost-per-token）的企业，建议立即评估 Domino 框架与现有 vLLM 或 TensorRT-LLM 推理后端集成的可行性。特别是针对长文本生成和高并发 API 服务场景，Domino 提供的吞吐量红利将直接转化为运营成本的降低。此外，建议算法团队关注其解耦逻辑是否可迁移至多模态模型，这可能是下一个性能突破口。