吞吐量

Mercury 2.5 凭借每秒 770 token 的惊人吞吐量，正式确立了其在超高性能推理领域的领先地位，将大模型实时交互的延迟推向了物理极限。 ▶ 速度即生产力：770 tps 将 AI 响应从“流式加载”进化为“瞬间呈现”，这对于需要多步思考的智能体（Agents）和大规模长文本 RAG 场景具有代际提升。 ▶ 推理经济学的拐点：极高的吞吐量通常意味着更高的计算密度和更低的单位 Token 成本，预示着推理侧的竞争已从“参数规模”转向“工程效率”。 八卦洞察 在 AI 业界，速度往往被误解为单纯的“快”，但 Mercury 2.5 达到的 770 tps 实际上是在重塑 AI 的工作流逻辑。当延迟降低到一个临界点，开发者可以在后台运行复杂的“思维链”（Chain of Thought）或多轮自我修正，而用户侧却感知不到任何停顿。这种速度红利将直接利好那些依赖高频反馈的垂直领域，如实时代码补全、金融高频交易辅助以及沉浸式语音交互。我们认为，Mercury 2.5 的出现标志着“小模型+极速推理”架构正在对“巨型模型+慢速思考”形成强有力的挑战，推理侧的工程优化已成为当前大模型落地的核心护城河。 行动建议 对于技术决策者，建议立即评估当前 RAG 架构中的瓶颈。如果系统在检索后的摘要或重排环节存在明显延迟，应考虑接入 Mercury 2.5 进行灰度测试。此外，产品经理应重新审视用户界面设计——在 770 tps 的支撑下，传统的“打字机”输出效果已不再必要，可以探索更具动态感、即时反馈的全新交互模式。最后，关注其背后的硬件适配情况，评估这种高性能表现是否依赖特定算力平台，以规避供应链风险。

核心事件近日，来自 LocalLLaMA 社区的 vLLM 运行日志揭示了 NVIDIA Blackwell 架构在 FP4（nvfp4）精度下的惊人性能。在 30 个并发流的批量图像标注测试中，Blackwell 展现了极高的吞吐效率：Prompt 处理平均达到 1301.0 tokens/s，而生成阶段平均吞吐量高达 1924.0 tokens/s。这一数据证明了 Blackwell 在处理复杂多模态任务时的算力统治力。▶ FP4 精度成为性能倍增器：通过 nvfp4 量化，Blackwell 在保持模型能力的条件下，显著降低了显存占用并提升了计算吞吐，是实现 2000 tps 级别的关键。▶ 并发饱和度是释放算力的核心：测试通过 30 个并发流成功压榨了 Blackwell 的计算资源，展示了该架构在大规模推理集群中的扩展潜力。▶ 缓存机制显著优化二次请求：利用 vLLM 的缓存机制，后续请求的生成效率明显高于初始 Prompt 处理，验证了 KV Cache 优化在多模态流水线中的价值。八卦洞察「Bagua Intelligence」认为，这次实测数据不仅仅是数字的堆砌，它标志着大模型推理正式进入“极低精度”时代。Blackwell 对 FP4 的原生硬件支持，解决了以往量化带来的精度损失与计算增益之间的平衡难题。2000 tps 的生成速度意味着多模态 Agent（如实时视频理解、大规模图像索引）的运营成本将下降一个数量级。这对于追求高吞吐、低延迟的云服务商和垂直领域 AI 厂商来说，Blackwell 不是“可选项”，而是维持竞争力的“必选项”。行动建议1. 算力升级预研：建议高频多模态应用开发者立即评估从 H100 向 Blackwell 迁移的成本效益比，重点关注 FP4 量化对特定业务模型的精度影响。2. 优化并发策略：在 Blackwell 环境下，传统的低并发模式无法发挥硬件优势，应重新设计推理架构以支持更高维度的并发流。3. 强化缓存管理：针对图像标注等重复性 Prompt 场景，深度优化 KV Cache 策略以进一步提升吞吐上限。