吞吐量优化

小米近日披露其 MiMo V2.5 模型在推理性能上取得重大突破，通过引入 DFlash 架构与持久化内核（Persistent Kernel）技术，实现了 1000-3000 TPS（每秒 Token 数）的惊人吞吐量，并承诺近期将正式开源相关代码。 ▶ 软硬协同深度优化：DFlash 并非单纯的算法改进，而是针对显存带宽瓶颈的底层重构，配合持久化内核减少了算子切换开销。 ▶ 端侧与云端推理边界模糊：如此高的吞吐量预示着小米在端侧 AI 响应速度上已具备行业领先的竞争力，为复杂智能体（Agent）的实时交互奠定了基础。 八卦洞察 小米此次的技术飞跃释放了一个明确信号：大模型竞赛的下半场已从“参数规模”转向“推理效率”。1000-3000 TPS 的量级意味着模型可以在极短时间内完成多轮思考或长文本生成，这对于需要高频调用、低延迟反馈的 Agentic Workflow（智能体工作流）至关重要。小米选择在此时开源 DFlash，显然是意图通过贡献底层推理基础设施来争夺开发者生态的话语权，挑战目前由 NVIDIA TensorRT-LLM 或 vLLM 主导的推理格局。 行动建议 对于开发者和企业架构师，建议密切关注小米即将发布的 DFlash 开源仓库。若其持久化内核技术能够适配主流算力平台，将成为降低大模型推理成本（TCO）的关键工具。特别是针对高并发、实时性要求高的业务场景，应提前评估 DFlash 架构对现有推理链路的替代潜力。同时，硬件厂商需警惕这种深度定制化内核带来的软件栈壁垒，加强对异构计算的底层优化支持。

核心事件 近日，开发者 Simple_Library_2700 在 Reddit 的 LocalLLaMA 社区分享了一项惊人的推理测试结果：通过在 V100 GPU 集群上运行 Qwen 系列 27B 规模模型（原文标注为 Qwen3.6，推测为 Qwen2.5 变体或特定微调版），在 128 并发请求下实现了超过 1000 tokens/s (tps) 的峰值生成吞吐量。在单用户（Batch Size = 1）场景下，生成速度维持在 80 t/s，而 Prompt 处理速度（Prefill）更是高达 3000 t/s，且该测试并未采用多 Token 预测（MTP）技术。 ▶ 存量算力的极致压榨：V100 虽然缺乏 FP8 等现代推理加速特性，但通过合理的 Batching 策略，在 FP16/INT8 精度下依然能爆发极高的吞吐潜力。 ▶ 吞吐量与延迟的权衡：1000 tps 的数据主要源于 128 并发的高负载，这证明了该配置在处理大规模离线任务（如文档索引、合成数据生成）时的极高成本效益。 ▶ Qwen 架构的推理友好性：即便不依赖 MTP 等前沿技术，Qwen 27B 模型在标准推理框架下的表现已足以挑战更高规格的硬件组合。 八卦洞察 在当前全球追逐 H100/H200 等顶奢算力的背景下，这项测试为业界提供了一个冷静的视角：“算力套利”依然存在。 许多企业手中囤积了大量 V100 或 A100 存量资产，往往认为其已无法胜任最新一代大模型的推理任务。然而，1000 tps 的表现说明，通过软件栈的深度优化（如 vLLM 或 TensorRT-LLM 的高效调度），旧款 GPU 在特定规模（20B-30B 参数级）模型上的表现完全可以覆盖大多数商业应用场景。这不仅是技术的胜利，更是成本控制的教科书案例。 行动建议 1. 资产重估：建议拥有 V100/A100 集群的企业重新评估其在 RAG（检索增强生成）和大规模批处理任务中的价值，而非盲目追求最新硬件。 2. 优化并发策略：对于非实时交互场景，应尽可能拉高 Batch Size 以换取吞吐量红利，充分利用显存带宽。 3. 关注模型规模甜点位：27B-32B 规模的模型在性能与推理效率之间达到了极佳的平衡，是当前企业级私有化部署的首选规格。