366 t/s 惊人速度：V100 架构下的 Qwen 27B 性能飞跃与 NVFP4 深度优化

核心事件

开发者近期发布了名为 “v100-skinny” 的开源项目，通过为 NVIDIA V100 (sm70 架构) 编写定制化内核，成功在旧款硬件上实现了 Qwen 27B 模型高达 366 tokens/second (t/s) 的单流推理速度。该项目核心在于针对 NVFP4（4位浮点数）权重的极速路径优化，以及实现了几乎零开销的深度投机采样（Speculative Sampling）。

• ▶ 老旧硬件的“第二春”： 通过针对 sm70 架构的底层指令集优化，7 年前发布的 V100 在特定推理任务中展现出了超越部分现代中端显卡的吞吐能力。
• ▶ NVFP4 量化新范式： 相比传统的 INT4 量化，NVFP4 在保持推理精度的同时，配合定制内核能极大释放算力带宽，成为大模型端侧部署的关键技术。
• ▶ 投机采样工程化突破： 该项目证明了通过精简内核设计，可以将投机采样的验证开销降至忽略不计，从而实现推理速度的倍增。

八卦洞察

在 H100 和 B200 炙手可热的今天，开发者社区对 V100 等存量算力的“极限榨取”具有极高的商业价值。366 t/s 的速度意味着 27B 规模的模型已经可以满足实时交互、高并发代理（Agent）等严苛场景。这不仅是技术的胜利，更是对“算力焦虑”的一种有力回击：通过极致的软件工程，我们可以大幅降低大模型运行的边际成本。这种针对特定架构（sm70）的“精简内核”思路，预示着未来 LLM 推理将从通用框架转向高度定制化的硬件适配。

行动建议

对于拥有大量 V100 存量资源的云服务商或企业私有云，应密切关注 “v100-skinny” 这一技术路径，评估将其集成至现有推理服务的可行性。同时，算法团队在进行模型量化选型时，应优先考虑 FP4 格式，以平衡推理速度与模型智能。开发者应学习其针对特定 GPU 架构编写微内核（Micro-kernel）的思路，这是实现推理性能量级突破的必经之路。