英伟达发布 Nemotron-3.5 120B 多模态模型家族：NVFP4 量化与投机采样重塑本地推理性能

核心事件总结

英伟达（NVIDIA）正式发布了 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B 模型系列，该系列涵盖了 Base、NVFP4 量化版、BF16 原版以及集成 LiLiCorr 投机采样技术的多个版本，旨在通过软硬结合的优化手段，在保持 120B 级多模态性能的同时，大幅降低推理成本并提升响应速度。

• ▶ NVFP4 精度革新：通过引入 4-bit 浮点数（NVFP4）量化，该模型在显著压缩显存占用的同时，保留了极高的模型精度，预示着 Blackwell 架构下的数据格式标准正在向下兼容与普及。
• ▶ LiLiCorr 投机采样加速：集成 LiLiCorr 技术，通过小模型辅助大模型生成，有效解决了大型多模态模型（VLM）在推理时的延迟瓶颈，显著提升了 Token 输出吞吐量。
• ▶ MoE 架构的效率平衡：采用 120B 总参数、12B 激活参数的混合专家（MoE）架构，实现了“深厚知识储备”与“轻量计算开销”的平衡，是当前本地化部署高参数模型的理想选择。

八卦洞察

英伟达此次发布并非简单的模型迭代，而是其“全栈霸权”策略的体现。通过发布原生支持 NVFP4 格式的模型，英伟达正在定义大模型时代的底层数据标准。NVFP4 不仅仅是一个量化方案，它是为 H100/B200 等高性能 GPU 量身定制的“加速秘籍”。此外，LiLiCorr 的加入证明了英伟达在推理侧的野心——不仅要卖卡，还要通过算法优化让其硬件的推理效能（Throughput per Dollar）远超竞争对手。这种将模型架构、量化格式与推理引擎深度绑定的做法，正在进一步加固英伟达的生态护城河。

行动建议

• 技术选型：对于追求极致推理速度的企业，应优先评估 NVFP4 版本在 Blackwell 或 Hopper 架构硬件上的表现，以实现显存与性能的最优性价比。
• 工程优化：开发者应深入研究 LiLiCorr 投机采样的实现机制，并尝试将其迁移至现有的 VLM 推理流水线中，以优化多模态任务的交互体验。
• 硬件规划：鉴于 120B 模型的规模，建议本地部署团队关注支持 FP4 加速的下一代硬件设施，以充分释放该模型家族的性能潜力。