Basalt 适配 Blackwell 架构：NVFP4 原生支持让 Qwen 3.8B 推理性能翻倍

核心事件

本地大模型推理工具 Basalt 宣布实现对 NVIDIA Blackwell (RTX 5090) 架构 NVFP4 格式的原生支持，并针对 Qwen 3.8B Flash-Next 模型优化了 Prefill 速度。在单卡 5090 环境下，结构化文本输出达到 304 tok/s，且困惑度（PPL）损耗极小。

• ▶ 硬件红利释放：Basalt 通过原生支持 NVFP4，充分利用了 Blackwell 架构的新一代 Tensor Core，标志着量化技术从传统的 INT4/FP8 向更高效的 FP4 硬件原生格式演进。
• ▶ 混合量化策略：该方案采用“混合存储”模式，保留 NVIDIA 官方专家权重并以 Q6_K 存储稠密层，在维持 3.308 PPL（接近 Q8_0 的 3.286）的高精度前提下，极大提升了吞吐量。
• ▶ 多卡协同增益：引入“Peer GPU”模式（如 5090 + 5060 Ti），结构化输出可飙升至 479 tok/s，展示了 Blackwell 架构在非对称多卡环境下的极强扩展性。

八卦洞察

此次更新的核心价值在于验证了 NVFP4 并非营销噱头，而是端侧/本地推理的性能分水岭。长期以来，开发者在量化精度与速度之间苦苦挣扎，而 Basalt 的测试数据证明，FP4 能够在几乎不损失语义理解能力（PPL 仅波动 0.6%）的情况下，提供远超 FP8 或 INT4 的吞吐效率。此外，Basalt 对“非对称 GPU 协同”的优化，预示着未来本地 AI 工作站将不再受限于同型号显卡，异构算力池化将成为主流。

行动建议

1. 架构迁移：对于正在构建边缘计算或高性能工作站的企业，应优先将推理后端适配至支持 NVFP4 的框架，以榨干 Blackwell 显卡的硬件潜力。
2. 量化选型：在 10B 以下的小参数模型（如 Qwen 3.8B）上，建议放弃传统的 Q4_K_M，全面转向 NVFP4 + 高位稠密层的混合量化方案。
3. 关注异构计算：开发者应利用 Basalt 这种 Peer GPU 机制，回收旧型号显卡作为辅助计算单元，而非单纯依赖单卡升级。