QLoRA

核心事件 EXL3-QLoRA 正式发布，这是一个基于 ExLlamaV3 的原生 PyTorch 实现分支，支持对 2-8bpw（每参数位数）的 EXL3 量化模型进行直接微调。该项目彻底摆脱了传统 QLoRA 对 transformers 库和 BitsAndBytes (BNB) 4-bit 方案的依赖，为本地大模型（LocalLLaMA）社区提供了更高精度、更灵活的训练工具。 ▶ 突破位宽瓶颈： 传统的 QLoRA 长期受限于 BNB 的 4-bit 或 8-bit 固定格式，而 EXL3-QLoRA 允许开发者在 2 到 8bpw 之间自由选择，实现了极细粒度的精度与显存平衡。 ▶ 原生架构解耦： 采用纯 PyTorch 实现，不依赖 transformers 框架的复杂封装，显著降低了底层调优的门槛，并提升了在特定硬件上的执行效率。 ▶ 精度前沿： EXL3 格式目前被公认为同等压缩率下困惑度（Perplexity）表现最优的量化方案，此次支持训练意味着低成本微调的质量将迎来质的飞跃。 八卦洞察 这是大模型底层工具链“去中心化”的一个重要信号。长期以来，Hugging Face 的 transformers 生态虽然标准统一，但在追求极致性能的本地部署和边缘计算场景下显得过于臃肿。ExLlama 系列一直走在推理加速的前沿，而 EXL3-QLoRA 的出现补齐了“训练”这一环。这不仅是技术的进步，更是对主流 4-bit 量化范式的挑战。我们认为，随着 EXL3 训练生态的成熟，开发者将不再被迫在“昂贵的 FP16”和“有损的 BNB 4-bit”之间二选一，而是进入一个“按需定制精度”的新时代。 行动建议 对于显存受限的开发者，建议立即从传统的 BNB 4-bit 转向 EXL3 格式。在 6bpw 左右的配置下，你可以获得接近 FP16 的微调效果，而显存占用仅为一半。此外，关注其在 GitHub 上的更新，尤其是针对不同模型架构的适配情况，这将是未来本地私有化部署的最佳实践路径。