llama.cpp 引入 AVX2 优化：IQ 量化模型大批量推理性能实现跨越式提升

该 PR (#27402) 通过针对 AVX2 指令集的底层优化，显著加速了 IQ (Importance Quantization) 模型在 CPU 环境下的大批量 Prompt 处理及困惑度（Perplexity）计算效率。

• ▶ 性能突破：在 EPYC 9654 等高性能服务器级 CPU 上，针对 Qwen 系列（27B、35B-A3B）模型的测试显示，大批量处理速度获得显著提升。
• ▶ 全谱系覆盖：优化范围涵盖了从极低比特（IQ1_S）到中等比特（IQ4_NL）的全系列量化类型，确保了各种张量类型的兼容性。
• ▶ 效率释放：解决了 iMatrix 计算和 PPL 评估中的性能瓶颈，大幅缩短了本地大模型量化调优与评估的周期。

八卦洞察

在本地大模型（Local LLM）生态中，IQ 量化因其在极低比特下仍能保持极高精度而备受推崇，但其在 CPU 上的计算开销一直是痛点。此次 bartowski1182 提交的 AVX2 优化，本质上是在指令集层面重新平衡了“精度”与“速度”的杠杆。随着企业级 RAG 任务对长文本处理需求的激增，这种针对大批量（Large Batch）场景的微观优化，实际上是在为 CPU 推理“正名”。它预示着在不具备顶级 GPU 集群的情况下，利用高性能 CPU 进行大规模模型评估和初步推理正在变得更加经济可行。这不仅是代码的改进，更是对端侧计算边界的一次有力拓展。

行动建议

对于依赖 CPU 进行模型量化与评估的开发者，建议立即关注并测试该 PR 分支，特别是在进行 iMatrix 权重计算时，AVX2 的加持将显著节省时间成本。对于企业用户，若生产环境以 CPU 推理为主，应重新评估 IQ 量化模型的部署优先级，结合此项优化，IQ 系列模型有望在保持低内存占用的同时，提供更具竞争力的响应延迟。