【八卦情报】推理性能大跃进：R9V 通过 KVA 投影实现 Qwen3.8 预填充速度 1.85 倍提升

核心事件

开发者 R9V 近期宣布，通过引入基于 DeepSeek V4.1 Flash 及 HySparse2/MiMo-V3 逻辑的 KVA（Key-Value Approximation）投影器，成功在 Qwen3.8 Flash Next 模型上实现了预填充阶段（Prefill）的显著加速，在消费级硬件（2x R9700）上将处理速度从 1700 t/s 提升至最高 3150 t/s。

• ▶ 性能突破： 在第 12 层实施 KVA 投影可获得 1.85 倍的预填充加速，即便在第 16 层实施，仍能保持 1.7 倍的速度增益。
• ▶ 架构平权： 该技术证明了原本由 DeepSeek 等大厂原生实现的稀疏化与投影优化，可以通过社区手段逆向适配至非原生支持的模型架构中。
• ▶ 精度权衡： 加速代价为约 8% 的困惑度（Perplexity）上升，这在追求极致响应速度的“Flash”系列模型应用场景中通常被认为是可接受的。

八卦洞察

「八卦智库」认为，这一进展标志着本地 LLM（LocalLLaMA）社区的优化方向正在从单纯的权重处理（如 GGUF、EXL2 量化）转向更深层的“架构改装”。R9V 的尝试实际上是在非原生模型上“嫁接”了类似稀疏注意力的特性。这种“外部注入式”的优化对于处理长文本 RAG（检索增强生成）具有战略意义，因为它直接解决了首字延迟（TTFT）这一核心痛点。此外，在 AMD R9700 这种非 H100 级别的硬件上实现 3000+ t/s 的吞吐量，预示着边缘侧推理的效率边界正在被重新定义。

行动建议

对于构建高并发 RAG 系统的开发者，建议密切关注 R9V 的 KVA 投影器实现逻辑，评估在特定业务场景下（如文档摘要、实时对话）用 8% 的精度损失换取近 2 倍吞吐量的可行性。同时，企业应关注此类“跨架构移植”技术，这可能成为未来模型部署阶段进行二次压榨性能的标准手段。