CPU 推理性能大爆发：Radiance 引擎助力双 R9 7900 实现 Qwen-3.8B 极速解码

用户 Athabasco 在 Reddit 社区展示了其最新组装的 PC 性能测试：在双 AMD Ryzen 9 7900 处理器与 64GB DDR5 内存的硬件环境下，通过 Deadcode 开发的 Radiance 推理引擎，运行 Q4 量化版 Qwen-3.8 Flash-Next 模型，实现了 176 t/s 的解码速度和惊人的 6,450 t/s 预填充速度。

• ▶ 极致硬件压榨：Radiance 引擎通过对 AVX-512 等指令集的深度优化，证明了在小参数模型（<7B）场景下，高带宽 DDR5 内存配合多核 CPU 的推理效率已足以媲美甚至超越部分主流 GPU。
• ▶ RAG 场景的降维打击：6,450 t/s 的预填充速度意味着在处理长文本检索（RAG）时，首字延迟（TTFT）几乎可以忽略不计，为本地化私有知识库部署提供了极高性价比的路径。

八卦洞察

长期以来，本地 LLM 推理被视为 NVIDIA GPU 的“自留地”，但这次跑分数据有力地回击了这一成见。Deadcode 的 Radiance 引擎揭示了一个关键趋势：当模型参数量下降到一定程度时，推理瓶颈已从浮点运算能力（Compute-bound）转向内存带宽（Memory-bound）。双路 R9 7900 配合高频 DDR5 内存，在处理 Qwen-3.8B 这类轻量级模型时，其吞吐量表现非常惊人。这预示着“去 GPU 化”在边缘侧和企业办公终端的 GenAI 应用中已具备商业可行性。对于那些受限于预算或无法获取高端算力卡的团队来说，高性能消费级 CPU 方案正成为一种极具竞争力的替代方案。

行动建议

开发者应打破“非 CUDA 不可”的思维定式，在针对边缘计算、智能终端或私有化 RAG 系统的架构设计中，优先评估如 Radiance 或 llama.cpp 极致优化版等非显卡依赖型推理框架。企业在进行硬件采购时，若主要任务是运行 7B 以下的小模型，应优先考虑增加内存通道和提升内存频率，而非盲目堆叠低端显卡，从而在保证性能的同时大幅降低 TCO（总体拥有成本）。