性能狂飙 40%：Halogen 0.12.0 助力 AMD Strix Halo 攻克百万上下文推理

核心事件

开源推理框架 Halogen 发布 0.12.0 版本，通过修复长上下文下的性能衰减问题，使得 Qwen3.8-Flash-Next 模型在 AMD Strix Halo 平台上实现了 100 万 token 上下文的性能突破：解码速度提升至 38.3 tok/s，预填充耗时缩短至 17.9 分钟。

• ▶ 软件栈优化释放硬件红利： 此次更新将 1M 上下文下的解码速度从 27.3 tok/s 提升至 38.3 tok/s，涨幅达 40%，证明了针对特定架构（如 AMD APU）的软件优化仍有巨大压榨空间。
• ▶ 本地长上下文进入“准商用”阶段： 虽然 18 分钟的预填充时间对于实时对话仍显漫长，但对于异步的本地文档库分析、长文本 RAG 等场景，Strix Halo 展现出了替代入门级数据中心显卡的潜力。

八卦洞察

在 AI 硬件竞赛中，AMD 的 Strix Halo 一直被视为“移动端的性能怪兽”，其统一内存架构在处理超大上下文时具有天然优势。Halogen 0.12.0 的表现揭示了一个残酷的现实：硬件的理论上限往往被糟糕的软件适配所掩盖。当 1M token 的推理能在笔记本级别的芯片上跑出 38 tok/s 的速度时，云端长上下文 API 的高昂溢价将面临挑战。这意味着“长上下文民主化”的第一波浪潮可能并非来自云端降价，而是来自边缘侧算力的软件补完。

行动建议

对于开发者而言，应立即关注 Halogen 等针对非 CUDA 架构优化的推理后端，尤其是在构建私有化、长文本处理工作流时。对于企业采购，Strix Halo 平台不再仅仅是“备选”，其在长上下文推理中的高性价比（内存容量与带宽比）使其成为本地 RAG 节点的理想选择。建议在 256k 至 1M token 跨度的任务中，优先测试该组合的能效比。