大模型推理

核心事件 SIQ-1 项目基于 Qwen-35B-A3 (MoE) 架构，通过引入 PPO（近端策略优化）算法与可验证奖励（Verifiable Rewards）机制，成功在自主研究（Auto-research）与智能体任务中实现了性能飞跃。在 Karpathy 的自动研究超参数优化测试中，该模型不仅击败了 GLM-5.2 和 Qwen-350B，其逻辑产出质量更直逼 Opus 4.8，标志着中等参数模型在特定推理任务上对超大规模模型的逆袭。 ▶ 强化学习的“降维打击”： SIQ-1 证明了在具备可验证反馈的环境下，PPO 算法能显著压榨模型推理潜力，使 35B 规模的模型在科研逻辑与系统优化任务中展现出超越 300B+ 模型的实力。 ▶ 自主智能体（Autonomous Agency）的闭环： 不同于传统的对话式 AI，SIQ-1 专注于“自动研究”场景，能够自主进行参数迭代与思路验证，完成了从“辅助工具”到“独立研究员”的角色转变。 八卦洞察 SIQ-1 的出现揭示了当前大模型竞争的一个关键拐点：单纯的参数规模（Scaling Laws）在特定垂直领域（如科研、编程）的边际效用正在递减。通过 PPO 结合可验证奖励机制（如代码执行结果、数学证明、实验反馈），模型能够进入一种“自我进化”的循环。值得注意的是，SIQ-1 在所谓的“Bullshit-bench”上超越了 GPT-5.5 等预期模型，这暗示了在处理高信息密度、低冗余度的专业任务时，经过强化学习对齐的 MoE 架构具有极高的计算效率优势。这不仅是算法的胜利，更是对“如何定义模型智能”的一次重构。 行动建议 对于开发者和企业架构师，SIQ-1 的成功路径提供了极具价值的参考：首先，停止盲目追求超大规模模型，在特定业务场景下，应优先考虑如 Qwen-35B 这一类具备高推理素质的中型 MoE 架构；其次，重金投入可验证奖励系统的构建，因为 RL（强化学习）阶段的质量完全取决于反馈信号的精确度；最后，关注 GGUF 格式的本地化部署，SIQ-1 的开源特性意味着高性能自主研究智能体已具备在私有化算力节点落地的成熟条件。

事件核心OpenAI 正式推出 LifeSciBench，这是一个由领域专家深度参与编写与评审的基准测试体系。该基准旨在评估 AI 系统在处理真实世界生命科学研究任务、复杂决策及跨学科逻辑推理方面的能力，标志着 AI 评估标准从“通用知识问答”向“专业工业实战”的重大跨越。▶ 从知识检索转向深度推理：LifeSciBench 涵盖了药物研发、临床试验设计及监管文件撰写等 10 个核心领域，包含超过 1,500 个任务，重点考察模型在多步骤、高风险场景下的判断力。▶ 专家闭环验证：不同于以往依赖自动化生成的测试集，该基准由具备深厚学术和工业背景的专家手工打造，确保了测试题目的专业严谨性与“不可预测性”。八卦洞察LifeSciBench 的发布揭示了 OpenAI 及其竞争对手在 AI4Science（人工智能驱动的科学研究）领域的战略野心。目前通用大模型在通用考试（如 GRE、LSAT）中已接近天花板，但在生命科学这种容错率极低、专业壁垒极高的领域，模型依然面临严重的幻觉问题。OpenAI 此举不仅是发布一个工具，更是在定义“科学级 AI”的话语权。通过建立行业标准，OpenAI 试图将其模型（尤其是具备强化学习推理能力的 o1 系列）锚定为生物制药巨头不可或缺的底层架构，从而在利润丰厚的垂直医疗市场建立护城河。行动建议对于制药企业与生物技术公司，建议立即将 LifeSciBench 纳入内部 AI 供应商的选型评估框架，以取代过时的通用基准。对于 AI 开发者，应意识到“参数规模竞赛”已让位于“垂直推理精度”，未来的核心竞争力在于模型如何处理非结构化的专业实验数据并生成符合监管逻辑的决策建议。

小米近日披露其 MiMo V2.5 模型在推理性能上取得重大突破，通过引入 DFlash 架构与持久化内核（Persistent Kernel）技术，实现了 1000-3000 TPS（每秒 Token 数）的惊人吞吐量，并承诺近期将正式开源相关代码。 ▶ 软硬协同深度优化：DFlash 并非单纯的算法改进，而是针对显存带宽瓶颈的底层重构，配合持久化内核减少了算子切换开销。 ▶ 端侧与云端推理边界模糊：如此高的吞吐量预示着小米在端侧 AI 响应速度上已具备行业领先的竞争力，为复杂智能体（Agent）的实时交互奠定了基础。 八卦洞察 小米此次的技术飞跃释放了一个明确信号：大模型竞赛的下半场已从“参数规模”转向“推理效率”。1000-3000 TPS 的量级意味着模型可以在极短时间内完成多轮思考或长文本生成，这对于需要高频调用、低延迟反馈的 Agentic Workflow（智能体工作流）至关重要。小米选择在此时开源 DFlash，显然是意图通过贡献底层推理基础设施来争夺开发者生态的话语权，挑战目前由 NVIDIA TensorRT-LLM 或 vLLM 主导的推理格局。 行动建议 对于开发者和企业架构师，建议密切关注小米即将发布的 DFlash 开源仓库。若其持久化内核技术能够适配主流算力平台，将成为降低大模型推理成本（TCO）的关键工具。特别是针对高并发、实时性要求高的业务场景，应提前评估 DFlash 架构对现有推理链路的替代潜力。同时，硬件厂商需警惕这种深度定制化内核带来的软件栈壁垒，加强对异构计算的底层优化支持。

llama.cpp 社区近期通过 PR #24225 对 WebGPU 后端进行了重大重构，通过优化 K-Quants 矩阵乘法（matmul）内核，显著提升了量化模型在浏览器端的预填充（Prefill）速度，在 Apple M2 Pro 芯片上实现最高 3.78 倍的性能飞跃。 ▶ 核心突破：本次更新针对 Q2_K、Q3_K 及 Q4_K 等主流量化格式重构了 WebGPU 算子，直接解决了浏览器端运行大模型时“首字延迟（TTFT）”过长的行业痛点。 ▶ 性能标杆：实测数据显示，在 M2 Pro 环境下，Qwen 0.6B 提速 2.44 倍，而 Gemma 4B 的加速比竟达到惊人的 3.78 倍，标志着 WebGPU 正在从“实验性工具”向“高性能推理引擎”演进。 八卦洞察 WebGPU 的崛起正在重塑边缘侧 AI 的版图。长期以来，Web 端推理受限于着色器（Shader）效率，导致预填充阶段（处理 Prompt 的过程）远慢于原生 CUDA 或 Metal 环境。llama.cpp 此次对 K-Quants 的底层重构，实际上是在 Web 层面榨取硬件的并行计算潜力。这意味着“零安装、跨平台”的高性能 AI 体验已不再是幻觉。随着 Gemma 和 Qwen 等轻量化模型在 WebGPU 上的表现逼近原生性能，Web 浏览器将成为去中心化 AI 推理的最强入口，进一步削弱了云端 API 的垄断地位。 行动建议 对于 AI 开发者，建议立即评估 K-Quants（尤其是 Q4_K）在 WebGPU 环境下的部署潜力，其在保持模型精度的同时，已展现出极高的推理性价比。对于企业级应用，可考虑将隐私敏感的 RAG（检索增强生成）任务或轻量级交互逻辑从云端迁移至用户浏览器侧，利用 WebGPU 的性能红利大幅降低服务器带宽与算力成本，同时实现真正的隐私合规。

事件核心一名开发者在 LocalLLaMA 社区分享了一项突破性实验：通过在 AMD MI50 GPU 上利用闲置的计算资源，将 Qwen-27B（Q8 量化）的推理速度从 19.4 tk/s 提升至 38.1 tk/s，几近翻倍。其核心逻辑并非引入额外的草稿模型（Draft Model），而是通过并行化计算流，利用低比特量化下未被占满的浮点运算单元（ALU），实现了一种“自给自足”的类投机采样优化。▶ 突破带宽瓶颈：在 Q8 (INT8/FP8) 量化下，推理通常受限于内存带宽，导致 GPU 的 FP32 计算能力大量闲置。该方法通过并行执行多个计算任务，成功填补了这些“计算空隙”。▶ 无需辅助模型的并行化：不同于传统的投机采样需要一个小模型，该方案通过在内存中“模拟”加载双倍模型资源，在单卡上实现了并行推理路径。▶ AMD 硬件潜力再挖掘：此实验基于较旧的 AMD Instinct MI50，证明了通过深度优化 HIP 内核与多令牌预测（MTP）技术，旧款企业级显卡仍有巨大的吞吐量提升空间。八卦洞察这一发现揭示了当前大模型推理中一个长期存在的“房间里的大象”：我们的硬件在处理量化模型时，算力是严重过剩的，而瓶颈全在带宽。该开发者的思路非常硬核——既然带宽跑不满算力，那就强行增加计算密度。这种“自投机”模式如果能集成到 llama.cpp 等主流推理框架中，将极大改变个人开发者和中小企业对旧款数据中心 GPU（如 V100、MI50）的价值评估。这不仅是技术的胜利，更是对硬件底层架构的一次精准“套利”。行动建议1. 技术跟踪：密切关注该开发者后续发布的 llama.cpp 补丁和 HIP 内核优化代码，这可能是提升本地推理效率的低成本神技。2. 硬件资产重估：对于持有旧款 AMD 或 NVIDIA 企业级显卡的团队，应重新评估其在特定量化规格下的并行推理潜力，而非盲目追新。3. 架构优化方向：推理引擎开发者应考虑如何更高效地调度并行计算流，以利用量化模型带来的算力冗余。

事件核心 近日，在 HackerNews 上引发热议的一项技术分享显示，开发者成功利用 Opus 4.8 模型，通过单次提示（One-shot）生成了经过形式化验证（Formally Verified）的多边形相交算法代码。此前，该任务在多次尝试中均宣告失败。这一进展不仅是代码生成能力的提升，更是大语言模型（LLM）在处理严密的数学逻辑与复杂几何证明方面迈出的关键一步。多边形相交是计算机几何中的经典难题，涉及大量的边界情况（Edge Cases）和浮点数精度挑战，而形式化验证则要求代码在数学上被证明是绝对正确的。 技术/商业细节 形式化验证与传统的单元测试有着本质区别。它通过数学证明确保程序在所有可能的输入下都符合规范，消除了逻辑漏洞的可能性。在本项目中，开发者利用 Opus 4.8 生成了不仅包含算法逻辑，还包含逻辑正确性证明的代码。多边形相交算法（如 Sutherland-Hodgman 或 Weiler-Atherton）的实现极易在处理退化多边形、重合边或共线点时崩溃。Opus 4.8 的成功在于其能够理解复杂的几何约束，并构建出符合形式化验证框架（如 Coq 或类似逻辑系统）要求的证明链。这种“单次提示即成功”的表现，意味着模型对深层逻辑结构的建模能力已经达到了能够处理高可靠性软件开发的水平。 八卦分析：全球影响 「八卦智库」认为，这一事件释放了一个强烈的信号：AI 正在从“概率性编程”向“确定性编程”跨越。长期以来，LLM 生成的代码因其不确定性和潜在的幻觉（Hallucination）而备受质疑，尤其是在航空航天、自动驾驶和金融系统等安全敏感领域。形式化验证是解决这一痛点的终极方案，但其门槛极高，通常需要资深专家花费数周甚至数月来编写证明。Opus 4.8 的表现预示着，AI 辅助的形式化验证将极大地降低构建“零缺陷软件”的成本。这不仅会重塑 CAD/CAM 软件行业，更将为下一代具备物理常识和逻辑严密性的机器人视觉系统奠定基础。这标志着大模型推理能力（Reasoning）已经从简单的文本逻辑演进到了严苛的数学验证领域。 战略建议 技术选型： 软件架构师应开始评估将形式化验证引入核心业务逻辑的可能性。随着 AI 工具的成熟，原本昂贵的验证成本将大幅下降。 研发投入： 建议企业关注具备强推理能力的模型（如 Opus 系列或 O1 系列），并将其集成到 CI/CD 流程中，用于自动化生成关键算法的证明。 人才储备： 开发者应从单纯的“写代码”转向“写规范（Specification）”，未来的核心竞争力将在于如何定义严谨的数学约束，并引导 AI 完成逻辑证明。

事件核心 华为近期正式开源了 KVarN，这是一种针对大语言模型（LLM）KV Cache（键值缓存）的新型量化方案。在当前大模型长文本推理需求激增的背景下，KVarN 实现了 3-5 倍的显存压缩率，且不仅没有像传统量化方案那样导致推理变慢，反而实现了实际的推理加速。该项目采用 Apache 2.0 协议，并已支持通过 vLLM 框架一键启用，标志着华为在 LLM 推理基础设施领域的深度参与。 技术/商业细节 KVarN 的核心竞争力在于其对“性能-精度”平衡点的重新定义。与现有的 TurboQuant 等方案相比，KVarN 在极高压缩比下依然能保持极强的逻辑推理能力，有效解决了长文本推理中的精度损失问题。其技术亮点包括： 高压缩比与加速并存： 在 FP8 量化（约 2 倍压缩）已成为行业主流的当下，KVarN 跨越到了 3-5 倍压缩，并利用优化的内核（Kernel）设计抵消了量化/反量化的计算开销，实现了端到端的吞吐量提升。 推理无损化： 在 LocalLLaMA 社区的初步测试中，KVarN 在复杂推理任务上的表现优于同类竞争对手，证明了其算法在处理注意力机制权重分布时的优越性。 生态兼容性： 通过对 vLLM 的原生支持（single flag 启用），极大地降低了开发者在生产环境部署的门槛。 八卦分析：全球影响 从「八卦洞察」的角度看，KVarN 的发布不仅是一个技术补丁，更是华为在全球 AI 软件生态中争夺话语权的关键一步。长期以来，NVIDIA 凭借 CUDA 生态统治了量化与推理优化领域，而华为通过开源高性能、高兼容性的工具，正在打破“硬件强、软件弱”的刻板印象。KVarN 选择 Apache 2.0 协议并深度集成 vLLM，显示了其意图进入全球主流开发者工具链的野心。 此外，KV Cache 是制约长文本（Long Context）应用（如 RAG、长文档分析）规模化落地的最大瓶颈。KVarN 提供的 3-5 倍压缩意味着在同样的硬件条件下，企业可以支持更长的上下文或更高并发的用户请求。这对于那些深陷“显存焦虑”的算力租赁商和私有化部署企业来说，是一剂强心针。 战略建议 技术团队： 建议立即在 vLLM 测试环境中引入 KVarN 进行压力测试，特别是针对 128K 以上长文本场景，评估其在实际业务数据下的 P99 延迟表现。 算力决策者： 重新评估现有显存资源的承载上限。KVarN 带来的显存红利可能允许在现有硬件上运行更大参数规模的模型，从而提升服务质量。 开发者社区： 关注华为在 vLLM 及其它主流推理框架（如 TensorRT-LLM 适配可能性）中的后续动作，这预示着国产 AI 基础设施正在向通用化、高性能化转型。

开发者社区近期取得重大进展，通过将 Google 的 Gemma 4 E4B 模型转换为 LiteRT（原 TensorFlow Lite）格式，在本地推理中实现了远超传统 GGUF 格式的文本生成效率。在 llama.cpp 尚未完全适配该特定架构的空窗期，这一方案为端侧 AI 性能优化提供了新路径。▶ 性能飞跃：测试数据显示，LiteRT 引擎在文本生成场景下的速度比 Q4 量化版本的 GGUF 快约 2.4 倍，充分释放了轻量级模型的推理潜力。▶ 瓶颈分化：尽管文本生成速度大幅提升，但多模态图像处理速度与 GGUF 基本持平，显示出视觉编码器或内存带宽在当前架构中仍是主要限制因素。▶ 生态补位：在 llama.cpp 对 Gemma 4 E2B/E4B 架构支持滞后的背景下，利用 Hermes Agent 转换 LiteRT 格式并封装 OpenAI 兼容接口，成为了高性能部署的替代方案。八卦洞察这一进展揭示了端侧 AI 推理格局的微妙变化。长期以来，llama.cpp 与 GGUF 格式几乎是本地大模型的代名词，但 Google 官方 LiteRT 引擎在 Gemma 系列模型上的深度优化，证明了“原厂引擎”在特定架构上的统治力。这不仅仅是速度的竞争，更是对量化协议效率的重新审视。随着 SLM（小语言模型）在边缘端普及，这种针对特定硬件和架构的“精细化推理”将逐渐取代通用的“粗放式推理”。行动建议对于追求极致响应速度的端侧应用开发者，建议立即关注 LiteRT 在 Gemma 系列模型上的应用。在 llama.cpp 社区完成 PR 合并前，LiteRT 是目前最理想的过渡甚至长期替代方案。同时，应重点评估多模态任务中的 I/O 损耗，单纯提升文本推理速度已无法解决视觉任务的延迟瓶颈。

事件核心 在 2026 年台北电脑展（Computex）上，英特尔（Intel）正式发布了代号为“Crescent Island”的旗舰级 GPU。这款产品不仅是英特尔图形技术的新巅峰，更在显存容量上实现了惊人的突破——最高配置版本达到了 480GB。Crescent Island 基于英特尔最新的 Arc Xe 3P 架构，该架构与当前主流的 Panther Lake 处理器核显同源，标志着英特尔在统一架构（Unified Architecture）与超大容量显存路径上的全面发力。此举被视为对英伟达（NVIDIA）在 AI 基础设施领域统治地位的直接挑战，特别是在本地大模型（Local LLM）推理市场。 技术/商业细节 Crescent Island 的核心竞争力在于其独特的显存方案。与英伟达 H100/B200 等依赖高带宽内存（HBM）以追求极致能效比的专业加速卡不同，英特尔在 Crescent Island 上采取了差异化路线。通过 Xe 3P 架构的深度优化，英特尔成功在非 HBM 架构下实现了 480GB 的超大规模显存。这种设计极大地降低了制造复杂度与成本，避开了全球 HBM 产能短缺的供应链瓶颈。 架构协同：Xe 3P 架构在 Panther Lake 核显与 Crescent Island 独显之间的通用性，意味着开发者可以实现从轻量级移动端到海量显存工作站的无缝代码迁移。 显存容量突破：480GB 的容量足以在单卡上完整加载并运行参数量超过 400B 的超大规模语言模型（如 Llama 4 系列），而无需复杂的分布式计算集群。 成本优势：放弃 HBM 转向高密度商品化内存技术（可能是下一代 LPDDR 或 GDDR 变体），使英特尔能够以远低于竞争对手的价格提供同等甚至更高的显存容量。 八卦分析：全球影响 「八卦智库」认为，英特尔此举是一场教科书式的“非对称作战”。在算力（FLOPS）难以在短期内超越英伟达 Blackwell 架构的情况下，英特尔选择在“显存容量”这一大模型推理的痛点上饱和攻击。目前，AI 行业的瓶颈已从单纯的计算速度转向了“内存墙（Memory Wall）”。 1. 终结“显存税”：长期以来，英伟达通过限制消费级显卡的显存容量来保护其昂贵的企业级 GPU 市场。英特尔 480GB 显存的出现，直接拆掉了专业级与消费级产品之间的围墙，迫使行业重新审视 VRAM 的定价逻辑。 2. 本地 AI 的崛起：Crescent Island 的出现将极大地推动“AI 私有化”。企业和高端个人用户不再需要依赖昂贵的云端 API，即可在本地运行最顶级的开源模型。这对于数据隐私敏感型行业（如医疗、法律、国防）具有战略意义。 3. 供应链格局变动：通过减少对 HBM 的依赖，英特尔提升了自身供应链的韧性。如果该方案在性能表现上能达到 HBM 方案的 70%-80%，其极高的性价比将吸引大量二线云服务商和初创 AI 公司。 战略建议 对于开发者：应立即关注英特尔 OneAPI 生态系统的更新。随着 Crescent Island 的普及，针对 Xe 3P 架构的算子优化将成为获得高性能本地推理能力的关键。 对于企业采购：在规划 2026-2027 年的 AI 基础设施时，建议重新评估 TCO（总拥有成本）。英特尔方案可能在推理任务中提供比英伟达 H 系列更高的“每美元显存容量”收益。 对于模型厂商：应针对超大显存单卡环境优化模型量化与加载策略，400B+ 模型的单卡本地化部署将成为新的行业标准。

mistral.rs 发布 v0.8.2 版本，通过深度优化 CUDA 吞吐量，在 NVIDIA 最新一代 GPU（如 B200、H100、GB10）上运行 Gemma 模型时，推理性能全面超越行业标杆 llama.cpp，最高提升达 2.8 倍。▶ 性能压制：在 GB10 和 B200 平台上，mistral.rs 在处理 Gemma 4（包括 Dense 和 MoE 版本）时，于所有测试点均优于 llama.cpp，且在不同量化类型下表现稳定。▶ 架构优势：该版本专注于极致的 CUDA 吞吐量优化，证明了基于 Rust 构建的推理引擎在压榨高端硬件性能方面具有显著的潜力。八卦洞察长期以来，llama.cpp 凭借其卓越的兼容性统治了本地推理市场，但其架构在适配 Blackwell 等超高性能架构时正显现出调度瓶颈。mistral.rs 的崛起标志着推理框架正从“通用适配”向“极致硬件压榨”演进。对于追求高吞吐量（Throughput）而非仅仅是低延迟（Latency）的生产环境，Rust 语言对内存和并发的精细控制正在转化为实实在在的算力红利。这不仅是框架之争，更是 AI 基础设施层向更高效、更安全的编程范式转移的信号。行动建议对于拥有 H100 或 B200 等高端算力资源的团队，建议立即将 mistral.rs 纳入 Benchmark 范畴，评估其在生产环境中的 TCO（总拥有成本）优化潜力。开发者应关注其对 Gemma 等新型架构的优化路径，利用其 Rust 原生特性构建更高稳定性的 AI 应用服务。在量化选型上，由于 mistral.rs 在多种量化精度下均能保持领先，可大胆尝试更激进的量化方案以进一步提升吞吐。

核心摘要llama.cpp 开发者针对 AMD RDNA3 架构实现了全新的 Flash Attention 优化，通过硬件原生的 sudot4 指令重构 KV 缓存布局，在显著降低显存占用的同时保持了极高的推理精度，为非 NVIDIA 硬件的本地大模型推理开辟了新路径。▶ 突破性 KV 缓存方案：通过将 4 个 8 位 K 值打包为 32 位整数，该方案绕过了传统 FP16 的高显存消耗，同时避免了传统有损量化带来的精度崩坏。▶ RDNA3 硬件潜能深度释放：直接调用 GPU 原生的点积指令，使内核获得理想的数据布局，显存占用较 Vulkan FP16 模式降低了 47%。▶ 近乎无损的精度表现：KL 散度（KLD）测试显示，在 F16 K / Q4_0 V 配置下，其表现几乎等同于全精度水平，有效解决了长文本推理中的“显存墙”问题。八卦洞察长期以来，本地大模型（Local LLM）社区一直受困于“精度与显存”的零和博弈：要么忍受 FP16 带来的显存溢出，要么接受量化后的模型“降智”。本次针对 RDNA3 的优化本质上是一场“硬件级黑客行动”。它证明了 AMD 硬件在 AI 推理上并非性能不足，而是缺乏深度适配的软件栈。通过 sudot4 指令实现的 8 位打包方案，实际上是在软件层面模拟了更高效的张量核心行为。这不仅缩小了 AMD 与 NVIDIA 在本地推理效率上的差距，也预示着未来大模型后端优化将从“通用算子”转向“特定架构指令集”的精细化竞争。行动建议AMD 用户：密切关注 llama.cpp 相关 PR 进展，RDNA3 系列显卡（如 7900XTX）在长文本和多轮对话场景下的实用性将迎来质变。开发者：应重新审视非 CUDA 架构的底层指令集（如 RDNA3 的 sudot 或 Apple Silicon 的 AMX），通过指令级优化而非单纯的算法改进来对冲显存带宽瓶颈。企业部署：在评估推理成本（TCO）时，可将 RDNA3 显卡作为高性价比的备选方案，尤其是在对显存容量敏感的 RAG 应用场景中。

vLLM 社区近日正式合并了针对 AMD ROCm 平台的原生 HIP W4A16（权重量化 4-bit，激活 16-bit）算子。该更新彻底打破了 AMD 设备在主流推理框架中的性能瓶颈，使 RDNA3 架构显卡在运行 Qwen 等模型时展现出极高的吞吐能力。 ▶ 性能跨越：在 Qwen3.6-27B 测试中，原生 HIP 算子在序列数为 32 时达到 445.7 tk/s，相比此前 Triton 算子的 83 tk/s 实现了近 5 倍的吞吐量提升，性能表现甚至超越了此前的优化标杆 ExLlama。 ▶ 生态补完：此 PR 标志着 AMD ROCm 在 vLLM 中的底层支持进入“深水区”，从依赖通用编译器（Triton）转向手写高性能原生算子，极大增强了 AMD 硬件在生产环境中的实用性。 八卦洞察 长期以来，AMD 在 AI 推理领域的痛点不在于硬件规格，而在于算子库的深度优化。此次 vLLM 合并原生 HIP 算子，意味着 AMD 正在通过“社区驱动+核心算子重写”的策略，快速缩小与 NVIDIA CUDA 生态在量化推理上的差距。这一变动不仅利好拥有 RX 7900 系列显卡的消费级用户，更为数据中心级 Instinct 系列在 vLLM 上的规模化部署扫清了性能障碍。AMD 正在从“能跑通”向“跑得快”产生质变。 行动建议 1. 基础设施升级：使用 AMD GPU 的团队应立即跟进 vLLM 最新版本，并优先采用 W4A16 量化方案以获取最大能效比。 2. 架构评估：在进行推理集群选型时，可重新评估 RDNA3 及后续架构的性价比，原生算子的加持使得 AMD 在特定量化场景下已具备对标英伟达中高端卡的竞争力。

核心事件 开发者在 AMD MI300X 平台上成功构建了“单内核”（Monokernel）推理架构。通过将整个 LLM 解码序列作为单个驻留在 GPU 上的程序运行，并针对芯片的物理拓扑（如 IOD 分组和内存布局）进行深度优化，在 Batch Size 为 1 且未开启投机解码的情况下，实现了单请求 3,300 token/s 的极致输出速度，达到了硬件设计的性能峰值。 ▶ 全流程驻留： 彻底消除 CPU 与 GPU 之间的内核启动开销，将推理循环完全锁定在 GPU 内部执行。 ▶ 拓扑感知优化： 针对 MI300X 的 Chiplet 设计，通过将计算单元（CU）按输入/输出模块（IOD）分组，实现了内存访问与物理布局的精准映射。 ▶ 非投机性突破： 这一速度是在纯原生的解码状态下达成的，证明了 AMD 硬件在低延迟、高吞吐场景下的巨大潜力。 八卦洞察 这不仅仅是一个跑分记录，更是对 NVIDIA 软件霸权的一次“降维打击”。长期以来，AMD 的劣势在于 ROCm 生态的碎片化。而“单内核”方案绕过了复杂的通用软件栈，直接在裸机层面榨取 CDNA 3 架构的红利。这种“软件定义硬件”的思路表明，当推理任务从通用计算转向特定领域的极致优化时，MI300X 的海量带宽和 Chiplet 灵活性将成为对抗 H100 的杀手锏。这也预示着未来高端推理市场将从“买通用卡”转向“定制化内核驱动”。 行动建议 对于追求极致推理成本（TCO）的企业，应密切关注针对 AMD 硬件的底层优化框架（如 vLLM 的底层重构或此类单内核方案），而非仅仅依赖官方 ROCm 库。建议基准测试团队重新评估 MI300X 在实时交互式 AI 应用（如语音助手、实时代码补全）中的地位，其单请求延迟表现可能已超越同代 NVIDIA 产品。

该研究推出了一种完全基于 OpenAI Triton 编写的混合专家模型（MoE）推理内核 TritonMoE，通过融合 Gate+Up GEMM 算子，在无需厂商特定代码的情况下实现了 NVIDIA 与 AMD 平台的跨架构兼容，并在中短序列推理中超越了 Megablocks 的性能表现。 ▶ 算子融合重塑带宽利用率：通过将 SwiGLU 投影的 Gate 和 Up 矩阵乘法融合，利用共享 Tile 加载完成双重计算，直接消除了 35% 的全局显存访问开销。 ▶ 硬件中立性的工程胜利：TritonMoE 在 A100 上达到了 Megablocks 89%-131% 的吞吐量，且同一套代码无需修改即可在 AMD MI300X 上运行，标志着大模型推理底层正加速脱离 CUDA 深度绑定。 八卦洞察 TritonMoE 的出现不仅是一个技术补丁，更是对 NVIDIA 软件护城河的一次精准拆解。长期以来，MoE 内核的优化高度依赖厂商提供的底层库（如 CUTLASS），这导致了严重的供应商锁定。TritonMoE 证明了通过高阶 DSL（Domain Specific Language）进行算法级创新（如 Fused GEMM），可以在保持跨平台通用性的同时，在推理核心场景（Batch Size < 512）中反超专有优化库。这意味着“Triton-first”策略已成为非英伟达硬件厂商（如 AMD、Intel）在软件生态上实现“弯道超车”的唯一可行路径。 行动建议 基础设施团队：应立即评估将 MoE 推理后端从厂商私有库迁移至 Triton 框架的可行性，以降低多硬件适配（Multi-GPU Vendor）的维护成本。 算子开发人员：重点关注 SwiGLU 等非线性激活函数与 GEMM 的深度融合技术，这是当前缓解内存受限（Memory-bound）型推理瓶颈的关键。 硬件采购决策者：在评估 AMD MI300X 等竞品时，应将 Triton 算子库的成熟度作为核心权重，而非仅仅关注硬件标称算力。

核心摘要 OSCAR RotationZoo 正式发布，通过提供预计算的离线频谱协方差感知旋转矩阵（OSCAR），实现了大语言模型（LLM）在 2-bit 极低精度下的 KV 缓存量化，显著降低了长文本推理的显存开销。 ▶ 打破 4-bit 精度魔咒： 传统的 KV 缓存量化通常在 4-bit 遇到瓶颈，OSCAR 通过频谱旋转技术使 2-bit 量化在保持模型性能的同时成为可能。 ▶ 零推理开销的离线优化： 不同于需要在推理时动态计算的旋转方法，OSCAR 采用离线计算模式，在不增加推理延迟的前提下优化了数据分布。 ▶ 生态系统加速： RotationZoo 为主流模型（如 Llama 系列）提供了现成的旋转矩阵，极大地降低了开发者实现超低比特量化的技术门槛。 八卦洞察 在 LLM 推理领域，“显存墙” 已经从模型权重转移到了 KV 缓存，尤其是在长上下文（Long-context）应用中。OSCAR 的核心价值在于它对激活值分布的“预处理”。通过数学上的频谱协方差感知旋转，它将原本难以量化的离群值（Outliers）均匀化，从而让 2-bit 量化也能捕捉到足够的特征信息。这标志着量化技术正在从简单的“截断与缩放”转向更深层的“空间变换”。对于追求极致吞吐量的推理框架（如 vLLM, TensorRT-LLM）而言，这不仅是容量的提升，更是单卡并发能力的质变。 行动建议 推理框架开发者： 应尽快集成 RotationZoo 提供的预计算矩阵，为用户提供 2-bit KV 缓存选项，以支持更长的上下文窗口。 企业级 AI 架构师： 在评估长文本 RAG 或多轮对话系统时，可利用 OSCAR 技术将硬件需求降低 50%-75%，从而优化单位 Token 的推理成本。 边缘侧 AI 探索者： 关注该技术在消费级显卡（如 RTX 4090）上的表现，2-bit KV 缓存是实现单卡运行 70B 级别模型长文本任务的关键。

核心事件 近日，开发者 Simple_Library_2700 在 Reddit 的 LocalLLaMA 社区分享了一项惊人的推理测试结果：通过在 V100 GPU 集群上运行 Qwen 系列 27B 规模模型（原文标注为 Qwen3.6，推测为 Qwen2.5 变体或特定微调版），在 128 并发请求下实现了超过 1000 tokens/s (tps) 的峰值生成吞吐量。在单用户（Batch Size = 1）场景下，生成速度维持在 80 t/s，而 Prompt 处理速度（Prefill）更是高达 3000 t/s，且该测试并未采用多 Token 预测（MTP）技术。 ▶ 存量算力的极致压榨：V100 虽然缺乏 FP8 等现代推理加速特性，但通过合理的 Batching 策略，在 FP16/INT8 精度下依然能爆发极高的吞吐潜力。 ▶ 吞吐量与延迟的权衡：1000 tps 的数据主要源于 128 并发的高负载，这证明了该配置在处理大规模离线任务（如文档索引、合成数据生成）时的极高成本效益。 ▶ Qwen 架构的推理友好性：即便不依赖 MTP 等前沿技术，Qwen 27B 模型在标准推理框架下的表现已足以挑战更高规格的硬件组合。 八卦洞察 在当前全球追逐 H100/H200 等顶奢算力的背景下，这项测试为业界提供了一个冷静的视角：“算力套利”依然存在。 许多企业手中囤积了大量 V100 或 A100 存量资产，往往认为其已无法胜任最新一代大模型的推理任务。然而，1000 tps 的表现说明，通过软件栈的深度优化（如 vLLM 或 TensorRT-LLM 的高效调度），旧款 GPU 在特定规模（20B-30B 参数级）模型上的表现完全可以覆盖大多数商业应用场景。这不仅是技术的胜利，更是成本控制的教科书案例。 行动建议 1. 资产重估：建议拥有 V100/A100 集群的企业重新评估其在 RAG（检索增强生成）和大规模批处理任务中的价值，而非盲目追求最新硬件。 2. 优化并发策略：对于非实时交互场景，应尽可能拉高 Batch Size 以换取吞吐量红利，充分利用显存带宽。 3. 关注模型规模甜点位：27B-32B 规模的模型在性能与推理效率之间达到了极佳的平衡，是当前企业级私有化部署的首选规格。

近日，开发者在 Reddit LocalLLaMA 社区分享了 Qwen3.6-35B-A3B 模型在消费级硬件上的惊人表现：凭借 MoE（混合专家）架构与先进量化方案，该模型在仅有 8GB 显存的 RTX 3070 Ti 上成功跑通了 262k 上下文，且推理速度保持在 30 tps 以上。 ▶ MoE 架构的降维打击：虽然模型总参数达 35B，但每次推理仅激活约 3B 参数，这使得 8GB 显存不仅能容纳模型权重，还能为 KV Cache 留出巨大空间。 ▶ 量化技术的精细化演进：采用 APEX-I-Quality 或 Q4_K_XL 量化方案，在 150k 上下文内保持了极高的推理效率，打破了传统 Q4_K_M 的性能瓶颈。 ▶ 异构内存的极限压榨：配合 32GB DDR4 内存，该配置理论上可将上下文推至 1M，展示了消费级显卡处理海量文档分析的可能性。 八卦洞察 这次实测揭示了一个关键趋势：大模型的“长文本民主化”正在加速。以往处理 20 万字以上的文档需要 A100 等企业级显卡，而现在通过 Qwen3.6 的 MoE 设计，计算压力被成功卸载。更深层的意义在于，这种“小激活、大容量”的模式，让边缘侧（Edge AI）处理复杂 RAG 任务变得触手可及。对于开发者而言，显存不再是长文本推理的绝对死线，算法架构与量化策略的组合拳正在重新定义硬件边界。 行动建议 1. 架构选型转向：在显存受限的生产环境中，应优先考虑 MoE 架构模型（如 Qwen3.6 系列），以换取更高的上下文吞吐量。2. 优化量化策略：针对 150k 以上的极长上下文任务，建议弃用通用量化，转向 IQ4_NL_XL 等针对长文本优化的量化格式，以平衡精度与衰减速度。3. 关注 KV Cache 压缩：随着上下文突破 256k，内存带宽将成为新瓶颈，建议探索 FlashAttention-3 或相关缓存压缩技术以维持 TPS。

核心事件 在 llama.cpp 的 CUDA 实现中，若 KV 缓存采用非对称量化组合（如 q8_0/q4_0），会导致提示词处理阶段强制回退至 CPU 计算，进而引发严重的性能衰减。 八卦洞察 ▶ 量化不兼容的代价： 尽管量化技术旨在降低显存压力，但底层 CUDA 内核对数据对齐和算子匹配有严苛要求。非对称配置破坏了矩阵运算的并行流水线，迫使系统执行昂贵的 CPU 降级处理。 ▶ 开源生态的“隐形墙”： 这一现象揭示了高性能推理引擎在追求灵活性（支持多种量化格式）与硬件执行效率（CUDA 算子优化）之间的长期博弈。 行动建议 ▶ 生产环境规避： 在 llama.cpp 官方未通过补丁修复非对称内核之前，严禁在生产环境的 CUDA 推理中混用 KV 缓存量化精度，务必保持 q8_0/q8_0 或 q4_0/q4_0 的对称性。 ▶ 技术攻关： 开发者应关注 llama.cpp 的 CUDA 源码库，优先通过自定义 Kernel 扩展来支持非对称量化的算子映射，从而规避 CPU 回退风险。

事件核心 OpenAI 近日宣布其研发的推理模型成功证伪了一个困扰离散几何学界数十年的核心猜想。该突破并非源于简单的资料检索，而是模型通过自主推理，在极高维度的空间中找到了人类数学家此前未能发现的反例。这一进展标志着大语言模型（LLM）正从“知识搬运工”向“科学发现者”发生质变，验证了强化学习与搜索算法结合在处理严谨逻辑问题上的巨大潜力。 技术/商业细节 此次突破的核心在于模型对“Lp 空间等边集合猜想”的挑战。在离散几何中，确定特定维度下等边集合的最大规模是一个极具挑战性的问题。OpenAI 的模型通过一种结合了大规模搜索与形式化验证的技术路径，在 24 维空间中构建出了一个超越此前理论上限的反例。这不仅需要极强的空间想象力（在数学建模层面），更需要对数学证明逻辑的严密掌控。 从技术架构上看，这极有可能是 OpenAI “o1”系列模型（即原 Strawberry 项目）的深度应用。不同于传统的自回归生成，该模型引入了“思维链”（Chain of Thought）的强化学习训练，使其能够在推理阶段分配更多的计算资源（Inference-time Compute）。这种“用时间换智能”的策略，使得模型能够反复试错、自我修正，最终在庞大的解空间中精准定位到那个改变规则的特殊结构。 八卦分析：全球影响 「八卦资本」认为，这一事件的意义远超数学本身，它是 AI 范式转移的里程碑。首先，它宣告了“推理缩放定律”（Reasoning Scaling Laws）的胜利。过去业界普遍担心预训练数据的枯竭会限制 AI 上限，但 OpenAI 证明了通过增加推理侧的计算量，AI 可以产生人类历史上从未存在过的“新知识”。 其次，这对于全球科研生态将产生降维打击。传统的科研模式依赖于人类科学家的直觉与漫长的计算验证，而 AI 驱动的“自动发现引擎”可以将这一过程缩短数万倍。在材料科学、药物研发、密码学等依赖离散数学底层逻辑的领域，这种能力将直接转化为核心竞争力。这不仅是算力的竞争，更是“逻辑生成能力”的竞争。 战略建议 从 RAG 转向 Reasoning：企业不应再满足于构建简单的知识库检索系统（RAG），而应关注如何将业务逻辑嵌入到具备推理能力的模型中，解决具有复杂约束条件的决策问题。 布局“AI + 形式化验证”：对于金融安全、芯片设计等容错率为零的行业，应关注 AI 自动证明与形式化验证工具的结合，利用 AI 寻找系统漏洞或优化逻辑结构。 重塑人才结构：科研机构与科技企业需要更多“AI 架构师”，他们不仅要懂业务，更要懂得如何将复杂的科学问题转化为 AI 可搜索、可推理的数学模型。

核心事件英特尔代号为“Crescent Island”的数据中心 PCB 设计图近日在 Reddit 社区曝光。该板卡搭载了代号为 Xe3P 的全新 GPU 核心，最引人注目的是其并未采用昂贵且供应紧张的 HBM 显存，而是配备了 20 颗 8GB LPDDR5X 模块，总显存容量高达 160GB。据推测，该配置拥有 640 位显存位宽，在 8800-9500MT/s 速率下可提供 704-760GB/s 的带宽。▶ 供应链去风险化：英特尔通过 LPDDR5X 绕过 HBM 产能瓶颈，利用成熟的移动端显存生态确保供应稳定性。▶ 显存容量优先：160GB 的超大容量精准打击大模型推理（Inference）痛点，在显存容量与成本之间取得了极佳平衡。▶ 定位中高端推理：约 750GB/s 的带宽虽不及顶级 HBM 加速卡，但足以应对大多数企业级 LLM 推理任务。八卦洞察“Crescent Island”的出现标志着英特尔在 AI 硬件战略上的重大转向：从“参数竞赛”转向“实用主义”。在英伟达与海力士、三星深度绑定 HBM 产能的背景下，英特尔选择了一条“农村包围城市”的路径。160GB 的 LPDDR5X 显存虽然在带宽上逊色于 HBM3e，但其单位容量成本（Cost per GB）具有压倒性优势。对于目前急需大显存来装载模型参数、而非追求极致训练速度的推理市场而言，这款产品极具杀伤力。这不仅是技术的折中，更是对 AI 算力市场进入“降本增效”阶段的敏锐预判。行动建议对于正在构建本地化推理集群的企业，建议密切关注 Crescent Island 的 TCO（总拥有成本）表现。如果其单卡显存性价比显著优于英伟达的 L40S 或 A100 弃用款，它将成为运行 70B 及以上参数规模模型的最优载体。同时，开发者应提前关注英特尔 OneAPI 对 Xe3P 架构的优化进度，以确保模型迁移的无缝衔接。

本文探讨了开发者如何通过双 RTX 3090 显卡、AMD 9900X 平台及特定驱动优化，尝试复现 DeepSeek DFlash 和多 Token 预测（MTP）带来的超高速推理性能，揭示了本地 AI 硬件调优的新趋势。▶ 互联带宽是核心瓶颈：在多显卡本地推理中，开启 GPU 间的 P2P（Peer-to-Peer）通信是打破 PCIe 带宽限制、实现 DFlash 级速度的前提。▶ 算法红利下放：MTP（多 Token 预测）和投机解码技术正在将 3090 等“老旧”旗舰显卡的余热发挥到极致，使其在特定场景下具备挑战企业级显卡的潜力。八卦洞察从这份技术尝试中，我们看到了“推理民主化”的深层演进。过去，超高速推理（数百 TPS）是 H100 集群的专利，但随着 DeepSeek 开源 DFlash 以及 MTP 技术的普及，硬件玩家开始转向“软硬协同优化”。值得注意的是，用户选用的技嘉 B850 AI TOP 主板预示着主板厂商正针对 AI 开发者需求进行精准“刀法”改进，重点强化了多卡互联的稳定性。然而，CUDA 13.0 与特定分支驱动的组合也反映了目前本地高性能推理仍处于“黑客调试”阶段，缺乏开箱即用的标准化方案。行动建议对于追求极致 TPS 的本地开发者：1. 硬件选型应优先考虑支持 PCIe 5.0 且具备良好 P2P 拓扑的主板；2. 软件层面，深入研究 Linux 内核驱动与 CUDA 通信库（如 NCCL）的匹配，这是释放双路 3090 潜力的关键；3. 关注 DeepSeek 官方释出的优化算子，将其集成至本地推理框架（如 vLLM 或 llama.cpp）中。

开发者近日发布了名为 llama.cpp_qts 的轻量级分支，成功解决了 llama.cpp 在“--split-mode tensor”（张量并行）模式下长期不支持量化 KV 缓存的技术痛点，为双 GPU 用户带来了显著的推理加速与显存优化。 ▶ 核心突破：该补丁打破了张量并行与量化 KV 缓存（Q-KV）不可兼得的限制，允许用户在享受多卡并行计算增益的同时，通过量化技术大幅扩展有效上下文长度。 ▶ 硬件利好：针对拥有双 RTX 3090 或 4090 的消费级发烧友，该优化能有效降低长文本推理时的显存压力，实测在特定场景下可获得明显的 Token 生成速度提升。 八卦洞察 在本地大语言模型（Local LLM）生态中，llama.cpp 一直是效率的标杆，但其多卡并行策略（TP vs RP）的割裂始终是高级用户的痛点。长期以来，开启张量并行（TP）意味着必须放弃 KV 缓存量化，这在处理长文本 RAG 或复杂对话时会导致显存迅速耗尽。此次社区驱动的修复，本质上是对分布式推理门槛的一次“向下兼容”式下放。它证明了在硬件算力边际效应递减的当下，底层显存管理与数据流调度的微调，依然能榨取出惊人的性能红利。这不仅是代码层面的补丁，更是本地 AI 社区对极致性价比追求的体现。 行动建议 对于依赖双卡环境进行长文本分析或 RAG 应用的开发者，建议立即测试 llama.cpp_qts 分支，评估其在 4-bit 或 8-bit KV 缓存下的稳定性。同时，建议主流推理框架（如 Ollama、LM Studio）关注该补丁的合并进展，将其作为提升多卡用户体验的关键特性。在配置时，应根据显存带宽匹配最佳的张量拆分比例，以最大化发挥该补丁的吞吐优势。

事件核心 在LocalLLaMA社区引发热议的Orthrus项目，为大语言模型（LLM）的推理效率带来了突破性进展。Orthrus-Qwen3-8B通过在冻结的Qwen3主干网络中注入可训练的“扩散注意力”（Diffusion Attention）模块，实现了单次前向传播最高7.8倍的Token产出率。该技术最核心的价值在于：在保证输出分布与原模型完全一致（Provably Identical）的前提下，极大地提升了生成速度。 技术/商业细节 Orthrus的技术实现摒弃了传统的“草稿模型”（Draft Model）方案，转而采用了一种更为精密的架构内注入方式： 扩散注意力注入：在Qwen3的每一层中嵌入一个可训练的扩散模块。该模块能够并行预测未来多达32个Token，而不是像传统自回归（AR）模型那样逐个生成。 共享KV缓存：扩散头与原有的自回归头共享KV Cache，这不仅降低了显存占用，还消除了不同模型间同步状态的开销。 并行验证机制：在扩散头生成候选Token序列后，原有的自回归头在第二次前向传播中对其进行验证，并接受最长匹配序列。这种“先猜后验”的逻辑确保了模型的智能水平不会因加速而打折。 性能表现：在Qwen3-8B上，Orthrus达到了7.8倍的加速比，对于1.7B和4B版本同样表现优异。 八卦分析：全球影响 「八卦智库」认为，Orthrus的出现标志着投机采样（Speculative Decoding）进入了“内生化”阶段。过去，开发者需要在主模型之外维护一个小型草稿模型，这增加了部署的复杂度和内存碎片化。Orthrus证明了通过在冻结主干上添加轻量级“加速插件”，可以实现比独立草稿模型更高的效率。 从全球AI竞争格局看，推理成本（Token/s/$）已成为大模型商业化的生死线。Orthrus这种“无损加速”方案对于边缘侧AI（Edge AI）和高并发API服务具有极强的杀伤力。它不仅解决了Qwen等高性能模型在本地部署时的延迟痛点，也为其他开源模型（如Llama 3）提供了一套可复制的加速模板。 战略建议 对于模型开发者：应关注“冻结主干+可训练加速模块”的研发思路。这种方式能保留预训练模型的知识稳定性，同时通过针对性微调获取推理增益。 对于企业应用方：在部署本地化大模型时，优先考虑集成类似Orthrus的加速方案，特别是在对响应延迟敏感的实时对话和代码生成场景中。 对于硬件厂商：共享KV缓存的架构对内存带宽提出了更高要求，未来的AI芯片设计应进一步优化多头并行访问的吞吐能力。

核心事件Stratum 提出了一种针对混合专家模型（MoE）的系统与硬件协同设计方案。该方案利用 3D 堆叠 DRAM 技术，通过优化专家参数的存储布局与动态调度，解决了大规模稀疏模型在推理过程中面临的内存带宽瓶颈与容量挑战，显著提升了吞吐量并降低了延迟。▶ 攻克“内存墙”：针对 MoE 模型参数量巨大但激活率低的特性，Stratum 通过 3D 堆叠技术实现了高带宽的专家切换。▶ 软硬协同优化：不仅是硬件堆叠，更通过系统层级的专家调度算法，最大限度减少了无效的数据搬运。▶ 性能飞跃：实验数据表明，该方案在处理超大规模稀疏模型时，比传统架构具有更高的能效比和响应速度。八卦洞察在 LLM 迈向万亿参数的进程中，MoE 已成为事实上的标准架构。然而，当前的硬件体系结构（如传统的 HBM 布局）在处理 MoE 这种“高容量需求、高带宽切换、低计算密度”的负载时显得力不从心。Stratum 的意义在于它标志着 AI 基础设施正从“通用算力竞赛”转向“存储架构的深度定制”。3D 堆叠 DRAM 不仅仅是容量的增加，更是将计算与存储在物理空间上拉近，这预示着未来 AI 芯片的竞争核心将在于谁能更高效地管理“稀疏性”带来的数据流动成本。行动建议对于 AI 芯片初创公司，应重点关注 3D-IC 和 Chiplet 架构在稀疏模型下的表现，而非盲目追求算力峰值；对于大模型部署团队，建议探索“专家感知”的调度策略，在现有硬件基础上通过软件手段模拟 Stratum 的数据局部性优化，以降低推理成本。