内存管理

Janas 是一个专为内存受限环境设计的推理系统，通过从 SSD 流式传输混合专家模型（MoE）的专家模块，实现了在普通硬件上运行远超内存容量的大规模语言模型。 ▶ MoE 架构的“空间换时间”红利：充分利用 MoE 模型稀疏激活的特性，将非活动参数置于 SSD，仅在推理时动态加载，将运行超大模型的内存门槛降低了数倍。 ▶ 预取与缓存的协同优化：通过专家预取算法和 LRU 缓存策略，Janas 有效抵消了 SSD 的 I/O 延迟，解决了传统虚拟内存交换机制导致的推理性能断崖。 八卦洞察 在当前大模型竞赛中，内存容量（VRAM/RAM）已成为比算力更严峻的“马尔萨斯陷阱”。Janas 的核心价值在于它重新定义了存储层级在 AI 推理中的角色。长期以来，SSD 被视为冷存储，但在 MoE 架构下，由于每步推理仅需激活极少数专家，SSD 实际上可以充当“二级显存”。这种“按需加载”的模式不仅是技术上的折中，更是端侧 AI（Edge AI）普及的关键路径。如果说量化技术（Quantization）是从纵向压缩模型，那么 Janas 代表的流式加载则是从横向扩展了硬件的承载边界。这意味着未来 70B 甚至更高级别的模型，将不再是 H100 集群的专属，普通工作站甚至高端笔记本电脑也能通过高速 NVMe 硬盘实现流畅推理。 行动建议 对于开发者而言，应重点关注 MoE 模型的稀疏化潜力，在模型选型时优先考虑架构对流式加载的友好度。对于硬件解决方案商，应加速优化 SSD 到 GPU/NPU 的直接数据通路（如 GPUDirect Storage 技术的民用化），以进一步降低 I/O 损耗。企业在部署私有化大模型时，可以通过此类技术大幅降低硬件采购成本，实现“低配硬件跑高配模型”的降本增效。

核心事件总结 尽管学术界近年来涌现出大量旨在优化大模型推理效率的 KV-cache 剔除算法（如 H2O、Scissorhands 等），但最新的工程实践与深度分析表明，经典的 LRU（最近最少使用）策略在实际的智能体（Agentic）及长文本场景中展现出了极强的韧性，其性能基准远比多数论文所暗示的更难被超越。 ▶ “时间局部性”的统治地位： 在 Transformer 架构中，注意力机制对近期 Token 的依赖（Recency Bias）极高。LRU 天然契合这一物理特性，而许多复杂的动态剔除算法在捕捉这种简单直觉时往往引入了不必要的计算开销。 ▶ 学术指标与工程现实的脱节： 多数 KV-cache 优化论文在特定的静态数据集上刷榜，但在处理具有高随机性和多轮对话特征的“智能体流”时，这些算法的启发式规则往往失效，甚至导致推理质量断崖式下跌。 ▶ KV-cache 压缩的边际效应： 随着模型上下文窗口的扩大，管理 KV-cache 的逻辑复杂度直接影响推理延迟（Latency）。LRU 的 O(1) 复杂度优势在追求极高吞吐量的生产环境中，其性价比远超需要实时计算权重分数的复杂方案。 八卦洞察 在 AI 基础设施领域，我们正处于一个“回归常识”的阶段。过去一年，业界痴迷于各种“稀疏注意力”和“动态压缩”方案，试图通过精密的数学模型来决定哪些 KV 对该被丢弃。然而，LRU 的稳健性提醒我们：在大规模推理中，硬件亲和性（Hardware Affinity）胜过算法精妙性。 复杂的剔除策略往往需要频繁的内存搬运或额外的 GPU 计算，这在内存带宽受限（Memory-bound）的推理场景下是致命的。此外，许多论文有意无意地低估了 LRU 基准，通过设置不合理的 Baseline 来凸显新算法的优越性，这种“论文工程”在面对真实的 Agent 生产负载时会迅速现形。 行动建议 对于正在优化 LLM 推理堆栈的团队，建议遵循以下原则：首先，不要盲目追逐 SOTA 论文中的复杂 KV 压缩方案，务必先建立一个严谨的 LRU 或 FIFO 基准测试。其次，在 Agent 场景下，应优先考虑基于“语义分段”的缓存策略，而非单纯的 Token 级剔除。最后，关注 vLLM 或 TensorRT-LLM 等主流框架对 LRU 的底层优化，利用 PagedAttention 等技术从内存管理层面解决问题，而非仅仅在算法逻辑上做文章。

核心事件 Zero-Mem 提出了一种创新的 LLM 内存架构，允许 Agent 在不占用推理上下文（Context Window）Token 的情况下，实现对长期记忆的访问与更新，彻底解决了长程任务中“上下文膨胀”导致的成本与性能瓶颈。 ▶ 突破 Token 限制：通过解耦记忆存储与推理上下文，Zero-Mem 实现了零成本的记忆检索，使 Agent 能够处理超长时序的任务而不受窗口限制。 ▶ 推理效率质变：显著降低了复杂 Agent 在多轮对话或任务中的推理延迟，将记忆操作从“提示词工程”转变为“原生系统调用”。 ▶ 架构范式演进：标志着大模型从“无状态计算引擎”向“有状态操作系统”的跨越，改变了 RAG（检索增强生成）的传统逻辑。 八卦洞察 在当前的 AI 军备竞赛中，上下文长度（Context Window）一直是各大厂商角力的核心。然而，Zero-Mem 的出现提供了一个“降维打击”的思路：如果记忆不再占用 Token，那么无限长度的上下文就不再是刚需。这实际上触及了 LLM 商业模式的底层逻辑——目前大多数模型厂商是按 Token 计费的，而 Zero-Mem 这种将记忆操作“隐形化”的技术，可能会直接削弱那些依赖超长上下文收费的厂商的护城河。我们认为，这预示着 Agent 架构将进入“内存与计算分离”的新阶段，类似于计算机架构中 CPU 与 RAM 的关系演变。 行动建议 对于 AI 架构师，建议立即调研非线性上下文管理技术，评估从传统 RAG 架构向原生记忆插件（Native Memory Plugins）转型的可行性。对于企业决策者，应关注那些能够通过技术手段降低 Token 消耗的底层方案，这将在长期运营中产生巨大的成本优势。开发者应开始尝试构建具有“持久化状态”的 Agent 任务流，而不仅仅是依赖单次 Prompt 的输入。

核心事件 Noema 团队展示了其最新技术成果：通过 Noema Overfit 框架的分页机制（Model Paging），在 iPhone 17 Pro 上成功运行了 Q4_K_M 量化版本的 Gemma 4 26B A4B 模型。该方案将非专家权重保留在 RAM 中，而将专家权重进行动态分页管理，实现了超大模型在移动端的流畅运行。 ▶ 端侧 MoE 的胜利： 26B 参数规模的模型进入手机端，标志着 Mixture of Experts (MoE) 架构在端侧推理中已成为突破物理内存限制的主流方案。 ▶ 内存分页技术的复兴： 通过智能调度专家权重的换入换出，Noema 证明了即便在 RAM 有限的设备上，也能通过牺牲极小延迟换取极高模型能力的飞跃。 八卦洞察 此次演示的核心价值不在于“跑通”，而在于“如何跑通”。Gemma 4 26B A4B（Active 4 Billion）的设计初衷就是为了平衡性能与功耗。Noema 的“Overfit”框架实际上是在挑战苹果生态的封闭内存管理。在 iPhone 17 Pro 这一（预期的）高性能平台上，这种分页技术预示着未来的端侧 AI 将不再局限于 3B 或 7B 的“小模型”，而是向 20B+ 级别的“中量级”模型演进。这意味着更复杂的逻辑推理和 RAG 能力将无需上传云端，直接在本地完成闭环，这对于隐私敏感型应用和低延迟交互场景是颠覆性的。 行动建议 开发者视角： 紧跟 MoE 架构的优化趋势。未来的端侧开发重点将从单纯的量化转向“内存-闪存”的高效调度算法，建议关注 Noema 这种针对特定硬件层的分页优化方案。 硬件与架构： 关注 UFS 4.0+ 及更高带宽存储对端侧 AI 的支撑作用。对于 AI 硬件厂商，提升存储读取速度（IOPS）在某种程度上比单纯堆叠 RAM 容量更具成本效益。

llama.cpp 社区近期通过 PR #23198 实现了一项关键的底层优化：在多标记预测（Multi-Token Prediction, MTP）架构的提示词解码过程中，成功消除了冗余的 Logits 复制操作，显著提升了 Prefill 阶段的响应速度。▶ 底层内存管理优化： 该更新直接针对 MTP 架构的内存瓶颈，通过减少不必要的数据搬运，降低了首字延迟（TTFT）。▶ 端侧推理效率提升： 减少了对 CPU/GPU 内存带宽的占用，使得本地设备在处理长文本提示词时表现更加稳健。八卦洞察在 AI 推理领域，性能的竞争正从“生成速度”转向“响应效率”。此次 llama.cpp 的优化并非简单的补丁，而是对投机采样（Speculative Decoding）及其变体 MTP 流程的深度精简。随着 DeepSeek 等模型将 MTP 架构推向主流，本地推理引擎必须在内存管理上做到极致。我们认为，这种“零拷贝”思路预示着本地推理框架正从“功能实现”进入“工业级性能压榨”阶段。这不仅缩小了社区开源工具与企业级引擎（如 TensorRT-LLM）之间的差距，也为 RAG（检索增强生成）等依赖长上下文的应用扫清了性能障碍。行动建议对于正在使用 Medusa 或 MTP 架构模型的开发者，建议立即同步 llama.cpp 的 master 分支以获取性能红利。在企业级部署中，应重新评估边缘端设备处理复杂 Agent 任务的吞吐量预期，因为 Prefill 阶段的优化将直接改善用户感知的交互流畅度。