MoE

DeepSeek（深度求索）在 𝕏 平台正式宣布推出 DeepSeek-V4-Pro，标志着其模型迭代速度再次刷新行业认知，直接对标全球最顶尖的闭源模型性能。 ▶ 迭代速度降维打击：从 V3 到 V4-Pro 的极短跨度，显示出 DeepSeek 在算力调度与算法架构上的极高成熟度，正在打破硅谷的大模型更新周期。 ▶ 从“平替”转向“领跑”：“Pro”后缀暗示了该版本在逻辑推理、复杂指令遵循及多模态理解上实现了质的飞跃，不再仅仅追求极致性价比。 八卦洞察 DeepSeek-V4-Pro 的发布并非简单的版本更新，而是中国 AI 力量在全球竞争中策略转型的信号。过去，DeepSeek 以“开源战神”和“成本杀手”著称，而 V4-Pro 的出现意味着它开始在纯性能（SOTA）领域正面硬刚 OpenAI 和 Anthropic。我们认为，DeepSeek 正在利用其独特的混合专家架构（MoE）优势，在保持推理成本可控的前提下，通过更大规模的参数训练实现了推理能力的指数级增长。这不仅是技术的胜利，更是对“算力决定论”的一次有力回击。 行动建议 技术架构师：应立即启动对 V4-Pro API 的压力测试，特别是在代码生成、长文本分析和复杂逻辑链推理（Chain-of-Thought）场景下，评估其替代现有昂贵闭源方案的可行性。 企业决策者：鉴于 DeepSeek 持续的爆发式表现，建议将 DeepSeek 纳入企业核心 AI 供应商名录，重新审视国产模型在核心业务逻辑中的部署优先级。 投资者：关注 DeepSeek 生态链相关企业，其高频迭代能力将带动下游应用端（如智能体、自动化工作流）的快速爆发。

近日，LocalLLaMA 社区的一项实验引发轰动：一名开发者利用单张 RTX 3090（24GB 显存），成功在 Qwen 2.5 35B A3B 模型上加载了近 100 万 token 的上下文，并精准完成了“大海捞针”（Needle in a Haystack）测试，成功提取出 7 个关键信息点。这一进展标志着超长文本处理能力正式从企业级集群下放到个人工作站。 ▶ 架构红利释放：Qwen 2.5 35B A3B 采用的 MoE（混合专家）架构，配合高效的 GGUF 或 EXL2 量化方案，是实现 17GB 模型体积与极低推理开销的关键。 ▶ KV Cache 压缩技术：在 24GB 显存内塞进 1M 上下文，意味着 KV Cache 必须经过 4-bit 甚至更激进的量化处理，且依然保持了极高的检索精度。 八卦洞察 「八卦智库」认为，这不仅仅是一个“跑通了”的技术 Demo，它预示着“RAG（检索增强生成）的本地化终局”。长期以来，开发者在处理海量文档时面临两难：要么支付高昂的 API 费用给闭源模型，要么忍受本地模型极短的记忆。此次突破证明，通过 MoE 架构与显存优化技术的组合，消费级显卡已经能够胜任以往需要 A100 甚至 H100 集群才能处理的超长文本分析任务。这对于隐私敏感型企业和独立开发者而言，是极具颠覆性的成本拐点。 行动建议 开发者端：应立即关注 MoE 架构模型（如 Qwen 2.5 A3B 系列）在本地 RAG 工作流中的应用，优先采用支持 4-bit KV Cache 优化的推理引擎。 企业端：重新评估私有化部署的硬件成本。对于百万字级别的文档分析，不再需要盲目追求多卡并行，单卡 24GB 显存方案已具备生产力价值。 硬件观察：RTX 3090/4090 的 24GB 显存将继续作为 AI 社区的“硬通货”，短期内其二手与新机市场需求将因长文本需求的爆发而持续坚挺。

事件核心DeepGrove AI 推出的 Maple-Preview 实现了技术突破，通过三值（ternary）量化技术，成功在 iPhone 硬件上运行 20B 参数的混合专家模型（MoE），推理速度高达 120 tok/s。这一成果打破了“大模型必须依赖云端”的传统认知，展示了端侧推理的极致性能。技术/商业细节该项目的核心在于“三值权重”（-1, 0, 1）量化架构。相比于传统的 4-bit 或 8-bit 量化，三值化在保持模型语义理解能力的同时，极大地降低了内存带宽需求和计算复杂度。在 iPhone 的 NPU/GPU 异构计算环境下，Maple-Preview 通过高效的内核优化，绕过了移动端内存带宽的瓶颈，使得 20B 参数量级的模型能够以接近人类阅读速度的吞吐量运行。八卦分析：全球影响Maple-Preview 的出现对 AI 产业格局具有深远意义：首先，它直接挑战了云端推理的商业模式，将 AI 算力重心从数据中心向边缘侧迁移；其次，它为隐私敏感型应用（如本地个人助理、离线医疗诊断）铺平了道路，用户无需将数据上传至云端即可获得高性能 AI 服务；最后，这标志着模型压缩技术已进入“暴力美学”时代，即通过极致的数学优化，让移动设备实现“越级”算力。战略建议对于开发者，应重点关注三值化及低比特量化在端侧的落地潜力，这将是未来半年移动 AI 的核心竞争点。对于企业，应重新评估 AI 产品的部署架构，优先考虑端侧推理以降低云端 API 调用成本并提升用户隐私体验。

八卦洞察 llama.cpp 最新 PR (#26563) 通过在 GPU VRAM 中动态缓存“热点”MoE 专家，成功打破了显存容量对大参数模型推理速度的物理限制，标志着本地端侧 AI 推理进入了“精细化资源调度”的新阶段。 ▶ 打破显存瓶颈： 该方案通过智能调度，将高频访问的 MoE 专家权重驻留 GPU，极大缓解了 CPU-GPU 数据传输带宽瓶颈。 ▶ 性能跃迁： 在 8GB 显存限制下，Qwen3.6-35B-A3B 模型推理速度实现 1.68x 至 2.07x 的显著提升，使得消费级硬件运行高性能大模型成为可能。 行动建议 对于开发者而言，应密切关注该 PR 的合入进度，并评估其在特定 MoE 模型（如 Mixtral 或 DeepSeek 系列）上的适配性。企业侧应重新评估边缘计算设备的硬件选型，利用此技术降低对高昂 VRAM 显卡的依赖，从而优化端侧 AI 部署的总体拥有成本（TCO）。

近日，开发者在 Reddit 社区分享了在消费级工作站上成功运行 DeepSeek-V4-Flash-0731 模型的实测数据。通过使用 RTX 3090（24GB VRAM）配合 128GB DDR5 高频内存（超频至 5600 MHz），并手动更新 llama.cpp 二进制文件，该模型在 UD-IQ3_S 量化版本下实现了 12.5 tok/s 的推理速度。这一突破标志着超大规模模型在非企业级硬件上的实用性得到了显著提升。 ▶ 硬件瓶颈的软性突破： 传统的“显存决定论”正在被打破。通过 DDR5 高带宽内存与 llama.cpp 的深度优化，系统内存（System RAM）在处理万亿参数级（MoE 架构）模型时展现出了极高的残差推理效率。 ▶ 手动集成的必要性： 目前主流的 WebUI 集成环境（如 text-generation-webui）在内核更新上存在滞后。通过手动替换 venv 中的 llama_cpp_binaries，开发者可以第一时间解锁 DeepSeek-V4 等最新架构的兼容性。 八卦洞察 DeepSeek-V4 的这次实测表现再次证明了 MoE（混合专家模型）架构在稀疏激活上的巨大优势。12.5 tok/s 的速度已经跨越了“仅供演示”的门槛，进入了“生产力可用”的范畴。对于全球 AI 社区而言，这意味着开发者不再被困在昂贵的 A100/H100 集群中，利用高配消费级 PC 即可进行深度 RAG（检索增强生成）或长文本分析任务。此外，DDR5 5600 MHz 的超频表现说明，内存频率正成为本地大模型玩家的“第二战场”。 行动建议 硬件配置： 建议本地部署用户优先考虑 128GB 及以上容量的 DDR5 内存，并开启 AMD EXPO 或 Intel XMP 以最大化带宽，这对于显存无法完全覆盖的大模型至关重要。 环境维护： 不要盲目等待集成包更新。学会手动编译或替换 llama.cpp 内核是保持本地 LLM 性能领先的关键。 模型选择： 针对 DeepSeek-V4，UD-IQ3_S 量化方案在模型智能与推理速度之间达到了极佳的平衡点，建议作为本地部署的首选版本。

德国SooFi团队正式发布了Soofi S 30B-A3B，这是一款采用混合Mamba-Transformer架构的专家混合（MoE）开源基础模型，专门针对德语和英语语境进行了深度优化。 ▶ 架构范式转移：该模型通过将Mamba架构的线性扩展能力与Transformer的复杂推理能力相结合，有效解决了长文本处理中的计算冗余问题。 ▶ 极致能效比：虽然拥有30B的总参数量，但通过MoE机制，每次推理仅需激活3B参数（A3B），在保持大模型知识容量的同时，显著降低了推理成本。 八卦洞察 Soofi S的发布标志着欧洲AI势力正在通过“非对称架构”路径突围。在OpenAI和Google占据Transformer主流话语权的背景下，SooFi选择Mamba-Transformer混合路径并非偶然。Mamba作为状态空间模型（SSM）的代表，在处理超长上下文时具有天然的线性复杂度优势，而Transformer则保障了逻辑严密性。这种“混血”方案反映了当前大模型技术栈的最新演进趋势：不再盲目堆砌参数，而是通过架构创新在有限的算力资源下榨取最大性能。对于寻求“数字主权”的德国乃至欧洲市场，这种高效、本地化的模型是摆脱对美系闭源模型依赖的关键一步。 行动建议 对于开发者而言，应重点测试该模型在RAG（检索增强生成）场景下的长文本召回率，验证其Mamba组件在处理超长文档时的实际表现。对于企业决策者，若业务涉及德英双语跨国贸易或法律合规，Soofi S提供了一个兼顾数据隐私与推理成本的本地化部署优选方案。建议技术团队关注SSM（状态空间模型）与Transformer融合的工程实践，这可能是未来边缘侧大模型的主流形态。

上海人工智能实验室（Shanghai AI Lab）近期在 HuggingFace 上低调发布了 InternLM-S2-Preview-397B 预览版，这一近 4000 亿参数量级的巨兽标志着国产开源大模型正式进入与 Llama 3 405B 正面交锋的“超大规模”竞争阶段。 ▶ 参数规模的跨越式升级： 397B 的参数量级直接对标 Meta 的 Llama 3 405B，预示着 InternLM 系列在处理复杂逻辑推理、多语言理解及长文本能力上将迎来质的飞跃。 ▶ MoE 架构的必然选择： 虽然官方尚未完全披露技术细节，但基于其庞大的参数规模，该模型极大概率采用了混合专家模型（MoE）架构，以在推理成本与模型性能之间取得动态平衡。 ▶ 预览版先行策略： 冠以“Preview”之名，显示出实验室旨在通过社区反馈进行最后的对齐与微调，这种“小步快跑”的发布节奏有助于在正式版发布前建立开发者生态。 八卦洞察 此次 397B 模型的现身，不仅是技术参数的堆砌，更是全球 AI 算力与算法竞赛的缩影。InternLM 此次选择在 Reddit 的 LocalLLaMA 社区引起关注，精准触达了全球最核心的本地部署爱好者与开发者群体。这反映出中国顶尖 AI 实验室正试图通过“开源实力”打破地理政治带来的技术隔阂，争夺全球 AI 基础设施的话语权。397B 这一数字极具挑衅性，它在暗示：在 Scaling Law（尺度定律）的赛道上，中国梯队不仅没有掉队，甚至在特定垂直领域具备超越硅谷巨头的潜力。 行动建议 对于企业级用户，建议立即关注该模型的量化版本（如 GGUF 或 EXL2 格式），评估其在私有化部署中的显存占用与推理延迟。对于开发者，应着重测试其在 RAG（检索增强生成）场景下的长上下文召回表现，因为此类超大规模模型通常在处理海量知识库时具有更强的语义压缩能力。同时，需警惕超大规模模型带来的推理成本激增，建议采用分层推理策略，将简单任务交给轻量级模型，仅将核心逻辑推演交给 397B 预览版。

核心摘要 智谱AI推出的 GLM-5.2 (744B MoE) 模型通过极致的量化压缩技术，成功在仅配备 25GB RAM 的消费级硬件上实现推理，标志着超大规模模型本地化部署进入了新阶段。 八卦洞察 ▶ 内存墙的终结： 744B 参数规模的 MoE 模型在 25GB RAM 下运行，证明了“权重剪枝+深度量化”技术已能将模型体积压缩至原先的 1/10 以下，且保持可用性。 ▶ 硬件民主化： 此举打破了超大规模模型必须依赖 H100 集群的刻板印象，预示着未来个人开发者在本地即可运行企业级算力的模型，这对私有化部署和数据隐私保护具有里程碑意义。 行动建议 企业应重新评估本地化部署的成本结构，将“算力采购”重心转向“模型压缩与推理优化”方案。 开发者需密切关注 GGUF/EXL2 等量化格式的演进，这是实现大模型“低配高能”的关键基础设施。

事件核心 近日，在 LocalLLaMA 社区中，一名开发者分享了其在 Ascent GX10 硬件上成功部署 DeepSeek-V4-Flash (162B) 的实战案例。该方案的核心在于通过 0xSero 提供的 REAP（相对误差感知剪枝）技术对模型进行瘦身，并结合 NVFP4（Nvidia FP4）量化格式，在单台 Spark 设备上实现了超大参数模型的高效运行。最令人关注的是，该配置在处理长文本（Long Context）时表现出了极高的一致性与稳定性，打破了以往大模型在本地设备上随上下文增加而性能骤降的僵局。 技术/商业细节 硬件与环境： 实验基于 Ascent GX10 设备（Spark 架构），软件栈采用了经过修补的 eugr/spark-vllm-docker 镜像。这一组合表明，针对特定硬件优化的 vLLM 容器化方案已趋于成熟，能够有效释放非 CUDA 原生硬件的算力潜能。 REAP 剪枝与 NVFP4 量化： REAP 剪枝技术通过识别并保留对模型输出贡献最大的权重，显著降低了 162B 模型的显存占用。配合 NVFP4 量化，模型在保持极高精度的同时，极大地压缩了权重体积，使得单机运行 100B+ 级别的 MoE（混合专家）模型成为可能。 长文本一致性： 作者强调了模型在长上下文下的表现。这通常得益于 DeepSeek 系列模型优秀的注意力机制设计以及量化过程中对 KV Cache 的优化处理，确保了在复杂任务中不会因上下文堆叠而产生幻觉或逻辑断裂。 八卦分析：全球影响 这一突破标志着“本地大模型”正从玩票性质向生产力工具迈进。长期以来，100B 以上参数的模型被认为是超大规模数据中心的专利，但 DeepSeek 的架构效率配合先进的压缩算法（如 REAP 和 FP4），正在将这一门槛拉低至专业发烧友和中小企业可负担的水平。 从行业竞争角度看，DeepSeek-V4-Flash 的表现再次证明了中国大模型团队在“计算效率”上的领先地位。当硅谷还在卷算力规模时，以 DeepSeek 为代表的厂商正通过极致的算法优化实现“以小博大”。Ascent GX10 这种高性能本地节点的崛起，也预示着 AI 算力市场正在去中心化，未来企业级私有化部署将不再依赖昂贵的 H100 集群，而是通过高性价比的国产或定制化 AI 工作站实现。 战略建议 对于企业架构师： 关注“轻量化大模型 + 专用硬件”的组合。DeepSeek-V4 系列配合量化技术，已经可以在本地实现接近 GPT-4 级别的推理能力，这对于数据隐私要求极高的 RAG（检索增强生成）场景是绝佳选择。 对于开发者： 深入研究 REAP 剪枝与 FP8/FP4 量化工作流。未来的本地推理竞争不在于显存大小，而在于谁能更优雅地对权重进行“外科手术式”的精简。 对于硬件厂商： 软件栈的兼容性（如对 vLLM 的支持）将成为硬件销售的胜负手。Ascent 系列的成功在于其能够快速适配社区最前沿的 Docker 镜像和量化方案。

核心事件Stratum 提出了一种针对混合专家模型（MoE）的系统与硬件协同设计方案。该方案利用 3D 堆叠 DRAM 技术，通过优化专家参数的存储布局与动态调度，解决了大规模稀疏模型在推理过程中面临的内存带宽瓶颈与容量挑战，显著提升了吞吐量并降低了延迟。▶ 攻克“内存墙”：针对 MoE 模型参数量巨大但激活率低的特性，Stratum 通过 3D 堆叠技术实现了高带宽的专家切换。▶ 软硬协同优化：不仅是硬件堆叠，更通过系统层级的专家调度算法，最大限度减少了无效的数据搬运。▶ 性能飞跃：实验数据表明，该方案在处理超大规模稀疏模型时，比传统架构具有更高的能效比和响应速度。八卦洞察在 LLM 迈向万亿参数的进程中，MoE 已成为事实上的标准架构。然而，当前的硬件体系结构（如传统的 HBM 布局）在处理 MoE 这种“高容量需求、高带宽切换、低计算密度”的负载时显得力不从心。Stratum 的意义在于它标志着 AI 基础设施正从“通用算力竞赛”转向“存储架构的深度定制”。3D 堆叠 DRAM 不仅仅是容量的增加，更是将计算与存储在物理空间上拉近，这预示着未来 AI 芯片的竞争核心将在于谁能更高效地管理“稀疏性”带来的数据流动成本。行动建议对于 AI 芯片初创公司，应重点关注 3D-IC 和 Chiplet 架构在稀疏模型下的表现，而非盲目追求算力峰值；对于大模型部署团队，建议探索“专家感知”的调度策略，在现有硬件基础上通过软件手段模拟 Stratum 的数据局部性优化，以降低推理成本。

核心摘要 llama.cpp 正式通过 PR #22493 集成 Mimo v2.5 模型，标志着拥有 310B 总参数的超大规模稀疏混合专家（MoE）模型进入本地化推理阵营。 八卦洞察 ▶ 效率与规模的权衡： Mimo v2.5 通过 15B 的激活参数实现了 310B 模型的推理效能，证明了在消费级硬件上运行超大规模多模态模型的可行性，打破了“大模型必须云端部署”的范式。 ▶ 多模态架构的深度集成： 该模型不仅支持长达 1M 的上下文，更通过独立的视觉、音频编码器及多 Token 预测（MTP）模块，展示了原生多模态架构在处理复杂感知任务时的性能上限。 行动建议 ▶ 开发者侧： 评估 Mimo v2.5 在特定垂直领域（如长视频分析、复杂音频转录）的推理成本与精度，利用 llama.cpp 的量化工具进行边缘侧部署测试。 ▶ 企业侧： 关注该模型对本地私有化多模态 RAG（检索增强生成）系统的提升，特别是其在处理超长上下文时的稳定性表现。