扩散语言模型

事件核心开源社区近日发布了名为 ORL（On-policy Residual Learning，同策略残差学习）的研究成果，旨在彻底解决扩散语言模型（dLLM）在推理速度上的瓶颈。配合专为该算法优化的推理引擎 dlmrt，该项目在单卡 RTX 5090 上实现了 LLaDA-2.1-mini 模型 2,788 tokens/s 的惊人吞吐量。而在企业级硬件 8 路 B200 平台上，运行 DiffusionGemma 26B 的速度更是达到了 7,708 tokens/s。这一突破标志着非自回归生成模型在商用性能上已具备挑战主流自回归（AR）模型的潜力。技术/商业细节长期以来，主流 LLM 采用自回归（Autoregressive）模式，即逐个 token 生成，这导致推理速度受限于显存带宽（Memory Wall）和序列长度。扩散语言模型（dLLM）通过并行去噪生成序列，理论上具有极高的并发潜力，但通常需要多步迭代才能保证质量，抵消了并行优势。ORL 框架的核心在于“同策略残差学习”，它通过优化去噪轨迹，在显著减少采样步数的同时，维持甚至提升了生成质量。dlmrt 引擎则在底层针对 RTX 50 系列的架构进行了深度算子优化，最大化了 Tensor Core 的利用率。这种“算法+引擎”的双重优化，使得 dLLM 在保持开源开放的同时，其推理效率跨越了从“实验性”到“生产级”的鸿沟。八卦分析：全球影响「Bagua Intelligence」认为，ORL 的出现是对目前 NVIDIA 算力分配格局的一次微妙冲击。首先，它打破了“高吞吐必依赖高显存带宽”的迷信。在自回归时代，H100/B200 的 HBM 显存是核心竞争力；但在 dLLM 范式下，计算密度（Compute Bound）的重要性开始抬升，这让拥有极高算力但带宽相对受限的消费级旗舰卡（如 RTX 5090）展现出了超越 A100 的推理性价比。其次，这预示着 AI 应用形态的转变。2,700+ tokens/s 的速度意味着“秒级生成长文本”或“实时大规模 Agent 协作”成为可能，这对于需要极低延迟的实时翻译、高频交易辅助或大规模内容审核场景具有颠覆性意义。最后，完全开源的策略（代码与权重全开）将加速全球开发者从 AR 架构向扩散架构的迁移，挑战 OpenAI 等闭源巨头在推理成本上的护城河。战略建议开发者与初创公司： 密切关注 dLLM 生态，特别是针对长文本生成和高并发任务，ORL + dlmrt 组合提供了远低于自回归模型的 TCO（总拥有成本）。硬件采购方： 重新评估消费级 GPU（如 RTX 5090）在推理集群中的地位。在特定算法优化下，消费级显卡的算力冗余正转化为巨大的成本优势。模型厂商： 扩散模型不再是图像生成的专利。在语言模型领域，探索非自回归架构已成为规避 KV Cache 瓶颈、实现推理性能指数级增长的必经之路。

核心事件 开发者近期发布的 ALoDLM 8b（循环扩散语言模型）在推理性能上取得重大突破：基于 Qwen2.5-7B 基座，该模型通过循环扩散机制实现了约 3 倍于原模型的推理速度，并在多项基准测试中表现出超越基座模型的性能。 ▶ 范式转移：ALoDLM 证明了扩散模型（Diffusion Models）在文本生成领域不仅可行，且在效率上具有超越传统自回归（Autoregressive）模型的潜力。 ▶ 参数效率：通过循环架构（Looped Architecture）实现权重共享，模型在不增加参数规模的前提下，通过增加迭代计算步数提升了逻辑表达能力。 八卦洞察 长期以来，大模型领域被 Transformer 自回归架构统治，但其逐个 Token 生成的特性导致了严重的 KV Cache 依赖和内存带宽瓶颈。ALoDLM 的出现释放了一个强烈的信号：推理侧的“计算换智能”正在发生路径演变。 不同于 OpenAI o1 这种在逻辑层面进行思维链推理（CoT）的“推理时间计算”，ALoDLM 是在表征层面通过迭代去噪（Iterative Denoising）来优化输出。这种“循环”机制本质上是在利用计算深度来弥补参数宽度的不足。对于全球 AI 产业而言，这意味着我们可能进入一个“后 Transformer 时代”，即通过非自回归路径解决端侧设备（Edge AI）显存受限与高吞吐需求之间的矛盾。 行动建议 1. 技术选型：对于追求极致推理吞吐量的开发者，应立即关注 DLM（扩散语言模型）分支，评估其在特定任务（如代码生成、摘要）中替代传统 LLM 的可能性。2. 硬件适配：算力厂商应优化对循环迭代架构的底层支持，因为这类模型对内存带宽的压力远小于传统自回归模型。3. 架构研究：建议研发团队探索“自回归预训练+扩散微调”的混合模式，利用现有大模型生态快速迁移至高效推理架构。

核心事件 本文深入探讨了如何构建扩散语言模型（DLM），旨在挑战目前由Transformer主导的自回归（AR）生成范式，通过引入连续或离散扩散机制，实现非顺序、并行化的文本生成。 ▶ 范式转移： 扩散模型正从图像领域跨越至文本领域，试图解决自回归模型在长文本生成中的“曝光偏差”和推理延迟瓶颈。 ▶ 技术突破： 核心在于处理文本的离散性，通过在嵌入空间施加高斯噪声或使用离散状态转移矩阵，DLM 能够实现全局上下文的同步优化。 ▶ 效率革命： 不同于自回归的逐字生成，扩散模型理论上支持并行解码，这为打破推理侧的 $O(N)$ 复杂度限制提供了可能。 八卦洞察 在自回归模型（AR）统治 AI 领域数年后，业界正处于“审美疲劳”与“性能高原”的交汇点。扩散语言模型（DLM）的兴起，本质上是试图在文本生成中复刻 Stable Diffusion 在图像领域的成功。目前的 LLM 像是在“盲人摸象”，每一步只看前一个词；而 DLM 则更像是一位“画家”，先勾勒轮廓再填充细节。这种从局部贪婪搜索到全局去噪优化的转变，不仅是数学上的优雅，更是对算力分配逻辑的重构。然而，DLM 面临的最大挑战在于“离散性鸿沟”——如何在高维连续空间中精准锚定离散的语义符号，而不丢失逻辑连贯性。这不仅是技术挑战，更是决定下一代大模型架构能否超越 GPT-4 的关键战场。 行动建议 算法研发： 建议重点关注“离散扩散（Discrete Diffusion）”与“嵌入空间扩散”的融合路径，这是目前平衡生成质量与收敛速度的最优解。 算力布局： 鉴于扩散模型涉及多轮迭代去噪，推理端的算力需求将从“显存带宽受限”转向“计算密集型”，企业需提前优化针对迭代采样的算子库。 场景切入： 优先在对全局结构要求高、但对逻辑严密性容错度较高的场景（如创意写作、代码补全、蛋白质序列生成）中测试 DLM，而非直接挑战强逻辑对话。