预训练

事件核心随着高质量人类文本数据趋于枯竭，大模型（LLM）的Scaling Law正面临前所未有的挑战。传统的“预测性建模”（Predictive Modeling）——即通过预测下一个Token来模仿人类存量知识——已触及天花板。最近，学术界与工业界开始转向“探索性建模”（Explorative Modeling, EM）。这一范式不再仅仅依赖于静态语料库，而是通过模型与环境的交互、自我博弈以及在验证空间（如代码、数学）中的自主探索，生成超越原始训练集的高质量数据。这标志着大模型预训练从“复读机”模式向“发现者”模式的本质跨越。技术/商业细节探索性建模的核心在于引入了除了算力和数据量之外的第三个维度：探索深度。其技术路径主要包含以下三个层面：主动数据合成：模型不再是被动接收者，而是通过生成假设、执行模拟并根据反馈（如编译器报错或数学证明结果）进行自我修正。这种闭环反馈机制解决了合成数据导致的“模型崩溃”问题。强化学习（RL）的预训练化：将原本用于微调阶段的强化学习前置到预训练阶段。通过在大规模动作空间中进行搜索（Search-based exploration），模型能够学习到人类文本中未曾显式记录的逻辑推理路径。环境化学习：模型被置于模拟器或真实物理引擎中，通过“试错”来理解因果关系。这使得模型从单纯的概率预测器演变为具备初步世界模型（World Model）雏形的智能体。八卦分析：全球影响「八卦资本」认为，探索性建模的兴起标志着AI军备竞赛的下半场已经开启。对于OpenAI、Anthropic等头部玩家而言，这不仅是技术路径的优化，更是生存之战。当互联网数据被“吃光”后，谁能率先构建出高效的“探索实验室”，谁就能掌握通往AGI的入场券。从行业格局看，这一趋势将导致算力需求的结构性变化。传统的吞吐量型算力将部分让位于支持复杂逻辑搜索和实时反馈的推理型算力。同时，这也为垂直领域（如生物制药、材料科学）带来了巨大机遇，因为这些领域拥有天然的可验证环境，是探索性建模的最佳试验场。战略建议构建“可验证”数据闭环：企业不应再盲目追求通用语料的堆砌，而应重点投入在代码、数学、物理仿真等具备客观评价标准的领域，建立自动化反馈回路。重塑人才结构：研发团队需要从单纯的NLP背景向“RL + 系统工程”转型。理解如何设计奖励函数（Reward Functions）和探索策略将比调优Transformer结构更为关键。关注推理侧Scaling：在模型部署时，应考虑引入推理时计算（Inference-time Compute），利用搜索算法提升模型在复杂任务上的表现，实现“边想边做”。

Sapient Intelligence 近日发布了 HRM-Text 1B 模型。该模型仅使用 40B token 数据，在 16 块 GPU 上耗时 1.9 天（成本约 1000 美元）完成从零训练，但在 MATH 和 DROP 等核心推理基准测试中超越了参数量更大的 Llama 3.2 3B。 ▶ 数据炼金术的胜利：HRM-Text 1B 的训练数据量仅为同类模型的千分之一，却在复杂逻辑推理上展现出跨级压制，证明了“高质量合成数据+精细筛选”优于“暴力堆砌”。 ▶ 预训练门槛的平民化：1000 美元的预训练成本意味着大模型研发正从“算力军备竞赛”转向“算法与数据工程竞赛”，初创公司在垂直领域具备了挑战巨头的可能。 ▶ 推理能力的定向进化：该模型在 MATH 和 DROP 上的表现预示着小参数模型在 RAG（检索增强生成）和特定逻辑任务中具有极高的替代潜力。 八卦洞察 HRM-Text 1B 的出现是对“规模定律（Scaling Laws）”传统认知的一次强力修正。长期以来，业界迷信万亿级 token 的灌喂，而 Sapient Intelligence 证明了当数据质量达到“教科书级别”时，模型可以在极小的参数规模下产生极强的逻辑涌现。这标志着 AI 行业正在进入“后暴力美学时代”——算力不再是绝对的护城河，对知识分布的深度理解和数据去噪能力才是核心竞争力。Llama 3.2 3B 被其超越，反映出通用大模型在特定推理任务上的冗余度极高，未来“小而精”的专家模型将成为企业端部署的主流。 行动建议 对于企业决策者和开发者，建议停止盲目追求参数规模，转而投资于私有数据的清洗与合成。在构建垂直领域应用时，应优先考虑通过 HRM 这种高效率架构进行定向预训练或深度微调，而非直接调用昂贵的通用巨型 API。此外，应关注 1B 规模模型在边缘计算和移动端的部署机会，利用其极低的推理延迟实现实时逻辑交互。

核心摘要 Nous Research 近期披露了名为“Token Superposition”的创新预训练技术，旨在通过在单个训练步长中叠加多个 token 信息，打破传统离散 token 处理的效率瓶颈，实现更高效的大模型预训练。 ▶ 范式转移：该技术从传统的离散、一热编码（One-hot）转向连续的叠加态表征，允许模型在相同的计算周期内吸收更密集的信息流。 ▶ 算力杠杆：通过优化数据摄入的几何分布，Token Superposition 有望显著降低达到特定 Loss 所需的 FLOPs，为开源社区挑战闭源巨头提供新的技术杠杆。 八卦洞察 Nous Research 的这一动作标志着大模型训练正在从“暴力美学”转向“算法炼金”。长期以来，Scaling Laws 占据统治地位，但随着算力成本和高质量数据存量的双重压力，如何提高“每 FLOP 的信息增益”成为顶级实验室的暗战焦点。Token Superposition 不仅仅是一个压缩技巧，它实际上是在重新定义模型如何感知语言的概率分布。通过叠加态，模型在预训练阶段就被迫处理更复杂的语义关联，这可能有助于提升模型在长文本理解和逻辑推理上的涌现能力。如果该技术能够在大规模参数上验证其稳定性，它将直接改写预训练的成本结构。 行动建议 对于技术决策者和架构师，建议密切关注 Nous Research 即将发布的实验数据和开源代码库。首先，评估该技术在特定领域小模型（SLM）上的收敛速度提升，这对于需要频繁迭代的垂直行业模型至关重要。其次，算力基础设施团队应提前调研该算法对现有算子（如 FlashAttention）的兼容性，以及在分布式训练中可能带来的通信开销变化。最后，建议在非核心业务的预训练实验中尝试引入叠加逻辑，以验证其在特定语料库上的增益效果。

核心事件 一名开发者历时数年，成功整理并发布了涵盖1980年至2013年、总计1031亿token的Usenet历史语料库，为AI模型提供了互联网早期文明的深度语义映射。 八卦洞察 ▶ 数据稀缺性的重构： 在高质量合成数据枯竭的背景下，Usenet这种具备高度逻辑辩论、技术交流和非商业化语境的原始数据，是训练AI推理能力和理解人类社会演进的“数字琥珀”。 ▶ 去偏见与真实性： 与现代社交媒体高度过滤、算法驱动的语料不同，Usenet代表了互联网早期的“极客真实”，对于训练具备历史厚度与逻辑批判性的LLM具有不可替代的价值。 行动建议 对于模型开发者：应优先将该语料库纳入长时序推理（Long-term Reasoning）和文化演变感知模型的预训练集，以提升模型处理非结构化历史对话的能力。 对于数据科学家：利用该语料库进行社会学维度的因果推断分析，探索互联网早期群体决策机制如何演化为现代AI的对齐范式。