sparse-autoencoder-training

# SAELens：用于机制可解释性的稀疏自编码器 SAELens 是训练和分析稀疏自编码器 (SAE) 的主要库——这是一种将多义的神经网络激活分解为稀疏、可解释特征的技术。基于 Anthropic 关于单义性的开创性研究。 **GitHub**: [jbloomAus/SAELens](https://github.com/jbloomAus/SAELens) (1,100+ stars) ## 问题：多义性与叠加 (Polysemanticity & Superposition) 神经网络中的单个神经元是**多义的**——它们在多个语义不同的上下文中激活。这是因为模型使用**叠加**来表示比其神经元数量更多的特征，这使得可解释性变得困难。 **SAE 通过将稠密激活分解为稀疏的、单义的特征来解决这个问题**——通常对于任何给定的输入，只有少量特征被激活，且每个特征对应一个可解释的概念。 ## 何时使用 SAELens **在以下情况使用 SAELens：** - 在模型激活中发现可解释特征 - 理解模型学习到了哪些概念 - 研究叠加和特征几何 - 执行基于特征的引导或消融 - 分析与安全相关的特征（欺骗、偏见、有害内容） **在以下情况考虑替代方案：** - 需要基础激活分析 → 直接使用 **TransformerLens** - 想要进行因果干预实验 → 使用 **pyvene** 或 **TransformerLens** - 需要生产环境引导 → 考虑直接的激活工程 ## 安装 bash pip install sae-lens 要求：Python 3.10+, transformer-lens>=2.0.0 ## 核心概念 ### SAE 学习的内容 SAE 通过稀疏瓶颈训练以重构模型激活： 输入激活 → 编码器 → 稀疏特征 → 解码器 → 重构激活 (d_model) ↓ (d_sae >> d_model) ↓ (d_model) 稀疏性 重构 惩罚 损失 **损失函数**: `MSE(原始, 重构) + L1_系数 × L1(特征)` ### 关键验证 (Anthropic 研究) 在“迈向单义性”研究中，人类评估员发现 **70% 的 SAE 特征是真正可解释的**。发现的特征包括： - DNA 序列、法律语言、HTTP 请求 - 希伯来语文本、营养声明、代码语法 - 情感、命名实体、语法结构 ## 工作流 1：加载和分析预训练的 SAE ### 分步指南 pyt