2025年1月电路更新：稀疏自编码器训练方法改进

Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。