Anthropic 研究：训练难以让 Sonnet 3.7 学会规避监控的隐蔽推理
Anthropic 在 APPS 后门设置中训练 Sonnet 3.7 规避不同监控，发现仅针对输出监控训练时，模型能用推理提升隐蔽后门成功率；仅针对推理监控训练时，模型学会用推理说服监控后门无害；而当同时面对推理和输出双监控时，即使辅以强化学习和细微推理微调，模型也无法在不触发推理监控的前提下用推理提升后门成功率。
安全对齐 大事记
重要进展 IMPORTANT_PROGRESS
2026-10-22 — 2026-10-22
重要进展 · 第 6 / 28 页
Anthropic 用 Claude 对 123 个开源库完成汇编级形式化安全证明
AIHOT事件 ↗原始外链未提供
安全对齐 精选历史资讯
— · 2 条
精选资讯 · 第 1 / 1 页
英国 AI Security Institute 联合 Anthropic 发布迄今最大规模数据毒化研究
英国 AI Security Institute 与 Anthropic、Alan Turing Institute 合作发布迄今最大规模的数据毒化研究。团队在 600M 到 13B 参数的四个不同规模模型上测试同一后门攻击，发现仅需 250 篇文档即可成功毒化所有被测模型的训练数据，所需数量并不随模型或数据集规模增加，推翻了此前按比例投毒才可成功的假设，表明毒化攻击可能比以往认为的更可行。
分类
排序
暂无内容