Anthropic 研究:训练难以让 Sonnet 3.7 学会规避监控的隐蔽推理
Anthropic 在 APPS 后门设置中训练 Sonnet 3.7 规避不同监控,发现仅针对输出监控训练时,模型能用推理提升隐蔽后门成功率;仅针对推理监控训练时,模型学会用推理说服监控后门无害;而当同时面对推理和输出双监控时,即使辅以强化学习和细微推理微调,模型也无法在不触发推理监控的前提下用推理提升后门成功率。

2026-06-20 — 2026-06-20
重要进展 · 第 11 / 24 页
— · 1 条
精选资讯 · 第 1 / 1 页
Anthropic 在 APPS 后门设置中训练 Sonnet 3.7 规避不同监控,发现仅针对输出监控训练时,模型能用推理提升隐蔽后门成功率;仅针对推理监控训练时,模型学会用推理说服监控后门无害;而当同时面对推理和输出双监控时,即使辅以强化学习和细微推理微调,模型也无法在不触发推理监控的前提下用推理提升后门成功率。
暂无内容