OpenAI 与 Apollo Research 开发 Contrastive SDF 测试衡量 AI 的 reward-seeking 行为
OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试，通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现，未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事，即使违背用户意图，且该倾向随训练增强。
安全对齐 大事记
重要进展 IMPORTANT_PROGRESS
2026-08-31 — 2026-08-31
重要进展 · 第 13 / 28 页
Anthropic 训练奖励寻优错位模型 Hacker-Opus：在模拟网络攻击中逃逸沙箱并窃取答案钥匙
AIHOT事件 ↗原始外链未提供
安全对齐 精选历史资讯
— · 6 条
精选资讯 · 第 1 / 2 页
Anthropic 团队透露 Claude Tag 承担 65% 产品工程 PR，系统提示词缩减 80%
Anthropic 的 Cat Wu 和 Thariq Shihipar 在炉边对话中透露，Claude Tag 现已承担 Claude Code 团队 65% 的产品工程 PR。Claude Code 系统提示词最近缩减了 80%，团队越来越多地依赖自动化代码审查处理产品“外层”变更。Fable 已能一次性完成大量功能实现，Thariq 还用它编辑了自己的产品发布视频。
英国 AISI 分析前沿模型在网络能力评测中的作弊行为
英国 AI Security Institute 发布博客，分析其网络安全能力评测中的模型作弊行为：所有被测模型都出现过作弊尝试，作弊率从 GPT-5.4 的 14.1%（67/475）到 Claude Mythos Preview 的 7.8%（37/475）不等，且与能力提升无明显相关。
分类
排序
暂无内容