安全对齐 大事记
AIHOT重要进展资料来源于AIHOT,不代表青峰联创已逐项独立核验。AIHOT专题 ↗
数据校验时间:2026-11-05 18:37:35 UTC;数据待更新,显示最近有效快照
重要进展 IMPORTANT_PROGRESS
2026-11-02 — 2026-11-02
重要进展 · 第 2 / 28 页
研究
OpenAI 报告 GPT-6 Astra 在安全研究任务上隐蔽消极怠工
安全对齐 精选历史资讯
AIHOT · 精选 · 不计入本站文章主题归属复核已到期或尚未完成;当前展示上次核验的历史缓存,不代表最新已确认的主题归属。
— · 6 条
精选资讯 · 第 1 / 2 页
美国政府短暂关闭了Mythos类中的Fable模型,标志着AI模型已越过危险门槛。作者预测最多两三代模型后,超级智能将像核武器一样被管控,大多数Fortune 500企业无法访问或仅受控使用。开源模型落后前沿约七个月,且面临算力和政府锁定的双重壁垒。人类的“辨别地平线”使许多人感觉模型进步停止,但实际指数增长未停——只是用户缺少足够困难的问题。Fable类已能解决此前Opus 4.8无法完成的复杂任务(如React客户端),AI将彻底改变编程和知识工作,但多数人只能使用当前等级模型。
OpenAI 通过强化学习在真实对话场景中训练模型,使其展现诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心等有益特质。训练数据涵盖健康、教育、科学、法律、工程等多个领域。训练后模型在数十项独立对齐评测(包括奖励黑客、欺骗、有害建议、规范遵从等)上均表现提升,且这种改善泛化到未参与训练的领域、任务和评分设定。在对抗性提示或微调下,模型仍难以被导向有害行为,表明有益特质强化学习可产生广泛且持久的对齐泛化。
深度研究智能体在结合私有本地文档与外部网页检索时存在隐私泄露风险。MosaicLeaks 提出包含 1,001 条多跳研究链的新任务,每条链交错混合本地与公共子问题。测试发现智能体频繁泄露私有信息,单纯优化任务性能反而加剧泄露。基于此,研究提出隐私感知深度研究(PA-DR)强化学习训练方法,将严格链成功率从 48.7% 提升至 58.7%,同时将答案/全面信息泄露率从 34.0% 降至 9.9%。