设计可抵御提示注入的 AI agent
ChatGPT 防御提示注入与社会工程的方法：在 agent 工作流中约束高风险操作并保护敏感数据，避免 AI 智能体因恶意提示泄露信息或执行危险动作。
安全对齐 大事记
重要进展 IMPORTANT_PROGRESS
2026-07-01 — 2026-07-01
重要进展 · 第 19 / 28 页
Cato AI Labs 披露 Cursor IDE 两个零点击提示词注入 RCE 漏洞 DuneSlide
AIHOT事件 ↗原始外链未提供
安全对齐 精选历史资讯
— · 4 条
精选资讯 · 第 1 / 2 页
Anthropic 提出抽象红队方法，在查询类别层面测试模型性格违规
Anthropic Fellows Program 团队提出 abstractive red-teaming，通过搜索自然语言查询类别而非单个查询，找出让大模型违反性格规范的现实失败模式，并提出 CRL 和 QCI 两种搜索算法。
Anthropic 成立 The Anthropic Institute
Anthropic 宣布成立 The Anthropic Institute，由联合创始人 Jack Clark 担任 Public Benefit 负责人并领导。该机构整合 Frontier Red Team、Societal Impacts 和 Economic Research 团队，利用构建前沿 AI 系统的独特信息优势，研究 AI 对就业、经济、法律及治理的挑战，并与外部合作应对风险。同时聘请 Matt Botvinick、Anton Korinek 等专家，探索 AI 与社会各领域的互动。
分类
排序
暂无内容