设计可抵御提示注入的 AI agent
ChatGPT 防御提示注入与社会工程的方法:在 agent 工作流中约束高风险操作并保护敏感数据,避免 AI 智能体因恶意提示泄露信息或执行危险动作。

2026-02-18 — 2026-02-18
重要进展 · 第 26 / 55 页
《Towards a Science of AI Agent Reliability》将智能体可靠性拆为一致性、鲁棒性、可预测性与安全性,指出单一成功率不能充分刻画实际运行质量。
— · 4 条
精选资讯 · 第 1 / 2 页
ChatGPT 防御提示注入与社会工程的方法:在 agent 工作流中约束高风险操作并保护敏感数据,避免 AI 智能体因恶意提示泄露信息或执行危险动作。
OpenAI 基于 Responses API、shell 工具与托管容器构建 agent runtime,支持文件处理、工具调用及状态管理,实现安全可扩展的智能体计算机环境部署。
AMI Labs 宣布获 10.3 亿美元种子轮融资,由 Cathay Innovation、Bezos Expeditions 等领投,创欧洲公司种子轮纪录。公司致力于开发基于世界模型的新型 AI 系统,具备理解世界、持久记忆、推理规划及可控安全能力,团队分布于巴黎、纽约、蒙特利尔和新加坡。
暂无内容