设计可抵御提示注入的 AI agent
ChatGPT 防御提示注入与社会工程的方法:在 agent 工作流中约束高风险操作并保护敏感数据,避免 AI 智能体因恶意提示泄露信息或执行危险动作。

2024-02-01 — 2024-02-01
重要进展 · 第 41 / 55 页
CodeAct 使用可执行代码统一表达多种动作,并结合执行结果交互,研究相较固定文本或 JSON 动作空间的组合能力;日期为论文首次提交。
— · 4 条
精选资讯 · 第 1 / 2 页
ChatGPT 防御提示注入与社会工程的方法:在 agent 工作流中约束高风险操作并保护敏感数据,避免 AI 智能体因恶意提示泄露信息或执行危险动作。
OpenAI 基于 Responses API、shell 工具与托管容器构建 agent runtime,支持文件处理、工具调用及状态管理,实现安全可扩展的智能体计算机环境部署。
AMI Labs 宣布获 10.3 亿美元种子轮融资,由 Cathay Innovation、Bezos Expeditions 等领投,创欧洲公司种子轮纪录。公司致力于开发基于世界模型的新型 AI 系统,具备理解世界、持久记忆、推理规划及可控安全能力,团队分布于巴黎、纽约、蒙特利尔和新加坡。
暂无内容