设计 AI 评测：先求清晰，再谈可视化
本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能，并借助 Google Sheets 和 Data Studio 进行可视化分析。
Agent智能体 大事记
重要进展 IMPORTANT_PROGRESS
2023-10-10 — 2023-10-10
重要进展 · 第 43 / 55 页
SWE-bench 以真实仓库问题评估软件修复
SWE-bench 从真实 GitHub 问题和代码修改构建软件工程基准，以仓库上下文和测试验证修复结果，成为编码智能体评估的重要基础，而非一次产品能力承诺。
Agent智能体 精选历史资讯
— · 5 条
精选资讯 · 第 1 / 2 页
Google 用 ADK 构建零信任 AI Agent 的三层安全实践
Google 开源了一个基于 ADK 和 Gemini 的自主客服退款 Agent（zero-trust-agents 仓库），并演示一条提示词注入可造成超额退款、密钥泄露或主机被入侵。
Replit 推出黑盒渗透测试功能
Replit 推出黑盒渗透测试（black-box pen tests），像外部攻击者一样通过网络和浏览器测试应用，不接触源代码，与现有白盒扫描互补。Level 3 扫描会在私有沙箱中并行运行两种扫描，黑盒代理先无账号访问，再以普通登录用户身份越权尝试。官方称两类扫描发现的问题很少重叠，例如白盒发现被吊销权限的用户仍可操作，黑盒则发现无登录的猜得到地址的管理后台。
分类
排序
暂无内容