设计 AI 评测:先求清晰,再谈可视化
本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。

2023-05-25 — 2023-05-25
重要进展 · 第 48 / 55 页
Voyager 在 Minecraft 环境中结合自动课程、持续扩展的代码技能库和迭代反馈,探索开放式具身任务的长期学习;能力结论限于论文评测环境。
— · 5 条
精选资讯 · 第 1 / 2 页
本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。
Google 开源了一个基于 ADK 和 Gemini 的自主客服退款 Agent(zero-trust-agents 仓库),并演示一条提示词注入可造成超额退款、密钥泄露或主机被入侵。
Replit 推出黑盒渗透测试(black-box pen tests),像外部攻击者一样通过网络和浏览器测试应用,不接触源代码,与现有白盒扫描互补。Level 3 扫描会在私有沙箱中并行运行两种扫描,黑盒代理先无账号访问,再以普通登录用户身份越权尝试。官方称两类扫描发现的问题很少重叠,例如白盒发现被吊销权限的用户仍可操作,黑盒则发现无登录的猜得到地址的管理后台。
暂无内容