OpenAI 开发者博客讲解如何用 Evals 系统化测试 Codex Agent 技能
OpenAI 开发者博客发布教程,讲解如何像测试 LLM 应用一样,用 evals 系统化评估 Codex 的 Agent 技能。核心流程为定义可度量的成功标准、用 $skill-creator 创建技能、以 codex exec -- 捕获 JSONL 轨迹做确定性检查,再用 --output-schema 输出符合评分规则的 JSON 做风格等定性评估。

2023-06-07 — 2023-06-07
重要进展 · 第 79 / 105 页
Aider 的该次公开发行增加 GPT-3.5/GPT-4-32k 支持、基于 PageRank 的仓库映射及 token 预算控制,展示终端式仓库协作编码工具的早期演进。
— · 2 条
精选资讯 · 第 1 / 1 页
OpenAI 开发者博客发布教程,讲解如何像测试 LLM 应用一样,用 evals 系统化评估 Codex 的 Agent 技能。核心流程为定义可度量的成功标准、用 $skill-creator 创建技能、以 codex exec -- 捕获 JSONL 轨迹做确定性检查,再用 --output-schema 输出符合评分规则的 JSON 做风格等定性评估。
Cognition 发布 Devin Review,一款针对 GitHub PR 的 AI 代码审查工具,称代码审查已成为 AI 编程时代的瓶颈。
暂无内容