OpenAI 开发者博客讲解如何用 Evals 系统化测试 Codex Agent 技能
OpenAI 开发者博客发布教程,讲解如何像测试 LLM 应用一样,用 evals 系统化评估 Codex 的 Agent 技能。核心流程为定义可度量的成功标准、用 $skill-creator 创建技能、以 codex exec -- 捕获 JSONL 轨迹做确定性检查,再用 --output-schema 输出符合评分规则的 JSON 做风格等定性评估。

2024-02-28 — 2024-02-28
重要进展 · 第 73 / 105 页
BigCode 发布不同规模的 StarCoder2 与新代码数据集 The Stack v2,并开放数据处理和训练代码,扩展可复核的代码模型研究。
— · 2 条
精选资讯 · 第 1 / 1 页
OpenAI 开发者博客发布教程,讲解如何像测试 LLM 应用一样,用 evals 系统化评估 Codex 的 Agent 技能。核心流程为定义可度量的成功标准、用 $skill-creator 创建技能、以 codex exec -- 捕获 JSONL 轨迹做确定性检查,再用 --output-schema 输出符合评分规则的 JSON 做风格等定性评估。
Cognition 发布 Devin Review,一款针对 GitHub PR 的 AI 代码审查工具,称代码审查已成为 AI 编程时代的瓶颈。
暂无内容