METR 研究更新：算法评分高估 AI 智能体真实软件工程能力
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet（Inspect ReAct 智能体），按维护者测试用例算法评分成功率为 38%（±19%），但人工评审的 15 个 PR 中没有一个可以直接合并。
AI 编码 大事记
重要进展 IMPORTANT_PROGRESS
2023-06-07 — 2023-06-07
重要进展 · 第 79 / 105 页
Aider v0.5 加入仓库映射与上下文预算
Aider 的该次公开发行增加 GPT-3.5/GPT-4-32k 支持、基于 PageRank 的仓库映射及 token 预算控制，展示终端式仓库协作编码工具的早期演进。
AI 编码 精选历史资讯
— · 1 条
精选资讯 · 第 1 / 1 页
分类
排序
暂无内容