METR 研究更新:算法评分高估 AI 智能体真实软件工程能力
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。

2026-09-22 — 2026-09-22
重要进展 · 第 4 / 105 页
Claude Code v2.1.280 的官方发行说明加入 Opus 5.5,并明确它成为默认 Opus 型号;此条只保留经过核验的 Code 变更,不扩写为 Claude 应用全部场景的默认模型。
— · 1 条
精选资讯 · 第 1 / 1 页
METR 在 stdlib-js 和 hypothesis 两个仓库的 18 个真实 issue 上评估 Claude 3.7 Sonnet(Inspect ReAct 智能体),按维护者测试用例算法评分成功率为 38%(±19%),但人工评审的 15 个 PR 中没有一个可以直接合并。
暂无内容