Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

2025-02-17 — 2025-02-17
重要进展 · 第 56 / 105 页
SWE-Lancer 从真实自由职业任务构建工程实现与管理决策评测,通过端到端测试衡量模型能否完成实际有偿工作。
— · 1 条
精选资讯 · 第 1 / 1 页
Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
暂无内容