Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果：在内部基准 cognition-golden 上，Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%，生产版 Devin 达 74.2%。
AI 编码 大事记
重要进展 IMPORTANT_PROGRESS
2025-09-21 — 2025-09-21
重要进展 · 第 43 / 105 页
SWE-Bench Pro 扩展长程软件工程评测
SWE-Bench Pro 聚焦更复杂的企业级仓库问题，包含公开、保留和商业任务分区，考察 Agent 的长程软件工程能力。
AI 编码 精选历史资讯
— · 1 条
精选资讯 · 第 1 / 1 页
分类
排序
暂无内容