METR 发布 RE-Bench：对比语言模型智能体与人类专家的 AI 研发能力
METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。
AI 编码 大事记
重要进展 IMPORTANT_PROGRESS
2025-02-17 — 2025-02-17
重要进展 · 第 56 / 105 页
SWE-Lancer 评测真实付费软件工程任务
SWE-Lancer 从真实自由职业任务构建工程实现与管理决策评测，通过端到端测试衡量模型能否完成实际有偿工作。
AI 编码 精选历史资讯
— · 1 条
精选资讯 · 第 1 / 1 页
分类
排序
暂无内容