Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。

2021-07-07 — 2021-07-07
重要进展 · 第 92 / 105 页
OpenAI 公开在代码上微调的 Codex 研究,并发布 HumanEval,用可执行测试衡量模型依据文档字符串合成程序的功能正确性。
— · 1 条
精选资讯 · 第 1 / 1 页
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。
暂无内容