Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。

2024-08-13 — 2024-08-13
重要进展 · 第 62 / 105 页
OpenAI 与 SWE-bench 作者发布经专业开发者筛查的五百项任务,减少规格不清、测试过窄及环境失败造成的评测偏差。
— · 1 条
精选资讯 · 第 1 / 1 页
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。
暂无内容