Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。

2021-08-16 — 2021-08-16
重要进展 · 第 91 / 105 页
原作者以 MBPP 等任务研究大型语言模型的程序合成能力,分析模型规模、少样本提示和微调对短 Python 程序生成的影响。
— · 1 条
精选资讯 · 第 1 / 1 页
Cursor 的模型评估负责人 Nate Schmidt 发现,Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%,创下新高。该模型在模糊的真实编程任务中表现出全局推理能力,例如在航天模拟器中仅凭一句提示自主规划并成功登月,而此前 Claude Opus 运行 12 小时以上仍无结果。
暂无内容