Cognition 实测:Fable 5 领衔的 Devin 成本反而低于 Opus 4.8
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。

2023-08-07 — 2023-08-07
重要进展 · 第 45 / 55 页
AgentBench 在八类交互环境中评估语言模型的推理与决策能力,分析长程推理、决策及指令遵循等失败来源,推动评测从静态问答扩展到行动过程。
— · 1 条
精选资讯 · 第 1 / 1 页
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。
暂无内容