2024-02-28 — 2024-02-28
重要进展 · 第 73 / 105 页
BigCode 发布不同规模的 StarCoder2 与新代码数据集 The Stack v2，并开放数据处理和训练代码，扩展可复核的代码模型研究。
— · 4 条
精选资讯 · 第 1 / 2 页
LLM Skirmish 是一个让大语言模型通过编写代码进行1v1实时战略游戏对战的基准测试。基于Screeps开源API，每场锦标赛包含五轮，LLM可根据对战日志调整策略以测试上下文学习能力。结果显示，Claude Opus 4.5以85%胜率排名第一，GPT 5.2次之。Gemini 3 Pro表现异常：首轮胜率70%，后四轮骤降至15%，疑似因上下文腐烂。成本方面，Claude Opus 4.5每轮$4.12最贵，GPT 5.2性价比高出1.7倍。
OpenAI 发布 Codex 模型提示词指南，API 上的 Codex 调优模型为 gpt-5.3-codex，推荐用 medium 推理力度平衡智能与速度，复杂任务可用 high 或 xhigh。
METR 宣布更改其开发者生产力实验设计，认为 2025 年 8 月启动的新一轮实验数据不能可靠反映 AI 工具对开发效率的影响。
暂无内容