听完 Sutton 的这期播客:有趣且发人深省
Sutton(《The Bitter Lesson》作者)在播客中质疑 LLM 并非真正的"苦涩的教训"产物——它们依赖有限的人类数据且充满偏见。他主张 AI 应像动物一样通过 RL 与世界动态交互,而非模仿人类文本。作者认同 LLM 确实充斥人工干预,但认为预训练是应对冷启动的实用"进化替代方案",纯 RL 在现实世界难以行得通。

2026-05-30 — 2026-05-30
重要进展 · 第 5 / 6 页
— · 2 条
精选资讯 · 第 1 / 1 页
Sutton(《The Bitter Lesson》作者)在播客中质疑 LLM 并非真正的"苦涩的教训"产物——它们依赖有限的人类数据且充满偏见。他主张 AI 应像动物一样通过 RL 与世界动态交互,而非模仿人类文本。作者认同 LLM 确实充斥人工干预,但认为预训练是应对冷启动的实用"进化替代方案",纯 RL 在现实世界难以行得通。
Thinking Machines Lab 于 2025 年 10 月 1 日发布 Tinker,一个用于微调语言模型的灵活 API,官方处理分布式训练的复杂性,用户可控制算法和数据。
暂无内容