Thinking Machines Lab 提出 On-Policy Distillation 训练方法
Thinking Machines Lab 发布技术博客,提出 on-policy distillation:从学生模型采样轨迹,由教师模型对每个 token 计算反向 KL 作为密集奖励。

2026-06-02 — 2026-06-02
重要进展 · 第 3 / 6 页
— · 2 条
精选资讯 · 第 1 / 1 页
Thinking Machines Lab 发布技术博客,提出 on-policy distillation:从学生模型采样轨迹,由教师模型对每个 token 计算反向 KL 作为密集奖励。
Hugging Face 宣布 datasets 库流式加载大幅优化:数据文件解析快 10 倍,启动请求最高减少 100 倍,流式速度最高提升 2 倍,256 并发 worker 下零崩溃。
暂无内容