Thinking Machines Lab 发布 LoRA Without Regret 研究
Thinking Machines Lab 发表研究,系统刻画 LoRA 与全量微调(FullFT)表现相当的“低后悔区间”,覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时,监督微调与 LoRA 样本效率和最终性能与 FullFT 相当;RL 场景即使 rank=1 也能完全匹配。

2026-06-30 — 2026-06-30
重要进展 · 第 1 / 6 页
— · 1 条
精选资讯 · 第 1 / 1 页
Thinking Machines Lab 发表研究,系统刻画 LoRA 与全量微调(FullFT)表现相当的“低后悔区间”,覆盖多数后训练场景。核心结论是 LoRA 应用于全部权重层尤其是 MLP/MoE 层且容量不受限时,监督微调与 LoRA 样本效率和最终性能与 FullFT 相当;RL 场景即使 rank=1 也能完全匹配。
暂无内容