2026-10-20 — 2026-10-20
重要进展 · 第 1 / 11 页
— · 3 条
精选资讯 · 第 1 / 1 页
Hugging Face Hub 发布 Storage Buckets，这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。它基于 Xet 存储后端，能对跨文件共享内容的 ML 工件进行高效去重，从而节省带宽、加速传输并降低存储成本。该服务还提供“预暖”功能，可将数据预先迁移至靠近计算资源的云区域，以提升分布式训练等场景的效率。目前支持 AWS 和 GCP，用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶。
同步强化学习训练中，数据生成是主要瓶颈，如在320亿参数模型上生成3.2万令牌样本需数小时，导致训练GPU闲置。业界主流解决方案是将推理与训练解耦到不同GPU池，通过rollout缓冲区连接并异步传输权重。本文调研了16个实现此模式的开源库，从编排原语、缓冲区设计、权重同步协议、陈旧数据处理、部分rollout支持、LoRA支持及分布式训练后端七个维度比较。关键发现：Ray在编排层占主导（8/16库使用），NCCL广播是默认权重传输方式，LoRA训练支持普遍不足，而分布式MoE支持正成为新差异化特性。
Thinking Machines Lab 与 NVIDIA 宣布多年期战略合作，将部署至少 1 GW 的新一代 NVIDIA Vera Rubin 系统，用于 Thinking Machines 的前沿模型训练和可定制 AI 平台，目标明年初上线部署。
暂无内容