蚂蚁百灵为SGLang推出权重缓存守护进程
今天,我们为 SGLang 推出 Weight Cache Daemon。🚀 在 Ling-2.6-1T FP8 上,它将权重加载时间缩短至约 0.63 秒,比磁盘加载快约 780 倍,并将引擎总启动时间从 8.8 分钟缩短至约 0.53 分钟。其工作原理如下。

2026-10-20 — 2026-10-20
重要进展 · 第 1 / 11 页
— · 6 条
精选资讯 · 第 1 / 2 页
今天,我们为 SGLang 推出 Weight Cache Daemon。🚀 在 Ling-2.6-1T FP8 上,它将权重加载时间缩短至约 0.63 秒,比磁盘加载快约 780 倍,并将引擎总启动时间从 8.8 分钟缩短至约 0.53 分钟。其工作原理如下。
Anthropic 发布 Claude Python SDK v1.0,HTTP 层从 httpx 迁移至 API 兼容的 httpx2,并移除 Text Completions API 等长期弃用功能。
蚂蚁 Ling Infra 团队与 RadixArk SGLang 团队将 Ling-3.0-flash 混合线性注意力 MoE 模型的单请求解码速度从 288 tok/s 提升至 606 tok/s,平均 TPOT 从 3.33 ms 降至 1.53 ms。
暂无内容