蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型，含 tiny 与 flash 两个尺寸及预训练、中期训练、合并（WSM）等阶段检查点。该系列采用混合线性注意力与稀疏 MoE 架构，总参数 7.9B，每 token 仅激活 1.3B 参数（128 个路由专家中激活 8 个）。
数据与训练 大事记
重要进展 IMPORTANT_PROGRESS
2026-06-02 — 2026-06-02
重要进展 · 第 3 / 6 页
Microsoft 发布七款新 MAI 模型并推出 Frontier Tuning 微调方案
AIHOT事件 ↗原始外链未提供
数据与训练 精选历史资讯
— · 5 条
精选资讯 · 第 1 / 2 页
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型，并发布预训练、中期训练及合并（WSM）等阶段的检查点，支持继续预训练、微调与研究。Ling-3.0-tiny-base 采用稀疏 MoE 架构，含 128 个路由专家，每 token 仅激活 1.3B 参数，总参数量 7.9B，并原生混合线性注意力以高效处理长上下文。
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型，采用高度稀疏（1/64）MoE 架构，含 512 个路由专家，每个 token 仅激活 8 个路由专家和 1 个共享专家，激活参数仅 5.1B（Non-emb）。
分类
排序
暂无内容