MiniMax 开源原生多模态旗舰模型 M3,总参数 428B
MiniMax 上周五开源 M3 模型权重,并发布 MSA 稀疏注意力技术论文。M3 总参数 428B、激活参数 23B,是首个从 Step 0 进行多模态混合训练的开源模型,发布两周即在 Artificial Analysis 综合智能指数上位列全球开源模型第一。目前输出速度已从约 30 TPS 提升至约 80 TPS,官方称还将继续提速 30-40%。

2026-07-16 — 2026-07-16
重要进展 · 第 15 / 31 页
— · 2 条
精选资讯 · 第 1 / 1 页
MiniMax 上周五开源 M3 模型权重,并发布 MSA 稀疏注意力技术论文。M3 总参数 428B、激活参数 23B,是首个从 Step 0 进行多模态混合训练的开源模型,发布两周即在 Artificial Analysis 综合智能指数上位列全球开源模型第一。目前输出速度已从约 30 TPS 提升至约 80 TPS,官方称还将继续提速 30-40%。
UC Berkeley与UT Austin团队开源Flash-KMeans(Apache 2.0,`pip install flash-kmeans`),精确实现标准Lloyd's k-Means,通过重构GPU数据流而非改变数学或近似来提速。在NVIDIA H200上,端到端速度比最佳基线快17.9×,比cuML快33×,比FAISS快200×以上。其FlashAssign核避免物化完整N×K距离矩阵,将IO复杂度从O(NK)降至O(Nd+Kd),单核加速最高21.2×;Sort-Inverse Update核通过排序聚类ID减少原子争用,单核加速最高6.3×。支持out-of-core处理,在1B数据点、K=32768时单次迭代仅41.4s。适用于向量搜索索引、稀疏注意力路由、KV缓存压缩等在线场景。
暂无内容