2026-10-12 — 2026-10-12
重要进展 · 第 1 / 5 页
— · 5 条
精选资讯 · 第 1 / 2 页
AI推理市场正快速分化，各模态如文本、图像、视频和音频发展出独立推理技术栈。自ChatGPT发布后，NVIDIA数据中心收入三年内增长17倍，凸显市场爆发。分化根本原因在于工作负载差异：图像视频生成需高计算力，长上下文消耗更多内存，边缘设备则受功耗限制。市场按延迟分为实时、近实时和批量三层；按模态分为文本、图像视频音频；按部署分为云端和边缘。Hugging Face上已有超9万个图像生成模型，整个AI推理市场规模预计约1000亿美元，这种专业化趋势正为各细分领域创造领导者机会。
腾讯开源了Hy-MT1.5-1.8B-1.25bit翻译模型，其参数量为18亿，经量化后仅440MB，可在手机上完全离线运行。该模型支持33种语言、5种方言及1056个翻译方向，包括藏语、蒙古语等少数语言。在标准测试中，其性能媲美商业翻译API和2350亿参数的大模型。通过量化至1.25比特，模型内存占用从FP16格式的3.3GB大幅降低，比之前的1.67比特方法体积缩小25%、速度提升约10%，且无精度损失。该模型已在国际机器翻译竞赛中获得30项第一，并部署于腾讯多个产品中。
FlashQLA是基于TileLang开发的高性能线性注意力内核，专为提升个人设备上智能体AI性能而设计。它实现了2-3倍的前向传播加速和2倍的反向传播加速。其核心技术包括门控驱动的片上自动计算与通信重叠、硬件友好的代数重构，以及TileLang融合的Warp专用内核。该设计通过自动片上通信重叠显著提升了流处理器利用率，在张量并行、小模型和长上下文任务中效果突出。尽管在大批量处理时，其将GDN流程拆分为两个内核的策略会带来额外内存开销，但在边缘设备和长上下文实际场景中性能更优。反向传播部分通过构建16级、严格片上内存限制下的Warp专用流水线，实现了超过2倍的内核级加速。
暂无内容