差分Transformer V2
差分Transformer V2发布，其核心是改进的差分注意力机制。相较于V1，V2将查询头数量翻倍而保持键值头不变，差分操作后将维度缩减，从而在解码时能达到与标准Transformer相当的速度，且无需定制内核。新版本还解决了V1中因注意力分布均匀化导致的数值不稳定问题，特别是消除了RMSNorm层所需的巨大缩放因子（如在长序列下），从而避免了梯度爆炸，旨在实现更稳定的大规模预训练。
推理能力 大事记
重要进展 IMPORTANT_PROGRESS
2026-10-27 — 2026-10-27
重要进展 · 第 1 / 24 页
OpenAI 宣布 AI 模型取得三项科学突破，涉及局部光滑猜想、指数时间假设与杨–米尔斯理论
AIHOT事件 ↗原始外链未提供
推理能力 精选历史资讯
— · 2 条
精选资讯 · 第 1 / 1 页
Liquid AI 发布 LFM2.5-1.2B-Thinking，1.2B 参数端侧推理模型内存低于 1GB
Liquid AI 发布可在手机上完全离线运行的推理模型 LFM2.5-1.2B-Thinking，内存占用约 900 MB，已上线 Hugging Face、LEAP 和 Playground。
分类
排序
暂无内容