谷歌发布 Gemma 4 QAT 检查点，支持消费级 GPU 和移动设备本地运行
谷歌发布 Gemma 4 量化感知训练 (QAT) 检查点，支持在消费级 GPU 和移动设备上本地运行，质量损失极小。新检查点提供 GGUF（Q4_0）格式，覆盖所有尺寸及起草模型，实现最佳本地性能。自定义移动模式采用混合精度方案，将 Gemma 4 压缩至 1GB 以下，包含 2-bit 解码层、优化 KV 缓存和静态激活。通过在训练中模拟压缩（而非训练后量化），大幅降低内存占用并加速解码，同时保持推理质量。
端侧 AI 大事记
重要进展 IMPORTANT_PROGRESS
2026-10-12 — 2026-10-12
重要进展 · 第 1 / 5 页
Anthropic 研究：小型 AI 模型可能接近在 IoT 设备上自主复制
AIHOT事件 ↗原始外链未提供
端侧 AI 精选历史资讯
— · 2 条
精选资讯 · 第 1 / 1 页
AI的微型钢厂
作者通过技能蒸馏将78%的AI工作交由Mac本地模型处理，仅复杂任务发往云端。智能体自动分类任务：简单任务本地数秒完成，复杂任务路由至云端。过去一周本地处理峰值达88%。双车道设计使吞吐量提升约25%，平均任务时长从47秒降至19秒，队列等待时间从73秒降至4秒（降幅94%）。该模式类比Nucor小钢厂，每台能运行蒸馏模型的边缘设备都成为小型AI工厂，仅对那1/5困难任务支付云费用。未来几年，数以千万计的此类设备将在企业内部增殖，逐步取代现阶段云厂商账单上的大部分工作负载。
分类
排序
暂无内容