Unsloth 发布 GLM-5.3 GGUF 量化版本地运行指南
Unsloth 发布 GLM-5.3 的动态 GGUF 量化版本，2-bit 模型从 1.51TB 压缩到 239GB（缩小 83%），保留约 81% top-1 准确率，1-bit 则以缩小 85% 达到约 76%。
部署工程 大事记
重要进展 IMPORTANT_PROGRESS
2026-07-14 — 2026-07-14
重要进展 · 第 6 / 11 页
腾讯混元将Hy3旗舰模型量化至1bit与4bit，单卡即可部署
AIHOT事件 ↗原始外链未提供
部署工程 精选历史资讯
— · 2 条
精选资讯 · 第 1 / 1 页
SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。
分类
排序
暂无内容