Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用
Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
部署工程 大事记
重要进展 IMPORTANT_PROGRESS
2026-10-20 — 2026-10-20
重要进展 · 第 1 / 11 页
DeepSeek 全面开源内部推理框架 DeepInfer
AIHOT事件 ↗原始外链未提供
部署工程 精选历史资讯
— · 1 条
精选资讯 · 第 1 / 1 页
分类
排序
暂无内容