TII 发布 Falcon-Edge 系列 1.58bit BitNet 语言模型,含 1B 和 3B 两种规格
TII 的 Falcon-Edge 系列基于 BitNet 架构,以三值权重 {-1, 0, 1} 直接预训练,提供 1B 和 3B 两种参数规格,各含 base 和 instruct 版本,模型在约 1.5 Tera Tokens 的内部数据混合上预训练。

2026-11-05 — 2026-11-05
重要进展 · 第 1 / 31 页
— · 2 条
精选资讯 · 第 1 / 1 页
TII 的 Falcon-Edge 系列基于 BitNet 架构,以三值权重 {-1, 0, 1} 直接预训练,提供 1B 和 3B 两种参数规格,各含 base 和 instruct 版本,模型在约 1.5 Tera Tokens 的内部数据混合上预训练。
Hugging Face 官方宣布,未来 Transformers 将作为跨框架的模型定义标准,凡支持的 300+ 模型架构可望在 vLLM、SGLang 等推理引擎及 Axolotl、Unsloth 等训练框架中获得支持。团队还将简化模型贡献流程,目标是让新模型不再需要 6000 行代码、20 个文件的改动,并与 llama.cpp、MLX 加强 GGUF 等格式互转。
暂无内容