部署工程 大事记 AIHOT重要进展 资料来源于AIHOT,不代表青峰联创已逐项独立核验。AIHOT专题 ↗
数据校验时间:2026-11-08 14:47:13 UTC;数据待更新,显示最近有效快照
重要进展 IMPORTANT_PROGRESS 2026-07-16 — 2026-07-16重要进展 · 第 4 / 11 页
2026-07-16 研究
HYPIC:小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统
部署工程 精选历史资讯 AIHOT · 精选 · 不计入本站文章 主题归属复核已到期或尚未完成;当前展示上次核验的历史缓存,不代表最新已确认的主题归属。
2026-01-29 — 2026-01-30 · 2 条 精选资讯 · 第 1 / 1 页
Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。
Claude API 结构化输出功能现已对 Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Haiku 4.5 全面开放。GA 版本扩展了 schema 支持、改进了语法编译延迟,并简化了集成路径(无需 beta header)。该功能在 Amazon Bedrock 和 Microsoft Foundry 上仍为公开 beta。