高效离线推理框架 Flood：吞吐量显著领先，支持多模态与量化Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销，并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明，其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时，解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代，已支持前瞻解码等新特性。
Claude API 结构化输出功能正式上线Claude API 结构化输出功能现已对 Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Haiku 4.5 全面开放。GA 版本扩展了 schema 支持、改进了语法编译延迟，并简化了集成路径（无需 beta header）。该功能在 Amazon Bedrock 和 Microsoft Foundry 上仍为公开 beta。
