Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
Baseten 工程师参考 MetaInfer 论文，让 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4，单张 B200）自动构建推理引擎 VibeQwen，单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降至 12ms，并发 32 时吞吐高 71%。
部署工程 大事记
重要进展 IMPORTANT_PROGRESS
2026-06-18 — 2026-06-18
重要进展 · 第 9 / 11 页
Vercel 发布开源 AI 智能体框架 Eve：每个智能体就是一个文件目录
AIHOT事件 ↗原始外链未提供
部署工程 精选历史资讯
— · 4 条
精选资讯 · 第 1 / 2 页
Prime Intellect 发布推理服务平台 Prime Inference
Prime Intellect 发布 Prime Inference，提供 serverless 端点与预留容量，在多数据中心 GPU 基础设施上服务前沿开源模型，内部每天处理近一万亿 token。
Modal 正式发布 VM Sandboxes：给 Agent 一台完整的 Linux 虚拟机
Modal 宣布 VM Sandboxes 正式 GA，只需设置 runtime="vm" 即可获得支持 Docker、FUSE 和内核功能的完整 Linux VM，沿用原有 Sandbox 的 API、modal.Image、亚秒级冷启动和内存爆发能力，早期客户已启动超过 2000 万个 VM。
分类
排序
暂无内容