通义实验室详解如何用 Arm SME2 与 MNN 让 Qwen3-VL 在手机端侧提速
通义实验室利用 Arm SME2 指令集与 MNN 推理引擎,在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%,Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计,开发者无需手动配置。

2026-10-12 — 2026-10-12
重要进展 · 第 1 / 5 页
— · 1 条
精选资讯 · 第 1 / 1 页
通义实验室利用 Arm SME2 指令集与 MNN 推理引擎,在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%,Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计,开发者无需手动配置。
暂无内容