MOVA 发布:32B MoE 端到端同步视频-音频生成模型全栈开源
OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。

2022-04-07 — 2022-04-07
重要进展 · 第 78 / 86 页
论文把图像扩散架构扩展到视频,联合使用图像与视频训练,并研究文本条件生成和空间、时间方向的视频延展。
— · 1 条
精选资讯 · 第 1 / 1 页
OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。
暂无内容