这是阿里云推出的一款文生视频模型,可以本地部署。

开源地址:https://github.com/aigc-apps/EasyAnimate/

以下是开源地址的wiki介绍:https://github.com/aigc-apps/EasyAnimate/blob/main/README_zh-CN.md


EasyAnimate | 高分辨率长视频生成的端到端解决方案

 

😊 EasyAnimate是一个用于生成高分辨率和长视频的端到端解决方案。我们可以训练基于转换器的扩散生成器,训练用于处理长视频的VAE,以及预处理元数据。

😊 我们基于类SORA结构与DIT,使用transformer进行作为扩散器进行视频与图片生成。我们基于motion module、u-vit和slice-vae构建了EasyAnimate,未来我们也会尝试更多的训练方案一提高效果。

😊 Welcome!

Arxiv Page Project Page Modelscope Studio Hugging Face Spaces Discord Page

简介

 

EasyAnimate是一个基于transformer结构的pipeline,可用于生成AI图片与视频、训练Diffusion Transformer的基线模型与Lora模型,我们支持从已经训练好的EasyAnimate模型直接进行预测,生成不同分辨率,6秒左右、fps24的视频(1 ~ 144帧, 未来会支持更长的视频),也支持用户训练自己的基线模型与Lora模型,进行一定的风格变换。

我们会逐渐支持从不同平台快速启动,请参阅 快速启动

新特性:

  • 支持comfyui,详情查看ComfyUI README。[ 2024.07.12 ]
  • 更新到v3版本,最大支持720p 144帧(960×960, 6s, 24fps)视频生成,支持文与图生视频模型。[ 2024.07.01 ]
  • ModelScope-Sora“数据导演”创意竞速——第三届Data-Juicer大模型数据挑战赛已经正式启动!其使用EasyAnimate作为基础模型,探究数据处理对于模型训练的作用。立即访问竞赛官网,了解赛事详情。[ 2024.06.17 ]
  • 更新到v2版本,最大支持144帧(768×768, 6s, 24fps)生成。[ 2024.05.26 ]
  • 创建代码!现在支持 Windows 和 Linux。[ 2024.04.12 ]

功能概览:

这些是我们的生成结果 GALLERY (点击下方的图片可查看视频):

Watch the video 我们的ui界面如下: ui

 

更多内容请查看原文:https://github.com/aigc-apps/EasyAnimate/blob/main/README_zh-CN.md

 

联系我们

 

  1. 扫描下方二维码或搜索群号:77450006752 来加入钉钉群。
  2. 扫描下方二维码来加入微信群(如果二维码失效,可扫描最右边同学的微信,邀请您入群)

ding groupWechat groupPerson

参考文献

 

许可证

 

本项目采用 Apache License (Version 2.0).

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注