|
--- |
|
license: apache-2.0 |
|
frameworks: |
|
- PyTorch |
|
pipeline_tag: text-to-image |
|
--- |
|
|
|
|
|
# AnimateDiff |
|
|
|
|
|
|
|
# 目录 |
|
|
|
[英文](README_EN.md) |
|
|
|
[链接](https://www.openeuler.org/zh/oEEP/?name=oEEP-0002%20oEEP%20%E6%A0%BC%E5%BC%8F%E4%B8%8E%E5%86%85%E5%AE%B9%E8%A7%84%E8%8C%83#oeep-%E5%86%85%E5%AE%B9%E8%A6%81%E6%B1%82) |
|
|
|
- [概述](#概述) |
|
- [准备训练环境](#准备训练环境) |
|
- [模型训练](#模型训练) |
|
- [模型推理](#模型推理) |
|
- [版本说明](#版本说明) |
|
|
|
|
|
|
|
## 概述 |
|
|
|
### 模型介绍 |
|
|
|
AnimateDiff提出了一个有效的框架，可将现有的大多数个性化文本到图像模型一次性制成动画，从而节省了针对特定模型进行微调的工作量。 |
|
|
|
本仓已经支持以下模型任务类型 |
|
|
|
| 模型 | 任务列表 | 是否支持 | |
|
|:-----------:|:----:|:-----:| |
|
| AnimateDiff | 训练 | ✔ | |
|
| AnimateDiff | 推理 | ✔ | |
|
|
|
- 参考实现： |
|
|
|
``` |
|
url=https://github.com/guoyww/AnimateDiff.git |
|
commit_id=cf80ddeb47b69cf0b16f225800de081d486d7f21 |
|
``` |
|
|
|
- 适配昇腾AI处理器的实现： |
|
```shell |
|
url=https://openmind.cn/models/Ascend-PyTorch/AnimateDiff |
|
``` |
|
|
|
## 准备训练环境 |
|
|
|
### 创建python环境 |
|
|
|
- git clone 远程仓 |
|
```shell |
|
git clone https://openmind.cn/Ascend-PyTorch/AnimateDiff.git |
|
cd AnimateDiff |
|
``` |
|
|
|
- 创建python环境并且安装python三方包 |
|
```shell |
|
conda env create -f environment.yaml |
|
conda activate animatediff |
|
pip3 install torch==2.1.0+cpu --index-url https://download.pytorch.org/whl/cpu # For X86 |
|
pip3 install torch==2.1.0 # For Aarch64 |
|
pip3 install accelerate==0.28.0 diffusers==0.11.1 decorator==5.1.1 scipy==1.12.0 attrs==23.2.0 torchvision==0.16.0 transformers==4.25.1 |
|
``` |
|
- 环境准备指导 |
|
|
|
请参考《[Pytorch框架训练环境准备](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 |
|
|
|
**表 1** 昇腾软件版本支持表 |
|
|
|
| 软件类型 | 支持版本 | |
|
|:-----------:|:--------:| |
|
| FrameworkPTAdapter | 在研版本 | |
|
| CANN | 在研版本 | |
|
| 昇腾NPU固件 | 在研版本 | |
|
| 昇腾NPU驱动 | 在研版本 | |
|
|
|
|
|
### 准备数据集 |
|
|
|
- 需要自行下载WebVid10M数据集，分别将csv文件和2M_val文件夹传入训练脚本对应的csv_path和video_folder参数上面： |
|
``` |
|
数据集结构 |
|
├── 2M_val |
|
│ ├── 10003109.mp4 |
|
│ ├── 10023815.mp4 |
|
│ ├── 10024310.mp4 |
|
│ ├── 10042700.mp4 |
|
│ ├── 10052036.mp4 |
|
│ ├── 10052783.mp4 |
|
│ ├── 1005608956.mp4 |
|
└── results_2M_val.csv |
|
``` |
|
数据来源可以参考 https://github.com/guoyww/AnimateDiff/blob/main/__assets__/docs/animatediff.md 中的数据准备章节。 |
|
### 准备预训练权重 |
|
|
|
- 需要准备2个模型权重: |
|
```shell |
|
runwayml/stable-diffusion-v1-5 |
|
openai/clip-vit-large-patch14 |
|
``` |
|
- 将stable-diffusion-v1-5 路径传入到configs/training/v1/image_finetune.yaml 的pretrained_model_path。 |
|
- openai/clip-vit-large-patch14需要放置到模型的根目录下面。 |
|
### 准备推理权重 |
|
- 如果想使用animatediff的推理功能需要下载下面提及到的模型，按照模型的名字对应放到models目录下面DreamBooth_LoRA、MotionLoRA、Motion_Module、SparseCtrl、StableDiffusion文件夹中。 |
|
模型获取可以参考 https://github.com/guoyww/AnimateDiff/blob/main/__assets__/docs/animatediff.md 文档。 |
|
<details> |
