AnimationDiff

AnimationDiffとは、Stable Diffusionの拡張機能のひとつで、短いアニメーションGIFを生成できるというものです。

• https://github.com/continue-revolution/sd-webui-animatediff

AnimationDiffで生成できるフレーム数は最大24フレームとなっています。なお学習は16フレームで実施されているため16フレームが推奨されています。

インストール

AnimationDiff本体をダウンロードして、Stable Diffusionのextensionsフォルダにぶち込む。

• https://github.com/continue-revolution/sd-webui-animatediff

 $ cd stable-diffusion-webui/extensions/
 $ git clone https://github.com/continue-revolution/sd-webui-animatediff.git

AnimationDiffのモーションファイルをダウンロードして、AnimationDiffのmodelフォルダにモーションファイルにぶち込む。

• https://drive.google.com/drive/folders/1EqLC65eR1-W-sGD0Im7fkED6c8GkiNFI

 $ cd sd-webui-animatediff/model/
 $ curl -L "https://drive.usercontent.google.com/download?id=1RqkQuGPaCO5sGZ6V6KZ-jUWmsRu48Kdq&export=download&confirm=t" -o mm_sd_v14.ckpt
 $ curl -L "https://drive.usercontent.google.com/download?id=1ql0g_Ys4UCz2RnokYlBjyOYPbttbIpbu&export=download&confirm=t" -o mm_sd_v15.ckpt

モーションファイルのファイル名はAnimationDiffのソースコード内で決め打ちとなっているので変更しないこと。

重要

全般

• xformersは無効化する必要がある

Mac

• Macでは「--no-half」を付けて起動する。
• PYTORCH_MPS_HIGH_WATERMARK_RATIO環境変数を使うと安定する

PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 ./webui.sh --listen --no-half