shirayu/sd-tohoku-v1 · Hugging Face

以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです．

itako: 東北イタコ
zunko: 東北ずん子
kiritan: 東北きりたん
zundamon: ずんだもん (人間形態)
metan: 四国めたん

学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです．

🌐オンラインですぐに試せるGoogle Colab Notebookでも利用できます

🔈 キャラクターを増やして学習したモデルshirayu/sd-tohoku-v2を公開しました (2023-01-04)

ファイル形式

AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合

sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください

diffusersから利用する場合

from diffusers import DiffusionPipeline
pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")

紹介動画

東北ずん子プロジェクトのキャラをAIお絵描き！　(ニコニコ動画)

ライセンス

CreativeML Open RAIL-M license 1.0

また，各種法令・各種ガイドラインにご留意ください．例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合，「東北ずん子プロジェクトキャラクター利用の手引き」に基づいて利用してください．

学習設定

元モデル: Nilaier/Waifu-Diffusers (fbd1958)
- Base model: hakurei/waifu-diffusion-v1-3
- VAE: hakurei/waifu-diffusion-v1-4
学習画像
- 5キャラクター計69枚
  - itako: 東北イタコ 18枚
  - zunko: 東北ずん子 13枚
  - kiritan: 東北きりたん 13枚
  - zundamon: ずんだもん (人間形態) 9枚
  - metan: 四国めたん 16枚
- アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
学習元コード: ShivamShrirao/diffusers (7232c2a)
- examples/dreambooth/train_dreambooth.py

学習設定

Instance ID: itako, kiritan, zunko, metan, zundamon (5種)
Instance prompt: <ID> 1girl
Tesla T4で約110分
その他設定:

--prior_loss_weight=0.5 \
--seed=3434554 \
--resolution=512 \
--center_crop \
--train_batch_size=1 \
--train_text_encoder \
--mixed_precision="fp16" \
--use_8bit_adam \
--gradient_checkpointing \
--gradient_accumulation_steps=2 \
--learning_rate=1e-6 \
--lr_scheduler="constant" \
--lr_warmup_steps=0 \
--num_class_images=50 \
--sample_batch_size=3 \
--max_train_steps=8000

学習に使った画像

生成例

kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512

zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704

itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512

zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512