Hugging Face's logo

inu-ai
/
niji-diffusion-xl-base-1.0

Text-to-Image
Diffusers
Safetensors
StableDiffusionXLPipeline
stable-diffusion
Inference Endpoints
Model card Files Community
niji-diffusion-xl-base-1.0 / README.md
inu-ai's picture
inu-ai
Update README.md
4768770
preview code
|
raw
history blame
5.36 kB
metadata
license: openrail++
thumbnail: https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/images/thumbnail.png
tags:
  - text-to-image
  - stable-diffusion
  - safetensors
  - diffusers
inference: true
widget:
  - text: best quality, high quality, absurdres, 1girl
datasets:
  - p1atdev/niji-v5
library_name: diffusers

更新履歴

  • 2023年8月11日 前回のnijijourneyの画像を混ぜて12000枚で学習しました。

以下、最後に行ったフルファインチューニング時のパラメータですが、そこに至るまでいろいろ試しているため以下のパラメータでやると失敗するかもしれません。 学習率は4e-7(constant)から4e-06(cosine)の間あたりが良いのかなと思います。

ハイパーパラメータ 値
GPU RTX3090 24GB
optimizer_type Lion
optimizer_args weight_decay=0.015, betas=.9,.999
learning_rate 4e-6
lr_scheduler cosine
gradient_checkpointing
mixed_precision bf16
full_bf16
max_token_length 225
min_snr_gamma 5
noise_offset 0.0357
max_train_epochs 3
batch_size 10
enable_bucket true
resolution [1024,1024]
  • 2023年8月7日

nijijourneyの画像4500枚ぐらいでフルファインチューニングしました。fp16で壊れないVAEに取り替えました。

学習率1e-07が低すぎたようで絵があまり変化しませんでした。次回は学習率を上げようと思います。

  • 2023年8月1日

nijijourneyの画像100枚ぐらいでLoRAファインチューニングなどをしました。

モデルの説明

アニメ調に寄せた「SDXL(stable-diffusion-xl-base-1.0)」モデルです。内容は「niji-v5」データセットでLoRAファインチューニングしてマージしたモデルです。

使用例

niji-diffusion-xl-base-1.0.safetensorsとstable-diffusion-webuiで以下のパラメータで画像生成します。

※100枚しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。

Prompt: 

1girl, town

Negative prompt: 

worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

PNG info: 

Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1

thumbnail

Prompt: 

1girl

thumbnail Prompt: 

1girl, tokyo

thumbnail Prompt: 

1girl, steampunk

thumbnail Prompt: 

1girl, fantasy

thumbnail

モデルの作り方

  1. 「かんたん☆コピー機学習法（きっと初級編）」を参考に、「ぼかし（blur）」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
  2. 1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。

今後のモデルの改善

LoRAモデルとして配布できるようにしたいです。 というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。

感想

うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。

謝辞

モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。

ライブラリ

ライセンス