README.md

---
license: openrail++
tags:
- stable-diffusion
- text-to-image
inference: false
library_name: diffusers
---

# Emi 2 Model Card

![eyecatch.jpg](eyecatch.jpg)

# はじめに
Emi 2 (Ethereal master of illustration 2) は、
最先端の開発機材H100を用いた画像生成Emiを用いて
AI Picasso社が開発したAIアートに特化した画像生成AIです。
このモデルの特徴として、Danbooruなどにある無断転載画像を学習していないことがあげられます。

# 使い方
[ここ](https://huggingface.co/spaces/aipicasso/emi-2-demo)からデモを利用することができます。
本格的に利用する人は[ここ](emi-2.safetensors)からモデルをダウンロードできます。

# シンプルな作品例

![example_1.jpg](example_1.jpg)

```
positive prompt: 1girl, close-up, brown bob short hair, brown eyes, smile:0.1, looking at viewer, cherry blossom
negative prompt: (embedding:unaestheticXLv31:0.5)
```

![example_2.png](example_2.png)

```
positive prompt: monochrome, black and white, (japanese manga), mount fuji
negative prompt: (embedding:unaestheticXLv31:0.5)
```

![example_3.jpg](example_3.jpg)
```
positive prompt: 1boy, face, silver very short hair, red eyes, smile:0.1, looking at viewer, white background
negative prompt: (embedding:unaestheticXLv31:0.5)
```

![example_4.jpg](example_4.jpg)
```
positive prompt: 1girl standing on an abandoned ruin, brown long hair, brown eyes, full body, from front
negative prompt: (embedding:unaestheticXLv31:0.5), bad hand, bad anatomy, low quality
```

# モデルの出力向上について
- 使えるプロンプトはWaifu Diffusionと同じです。また、Stable Diffusionのように使うこともできます。
- ネガティブプロンプトに[Textual Inversion](https://civitai.com/models/119032/unaestheticxl-or-negative-ti)を使用することをおすすめします。
- 手が不安定なため、[DreamShaper XL1.0](https://civitai.com/models/112902?modelVersionId=126688)などの実写系モデルとのマージをおすすめします。
- ChatGPTを用いてプロンプトを洗練すると、自分の枠を超えた作品に出会えます。
- 最新のComfyUIにあるFreeUノード、または[Web UIの拡張機能](https://github.com/ljleb/sd-webui-freeu)を次のパラメータで使うとさらに出力が上がる可能性があります。次の画像はFreeUを使った例です。
	- s1=1.2, s2=0.7, b1=1.1, b2=1.3


# 法律について
本モデルは日本にて作成されました。したがって、日本の法律が適用されます。
本モデルの学習は、著作権法第30条の4に基づき、合法であると主張します。
また、本モデルの配布については、著作権法や刑法175条に照らしてみても、
正犯や幇助犯にも該当しないと主張します。詳しくは柿沼弁護士の[見解](https://twitter.com/tka0120/status/1601483633436393473?s=20&t=yvM9EX0Em-_7lh8NJln3IQ)を御覧ください。
ただし、ライセンスにもある通り、本モデルの生成物は各種法令に従って取り扱って下さい。

# 連絡先
[email protected]

以下、一般的なモデルカードの日本語訳です。

## モデル詳細
- **モデルタイプ:** 拡散モデルベースの text-to-image 生成モデル
- **言語:** 日本語
- **ライセンス:** [CreativeML Open RAIL++-M License](LICENSE.md)
- **モデルの説明:** このモデルはプロンプトに応じて適切な画像を生成することができます。アルゴリズムは [Latent Diffusion Model](https://arxiv.org/abs/2307.01952) と [OpenCLIP-ViT/G](https://github.com/mlfoundations/open_clip)、[CLIP-L](https://github.com/openai/CLIP) です。
- **補足:**
- **参考文献:**
```bibtex
@misc{podell2023sdxl,
      title={SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis}, 
      author={Dustin Podell and Zion English and Kyle Lacey and Andreas Blattmann and Tim Dockhorn and Jonas Müller and Joe Penna and Robin Rombach},
      year={2023},
      eprint={2307.01952},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
```

## モデルの使用例

Stable Diffusion XL 1.0と同じ使い方です。
たくさんの方法がありますが、3つのパターンを提供します。
- ComfyUI
- Fooocus
- Diffusers

### ComfyUIやFooocusの場合

Stable Diffusion XL 1.0 の使い方と同じく、safetensor形式のモデルファイルを使ってください。
詳しいインストール方法は、[こちらの記事](https://note.com/it_navi/n/n723d93bedd64)を参照してください。

### Diffusersの場合

[🤗's Diffusers library](https://github.com/huggingface/diffusers) を使ってください。

まずは、以下のスクリプトを実行し、ライブラリをいれてください。

```bash
pip install invisible_watermark transformers accelerate safetensors　diffusers
```

次のスクリプトを実行し、画像を生成してください。

```python
from diffusers import StableDiffusionXLPipeline, EulerAncestralDiscreteScheduler
import torch

model_id = "aipicasso/emi-2"

scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id,subfolder="scheduler")
pipe = StableDiffusionXLPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.bfloat16)
pipe = pipe.to("cuda")

prompt = "1girl, upper body, brown bob short hair, brown eyes, looking at viewer, cherry blossom"
images = pipe(prompt, num_inference_steps=20).images
images[0].save("girl.png")

```

複雑な操作は[デモのソースコード](https://huggingface.co/spaces/aipicasso/emi-2-demo/blob/main/app.py)を参考にしてください。

#### 想定される用途
- イラストや漫画、アニメの作画補助
  - 商用・非商用は問わない
- 依頼の際のクリエイターとのコミュニケーション 
- 画像生成サービスの商用提供
  - 生成物の取り扱いには注意して使ってください。
- 自己表現
    - このAIを使い、「あなた」らしさを発信すること
- 研究開発
    - ファインチューニング（追加学習とも）
        - LoRA など
    - 他のモデルとのマージ
    - 本モデルの性能をFIDなどで調べること
- 教育
    - 美大生や専門学校生の卒業制作
    - 大学生の卒業論文や課題制作
    - 先生が画像生成AIの現状を伝えること
- Hugging Face の Community にかいてある用途
    - 日本語か英語で質問してください

#### 想定されない用途
- 物事を事実として表現するようなこと
- 先生を困らせるようなこと
- その他、創作業界に悪影響を及ぼすこと

# 使用してはいけない用途や悪意のある用途
- マネー・ロンダリングに用いないでください
- デジタル贋作 ([Digital Forgery](https://arxiv.org/abs/2212.03860)) は公開しないでください（著作権法に違反するおそれ）
- 他人の作品を無断でImage-to-Imageしないでください（著作権法に違反するおそれ）
- わいせつ物を頒布しないでください (刑法175条に違反するおそれ）
    - いわゆる業界のマナーを守らないようなこと
- 事実に基づかないことを事実のように語らないようにしてください（威力業務妨害罪が適用されるおそれ）
    - フェイクニュース

## モデルの限界やバイアス

### モデルの限界

- 人間の手がきれいに生成することが難しいです。

### バイアス

- 日本のイラスト風の画像を生成していることに向いていますが、写真のような画像を生成することには向いていません。

## 学習

**学習データ**

- Stable Diffusionと同様のデータセットからDanbooruの無断転載画像を取り除いて手動で集めた約3000枚の画像
- Stable Diffusionと同様のデータセットからDanbooruの無断転載画像を取り除いて自動で集めた約50万枚の画像

**学習プロセス**

- **ハードウェア:** H100, RTX 4090

## 評価結果

第三者による評価を求めています。

## 環境への影響

- **ハードウェアタイプ:** H100, RTX 4090
- **使用時間（単位は時間）:** 1000
- **学習した場所:** 日本

## 参考文献

```bibtex
@misc{podell2023sdxl,
      title={SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis}, 
      author={Dustin Podell and Zion English and Kyle Lacey and Andreas Blattmann and Tim Dockhorn and Jonas Müller and Joe Penna and Robin Rombach},
      year={2023},
      eprint={2307.01952},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
```