README.mdに記述を追加
Browse files
README.md
CHANGED
@@ -1,3 +1,32 @@
|
|
1 |
---
|
2 |
license: llama2
|
|
|
|
|
3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: llama2
|
3 |
+
language:
|
4 |
+
- ja
|
5 |
---
|
6 |
+
|
7 |
+
## モデル概要
|
8 |
+
[Watashiha-Llama-2-13B-Ogiri-sft](https://huggingface.co/watashiha/Watashiha-Llama-2-13B-Ogiri-sft)を[LLaVA](https://github.com/haotian-liu/LLaVA)で学習し、画像に対応した大喜利言語モデルです。
|
9 |
+
Vision Encoderには[laion/CLIP-ViT-B-32-laion2B-s34B-b79K](https://huggingface.co/laion/CLIP-ViT-B-32-laion2B-s34B-b79K)を使用しています。
|
10 |
+
|
11 |
+
* License: [LLAMA 2 COMMUNITY LICENSE](https://github.com/facebookresearch/llama/blob/main/LICENSE)
|
12 |
+
* Library: [LLaVA](https://github.com/haotian-liu/LLaVA)
|
13 |
+
|
14 |
+
## 学習データ
|
15 |
+
事前学習のデータには[STAIR Captions](https://github.com/STAIR-Lab-CIT/STAIR-captions)を使用しています。
|
16 |
+
[STAIR Captions](https://github.com/STAIR-Lab-CIT/STAIR-captions)のデータで学習する際、
|
17 |
+
[MS COCO 2014](https://cocodataset.org/#home)で以下のライセンスが付与されている画像データは使用しないようにしました。
|
18 |
+
|
19 |
+
- [Attribution-NonCommercial-ShareAlike License](http://creativecommons.org/licenses/by-nc-sa/2.0/)
|
20 |
+
- [Attribution-NonCommercial License](http://creativecommons.org/licenses/by-nc/2.0/)
|
21 |
+
- [Attribution-NonCommercial-NoDerivs License](http://creativecommons.org/licenses/by-nc-nd/2.0/)
|
22 |
+
- [No known copyright restrictions](http://flickr.com/commons/usage/)
|
23 |
+
|
24 |
+
Fine-tuningのデータには以下のデータを使用しています。
|
25 |
+
- [Japanese Visual Genome VQA dataset](https://github.com/yahoojapan/ja-vg-vqa)
|
26 |
+
- [ボケ缶データセット](https://github.com/aws-samples/bokete-denshosen)
|
27 |
+
- 大喜利データ(テキストのみ)
|
28 |
+
|
29 |
+
## 使用方法
|
30 |
+
以下のGoogle Colabのサンプルコードを参考にしてください。
|
31 |
+
[サンプルコード](https://colab.research.google.com/drive/1aAReEzLHTLnt1DmirQgGw7oGEF6XxwqN?usp=sharing)
|
32 |
+
|