Commit
•
3ea1135
1
Parent(s):
c78772d
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,85 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
+
language:
|
| 4 |
+
- ja
|
| 5 |
+
- en
|
| 6 |
+
library_name: transformers
|
| 7 |
+
tags:
|
| 8 |
+
- japanese
|
| 9 |
+
---
|
| 10 |
+
|
| 11 |
+
# Tanuki-8B-dpo-v1.0
|
| 12 |
+
|
| 13 |
+
## モデルについて
|
| 14 |
+
|
| 15 |
+
Tanuki-8Bは、フルスクラッチで?トークン事前学習された8Bパラメータの大規模言語モデルです。
|
| 16 |
+
Tanuki-8B-dpo-v1.0は、Tanuki-8BにSFTおよびDPOを適用し作成された対話用モデルです。
|
| 17 |
+
|
| 18 |
+
|
| 19 |
+
## 量子化モデル
|
| 20 |
+
- [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-AWQ)
|
| 21 |
+
- [GPTQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GPTQ-4bit)
|
| 22 |
+
- [GPTQ 8bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GPTQ-8bit)
|
| 23 |
+
- [GGUF量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF)*
|
| 24 |
+
|
| 25 |
+
*GGUF版は性能低下が発生している可能性があり、非推奨
|
| 26 |
+
|
| 27 |
+
## 使い方
|
| 28 |
+
|
| 29 |
+
```python
|
| 30 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
|
| 31 |
+
|
| 32 |
+
model = AutoModelForCausalLM.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0", device_map="auto", torch_dtype="auto")
|
| 33 |
+
tokenizer = AutoTokenizer.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0")
|
| 34 |
+
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
|
| 35 |
+
|
| 36 |
+
messages = [
|
| 37 |
+
{"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
|
| 38 |
+
{"role": "user", "content": "AIによって私たちの暮らしはどのように変わりますか？"}
|
| 39 |
+
]
|
| 40 |
+
|
| 41 |
+
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
|
| 42 |
+
output_ids = model.generate(input_ids,
|
| 43 |
+
max_new_tokens=1024,
|
| 44 |
+
temperature=0.5,
|
| 45 |
+
streamer=streamer)
|
| 46 |
+
```
|
| 47 |
+
|
| 48 |
+
## プロンプト形式
|
| 49 |
+
Tanuki-8B-dpo-v1.0は日本語版Alpacaのプロンプトフォーマットを利用します。
|
| 50 |
+
```
|
| 51 |
+
<s>以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
|
| 52 |
+
|
| 53 |
+
### 指示:
|
| 54 |
+
AIによって私たちの暮らしはどのように変わりますか？
|
| 55 |
+
|
| 56 |
+
### 応答:
|
| 57 |
+
|
| 58 |
+
```
|
| 59 |
+
|
| 60 |
+
なお、本モデルはデフォルトのシステムプロンプトである`以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。`以外を学習していないため、このシステムプロンプトの使用を推奨します。タスクの詳細はユーザープロンプトに記述してください。
|
| 61 |
+
|
| 62 |
+
## ベンチマーク
|
| 63 |
+
|
| 64 |
+
**Japanese MT-Bench**
|
| 65 |
+
GPT-4による評価 (Nejumi Leaderboard Neo、gpt-4-0613、平均スコア算出においてスコア-1は除外)
|
| 66 |
+
|
| 67 |
+
| | Tanuki-8B-dpo-v1.0 | Tanuki-8x8B-dpo-v1.0 |
|
| 68 |
+
| ---- | ---- | ---- |
|
| 69 |
+
| 平均スコア | 7.24 | 7.96 |
|
| 70 |
+
| coding | 5.4 | 6.75 |
|
| 71 |
+
| extraction | 6.65 | 6.90|
|
| 72 |
+
| humanities | 9.1 | 9.3 |
|
| 73 |
+
| math | 3.9 | 5.75 |
|
| 74 |
+
| reasoning | 5.75 | 7.35 |
|
| 75 |
+
| roleplay | 8.75 | 8.95 |
|
| 76 |
+
| stem | 9.35 | 9.40 |
|
| 77 |
+
| writing | 9.05 | 8.85 |
|
| 78 |
+
|
| 79 |
+
GPT-4oによる評価 (Nejumi Leaderboard 3)
|
| 80 |
+
|
| 81 |
+
|
| 82 |
+
**人手評価**
|
| 83 |
+
Chatbot Arena的なシステムを使った人手によるブラインドテストの結果
|
| 84 |
+
|
| 85 |
+
|