Update README.md
Browse files
README.md
CHANGED
@@ -52,9 +52,9 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|
|
52 |
|
53 |
# トレーニング方法
|
54 |
|
55 |
-
-
|
56 |
|
57 |
-
- トークナイザー:Llama-2-7b-hfのトークナイザーをそのまま使用
|
58 |
|
59 |
## Training procedure
|
60 |
|
@@ -78,11 +78,13 @@ The following `bitsandbytes` quantization config was used during training:
|
|
78 |
|
79 |
| タスク | Llama-2-7b-hf | This Model |
|
80 |
|:-|:-|:-|
|
81 |
-
| jcommonsenseqa-1.1-0.6(acc) | 0.7274 |
|
82 |
|
83 |
[JGLUEスコア](https://aclanthology.org/2022.lrec-1.317/)は,Stability AI社の[lm-evaluation-harness](https://github.com/Stability-AI/lm-evaluation-harness)を用いて
|
84 |
算出しました.JGLUEスコアの算出に用いたスクリプトを下記に示します.
|
85 |
|
|
|
|
|
86 |
```bash
|
87 |
!python main.py \
|
88 |
--model hf-causal-experimental \
|
@@ -93,6 +95,9 @@ The following `bitsandbytes` quantization config was used during training:
|
|
93 |
--output_path ./results.json
|
94 |
```
|
95 |
|
|
|
|
|
|
|
96 |
```bash
|
97 |
!python main.py \
|
98 |
--model hf-causal-experimental \
|
|
|
52 |
|
53 |
# トレーニング方法
|
54 |
|
55 |
+
- ファインチューニング:インストラクションチューニング + QLoRA(4bitLoRA)
|
56 |
|
57 |
+
- トークナイザー:[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをそのまま使用
|
58 |
|
59 |
## Training procedure
|
60 |
|
|
|
78 |
|
79 |
| タスク | Llama-2-7b-hf | This Model |
|
80 |
|:-|:-|:-|
|
81 |
+
| jcommonsenseqa-1.1-0.6(acc) | 0.7274 | 0.7060 |
|
82 |
|
83 |
[JGLUEスコア](https://aclanthology.org/2022.lrec-1.317/)は,Stability AI社の[lm-evaluation-harness](https://github.com/Stability-AI/lm-evaluation-harness)を用いて
|
84 |
算出しました.JGLUEスコアの算出に用いたスクリプトを下記に示します.
|
85 |
|
86 |
+
- Llama-2-7b-hf
|
87 |
+
|
88 |
```bash
|
89 |
!python main.py \
|
90 |
--model hf-causal-experimental \
|
|
|
95 |
--output_path ./results.json
|
96 |
```
|
97 |
|
98 |
+
- This Model
|
99 |
+
|
100 |
+
|
101 |
```bash
|
102 |
!python main.py \
|
103 |
--model hf-causal-experimental \
|