asaoka commited on
Commit
f5ffd8f
1 Parent(s): bf77b45

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -3
README.md CHANGED
@@ -52,9 +52,9 @@ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
52
 
53
  # トレーニング方法
54
 
55
- - インストラクションチューニング + QLoRA(4bitLoRA)
56
 
57
- - トークナイザー:Llama-2-7b-hfのトークナイザーをそのまま使用
58
 
59
  ## Training procedure
60
 
@@ -78,11 +78,13 @@ The following `bitsandbytes` quantization config was used during training:
78
 
79
  | タスク | Llama-2-7b-hf | This Model |
80
  |:-|:-|:-|
81
- | jcommonsenseqa-1.1-0.6(acc) | 0.7274 | ? |
82
 
83
  [JGLUEスコア](https://aclanthology.org/2022.lrec-1.317/)は,Stability AI社の[lm-evaluation-harness](https://github.com/Stability-AI/lm-evaluation-harness)を用いて
84
  算出しました.JGLUEスコアの算出に用いたスクリプトを下記に示します.
85
 
 
 
86
  ```bash
87
  !python main.py \
88
  --model hf-causal-experimental \
@@ -93,6 +95,9 @@ The following `bitsandbytes` quantization config was used during training:
93
  --output_path ./results.json
94
  ```
95
 
 
 
 
96
  ```bash
97
  !python main.py \
98
  --model hf-causal-experimental \
 
52
 
53
  # トレーニング方法
54
 
55
+ - ファインチューニング:インストラクションチューニング + QLoRA(4bitLoRA)
56
 
57
+ - トークナイザー:[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf)のトークナイザーをそのまま使用
58
 
59
  ## Training procedure
60
 
 
78
 
79
  | タスク | Llama-2-7b-hf | This Model |
80
  |:-|:-|:-|
81
+ | jcommonsenseqa-1.1-0.6(acc) | 0.7274 | 0.7060 |
82
 
83
  [JGLUEスコア](https://aclanthology.org/2022.lrec-1.317/)は,Stability AI社の[lm-evaluation-harness](https://github.com/Stability-AI/lm-evaluation-harness)を用いて
84
  算出しました.JGLUEスコアの算出に用いたスクリプトを下記に示します.
85
 
86
+ - Llama-2-7b-hf
87
+
88
  ```bash
89
  !python main.py \
90
  --model hf-causal-experimental \
 
95
  --output_path ./results.json
96
  ```
97
 
98
+ - This Model
99
+
100
+
101
  ```bash
102
  !python main.py \
103
  --model hf-causal-experimental \