Create README.md

README.md

@@ -0,0 +1,34 @@
+---
+base_model: Llama2-7B
+tags:
+- generated_from_trainer
+---
+
+# モデル概要 
+
+Llama2-7Bを日本語データ（[taka-yayoi/databricks-dolly-15k-ja](https://huggingface.co/datasets/taka-yayoi/databricks-dolly-15k-ja)）を用いてインストラクションチューニングしました．
+
+# 使用方法 
+
+# トレーニング方法
+
+インストラクションチューニング + QLoRA
+
+# JGLUEスコア
+
+| タスク | スコア |
+|:-|:-|
+| jcommonsenseqa-1.1-0.6(acc) | 0.2672 |
+
+[JGLUEスコア](https://aclanthology.org/2022.lrec-1.317/)は，Stability AI社の[lm-evaluation-harness](https://github.com/Stability-AI/lm-evaluation-harness)を用いて
+算出しました．JGLUEスコアの算出に用いたスクリプトを下記に示します．
+
+```bash
+python main.py \
+  --model hf-causal-experimental \
+  --model_args "pretrained=asaoka/japanese-mistral-300m-clone" \
+  --tasks jsquad-1.2-0.6,jcommonsenseqa-1.1-0.6,jnli-1.3-0.6,marc_ja-1.1-0.6 \
+  --num_fewshot 2,3,3,3 \
+  --device cuda \
+  --output_path "./results.json"
+```