metadata

base_model: Llama2-7B
tags:
  - generated_from_trainer

モデル概要

Llama2-7Bを日本語データ（taka-yayoi/databricks-dolly-15k-ja）を用いてインストラクションチューニングしました．

使用方法

トレーニング方法

インストラクションチューニング + QLoRA

JGLUEスコア

タスク	スコア
jcommonsenseqa-1.1-0.6(acc)	0.2672

JGLUEスコアは，Stability AI社のlm-evaluation-harnessを用いて算出しました．JGLUEスコアの算出に用いたスクリプトを下記に示します．

python main.py \
  --model hf-causal-experimental \
  --model_args "pretrained=asaoka/japanese-mistral-300m-clone" \
  --tasks jsquad-1.2-0.6,jcommonsenseqa-1.1-0.6,jnli-1.3-0.6,marc_ja-1.1-0.6 \
  --num_fewshot 2,3,3,3 \
  --device cuda \
  --output_path "./results.json"