Update README.md

README.md

@@ -11,7 +11,7 @@ tags:
 license: unknown
 datasets:
 - JosephusCheung/GuanacoDataset
-- tatsu-lab/alpaca
+- yahma/alpaca-cleaned
 widget:
   - text: <s>\\n以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\\n[SEP]\\n指示:\\n日本で一番広い湖は？\\n[SEP]\\n応答:\\n
 ---
@@ -40,13 +40,14 @@ model = AutoModelForCausalLM.from_pretrained("inu-ai/alpaca-guanaco-japanese-gpt
 ## ChatGPT4によるサンプルコード
 
 ```python
-MAX_LENGTH = 1024
+MAX_ASSISTANT_LENGTH = 100
+MAX_INPUT_LENGTH = 1024
 INPUT_PROMPT = r'<s>\n以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。\n[SEP]\n指示:\n{instruction}\n[SEP]\n入力:\n{input}\n[SEP]\n応答:\n'
 NO_INPUT_PROMPT = r'<s>\n以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\n[SEP]\n指示:\n{instruction}\n[SEP]\n応答:\n'
 
 def prepare_input(role_instruction, conversation_history, new_conversation):
     instruction = "".join([f"{text}\\n" for text in role_instruction])
-    conversation_text = "\\n".join(conversation_history)
+    instruction += "\\n".join(conversation_history)
     input_text = f"User:{new_conversation}"
 
     return INPUT_PROMPT.format(instruction=instruction, input=input_text)
@@ -61,7 +62,7 @@ def generate_response(role_instruction, conversation_history, new_conversation):
         input_text = prepare_input(role_instruction, conversation_history, new_conversation)
         token_ids = tokenizer.encode(input_text, add_special_tokens=False, return_tensors="pt")
         n = len(token_ids[0])
-        if n <= MAX_LENGTH:
+        if n + MAX_ASSISTANT_LENGTH <= MAX_INPUT_LENGTH:
             break
         else:
             conversation_history.pop()
@@ -71,7 +72,7 @@ def generate_response(role_instruction, conversation_history, new_conversation):
         output_ids = model.generate(
             token_ids.to(model.device),
             min_length=n,
-            max_length=min(MAX_LENGTH, n+100),
+            max_length=min(MAX_INPUT_LENGTH, n + MAX_ASSISTANT_LENGTH),
             temperature=0.7,
             do_sample=True,
             pad_token_id=tokenizer.pad_token_id,
@@ -131,16 +132,17 @@ for question in questions:
 ## 出力
 
 ```
-Assistant:日本で一番高い山は富士山です。
-Assistant:日本で一番広い湖は琵琶湖です。湖は長さ約6,400 km、面積は約33,600 km2で、世界最大の湖です。
-Assistant:世界で一番高い山は高山(テプイ)で、エベレストの頂上にあると言われています。
-Assistant:世界で一番広い湖は、アフリカ大陸にあるアフリカ大陸中央部にあるナイジェリア湖である。面積は58,200,000平方キロメートルで、世界で最も広く、世界で3番目に大きい湖である。
-Assistant:ずんだもんは、東北ずん子のキャラクターです。一人称は「ボク」で語尾に「なのだ」を付けてしゃべるのが特徴です。また、ずんだもんは、東北ずん子が身に着けていた武器「ずんだアロー」に変身する妖精またはマスコットとして知られています。
-Assistant:今、私は何問目でしょうか?
+Assistant:はい、日本で一番高い山は日本の富士山です。
+Assistant:日本で最も広い湖は琵琶湖です。
+Assistant:世界で一番高い山といえば、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
+Assistant:世界で一番広い湖は、ギザの大ピラミッドの頂上に立つギザギザのピラミッドです。
+Assistant:最初の質問は、ずんだアローに変身するかどうかの質問である。
+Assistant:今、あなたの質問は10問目です。
 ```
 
 # 評価
-100回の「入力」質問を行い、それらに対する「応答」文字列が最も正確なエポックのモデルを選択しました。
+100回の「入力」のような質問を行い、それらに対する「応答」に正解の文字列が含まれるかで評価しています。
+一番正答率が高いエポックのモデルを選択しました。
 なお、サンプルコードのように「入力」が長くなると正答率が50%ぐらいに下がりました。
 
 | 入力                  | 応答        | 正答率[%] |
@@ -148,8 +150,30 @@ Assistant:今、私は何問目でしょうか?
 | 日本で一番広い湖は？ | 琵琶湖     | 96    |
 | 世界で一番高い山は？ | エベレスト | 86    |
 
+# 学習データのフォーマット
 
-# トレーニングのハイパーパラメータ
+[alpaca](https://github.com/tatsu-lab/stanford_alpaca)と同じように、以下のようなフォーマットにしています。
+
+```
+<s>
+以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。
+[SEP]
+指示:
+User:あなたは「ずんだもん」なのだ。東��ずん子の武器である「ずんだアロー」に変身する妖精またはマスコットなのだ。一人称は「ボク」で語尾に「なのだ」を付けてしゃべるのだ。
+Assistant:了解したのだ!
+[SEP]
+入力:
+User:日本で一番高い山は?
+[SEP]
+応答:
+日本で一番高い山は富士山で、標高3776メートルです。
+</s>
+```
+
+なぜか改行コードがスペースに置き換わってしまうため、実際は`\\n`に置き換えています。
+データは[guanaco_alpaca_ja.txt](alpaca-guanaco-japanese-gpt-1b/train_data/guanaco_alpaca_ja.txt)です。
+
+# 学習のハイパーパラメータ
 
 学習時には以下のハイパーパラメータを使用:
 ```
@@ -172,7 +196,7 @@ python.exe transformers/examples/pytorch/language-modeling/run_clm.py ^
 	--logging_dir logs
 ```
 
-# フレームワークのバージョン
+# ライブラリのバージョン
 
 - Transformers 4.28.0.dev0
 - Pytorch 2.0.0+cu117