Update

README.md

@@ -1,199 +1,429 @@
 ---
-library_name: transformers
-tags: []
----
-
-# Model Card for Model ID
-
-<!-- Provide a quick summary of what the model is/does. -->
-
-
-
-## Model Details
-
-### Model Description
-
-<!-- Provide a longer summary of what this model is. -->
-
-This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
-
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
-
-### Model Sources [optional]
-
-<!-- Provide the basic links for the model. -->
-
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
-
-## Uses
-
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
-
-### Direct Use
-
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
-
-[More Information Needed]
-
-### Downstream Use [optional]
-
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
-
-[More Information Needed]
-
-### Out-of-Scope Use
-
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-
-[More Information Needed]
-
-## Bias, Risks, and Limitations
-
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
-
-[More Information Needed]
-
-### Recommendations
-
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
-
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
-
-## How to Get Started with the Model
-
-Use the code below to get started with the model.
-
-[More Information Needed]
-
-## Training Details
-
-### Training Data
-
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
-
-[More Information Needed]
-
-### Training Procedure
-
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
-
-#### Preprocessing [optional]
-
-[More Information Needed]
+base_model: llm-jp/llm-jp-3-13b
+tags:
+  - text-generation-inference
+  - transformers
+  - llama
+  - trl
+license: apache-2.0
+language:
+  - en
+  - ja
+model_creator: YukikoMatsuda
+finetuned_from: llm-jp/llm-jp-3-13b
 
+---
+# Sample Use
+
+以下は、elyza-tasks-100-TV_0.jsonl の回答用コードです
+
+```python
+
+# python 3.10.12
+!pip install -U pip
+!pip install -U transformers
+!pip install -U bitsandbytes
+!pip install -U accelerate
+!pip install -U datasets
+!pip install -U peft
+!pip install -U trl
+!pip install -U wandb
+!pip install ipywidgets --upgrade
+
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer,
+    BitsAndBytesConfig,
+    TrainingArguments,
+    logging,
+)
+from peft import (
+    LoraConfig,
+    PeftModel,
+    get_peft_model,
+)
+import os, torch, gc
+from datasets import load_dataset
+import bitsandbytes as bnb
+from trl import SFTTrainer
+
+# Hugging Face Token
+HF_TOKEN = "your_hf_token" # 任意のトークンに変更
+
+# モデルを読み込み。
+# llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。
+# base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。
+# その他のモデルは取得に承諾が必要なため、各自でダウンロードお願いします。
+# base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a" #Fine-Tuningするベースモデル
+# omnicampus以外の環境をご利用の方は以下をご利用ください。
+base_model_id = "llm-jp/llm-jp-3-13b"
+new_model_id = "llm-jp-3-13b-finetune" #Fine-Tuningしたモデルにつけたい名前
+
+"""
+bnb_config: 量子化の設定
+
+  - load_in_4bit:
+      - 4bit量子化形式でモデルをロード
+
+  - bnb_4bit_quant_type:
+      - 量子化の形式を指定
 
-#### Training Hyperparameters
+  - bnb_4bit_compute_dtype:
+      - 量子化された重みを用いて計算する際のデータ型
 
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
+"""
+
+bnb_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です
+    bnb_4bit_compute_dtype=torch.bfloat16,
+)
 
-#### Speeds, Sizes, Times [optional]
+"""
+model: モデル
+
+  - base_model:
+      - 読み込むベースモデル (事前に定義したもの)
+
+  - quantization_config:
+      - bnb_configで設定した量子化設定
 
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
+  - device_map:
+      - モデルを割り当てるデバイス (CPU/GPU) "auto"で自動に割り当てられます。
 
-[More Information Needed]
+tokenizer: トークナイザー
 
-## Evaluation
+  - base_model:
+      - 読み込むベースモデル (事前に定義したもの)
 
-<!-- This section describes the evaluation protocols and provides the results. -->
+  - trust_remote_code:
+      - リモートコードの実行を許可 (カスタムモデルなど)
+"""
+model = AutoModelForCausalLM.from_pretrained(
+    base_model_id,
+    quantization_config=bnb_config,
+    device_map="auto"
+)
 
-### Testing Data, Factors & Metrics
+tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
 
-#### Testing Data
+"""
+find_all_linear_names: モデル内の4bit量子化線形層を探します。
+"""
+
+def find_all_linear_names(model):
+    cls = bnb.nn.Linear4bit # 4bit量子化線形層クラスを指定
+    lora_module_names = set() # ここに取得した線形層を保持します。
+
+    # モデル内の全てのモジュールを探索します
+    for name, module in model.named_modules():
+        if isinstance(module, cls): # モジュールが4bit量子化線形層の場合
+            names = name.split('.') # モジュールの名前を分割 (ネストされてる際などに対処)
+            lora_module_names.add(names[0] if len(names) == 1 else names[-1]) # 最下層の名前をlora_module_namesに追加
+
+    # 'lm_head' は16ビット演算の際に除外する必要があるため、lora_module_namesから削除
+    if 'lm_head' in lora_module_names:
+        lora_module_names.remove('lm_head')
+
+    return list(lora_module_names) # lora_module_namesをリストに変換して返します。
+
+modules = find_all_linear_names(model)
 
-<!-- This should link to a Dataset Card if possible. -->
+"""
+peft_config: PEFTの構成設定
 
-[More Information Needed]
+  - r
+      - LoRA のランク (4, 8, 16 ,32...)
+      - 増やすほど学習が捗るが, 過学習のリスクも高まるので注意
 
-#### Factors
+  - lora_alpha
+      - LoRAのスケーリング係数
 
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
+  - lora_dropout
+      - ドロップアウト率（過学習を防ぐための割合）
 
-[More Information Needed]
+  - bias
+      - バイアス項の扱い ("none"の場合、LoRAはバイアスを学習しない)
 
-#### Metrics
+  - task_type
+      - タスクタイプ
 
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
+  - target_modules
+      - LoRAを適用するターゲットモジュール (前のコードで特定した層)
+"""
 
-[More Information Needed]
+peft_config = LoraConfig(
+    r=16,
+    lora_alpha=32,
+    lora_dropout=0.05,
+    bias="none",
+    task_type="CAUSAL_LM",
+    target_modules=modules,
+)
 
-### Results
+model = get_peft_model(model, peft_config)
 
-[More Information Needed]
+from google.colab import drive
+drive.mount('/content/drive')
 
-#### Summary
+import json
 
+file_path = '/ICHIKARA｜Distribution20241221_all/ichikara-instruction-003-001-1.json'
 
+# JSON ファイルを開く
+with open(file_path, 'r', encoding='utf-8') as f:
+    data = json.load(f)
 
-## Model Examination [optional]
+# データの確認
+print(data)
 
-<!-- Relevant interpretability work for the model goes here -->
+"""
+学習に用いるデータセットの指定
+今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。
+Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。
+また、CC-BY-NC-SAですのでモデルはライセンスを継承する前提でお使いください。
 
-[More Information Needed]
+下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。
+今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開（!unzip など）し、データセットのパスを適切に指定してください。
+omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。
 
-## Environmental Impact
+https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日���語インストラクションデータ-公開/
+関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
 
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
+"""
+ichikara_file_pass = "/ICHIKARA｜Distribution20241221_all/ichikara-instruction-003-001-1.json"
 
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
+dataset = load_dataset("json", data_files=ichikara_file_pass)
+dataset
 
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
+# 学習時のプロンプトフォーマットの定義
+prompt = """### 指示
+{}
+### 回答
+{}"""
 
-## Technical Specifications [optional]
 
-### Model Architecture and Objective
+"""
+formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる
+"""
+EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン）
+def formatting_prompts_func(examples):
+    input = examples["text"] # 入力データ
+    output = examples["output"] # 出力データ
+    text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成
+    return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す
+pass
 
-[More Information Needed]
+# # 各データにフォーマットを適用
+dataset = dataset.map(
+    formatting_prompts_func,
+    num_proc= 4, # 並列処理数を指定
+)
 
-### Compute Infrastructure
+dataset
 
-[More Information Needed]
+# データを確認
+print(dataset["train"]["formatted_text"][3])
 
-#### Hardware
+# データをtrainデータとtestデータに分割 (test_sizeの比率に)
+# dataset = dataset["train"].train_test_split(test_size=0.1)
+# dataset
 
-[More Information Needed]
+"""
+training_arguments: 学習の設定
 
-#### Software
+  - output_dir:
+      -トレーニング後のモデルを保存するディレクトリ
 
-[More Information Needed]
+  - per_device_train_batch_size:
+      - デバイスごとのトレーニングバッチサイズ
 
-## Citation [optional]
+  - per_device_
+  _batch_size:
+      - デバイスごとの評価バッチサイズ
 
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
+  - gradient_accumulation_steps:
+      - 勾配を更新する前にステップを積み重ねる回数
 
-**BibTeX:**
+  - optim:
+      - オプティマイザの設定
 
-[More Information Needed]
+  - num_train_epochs:
+      - エポック数
 
-**APA:**
+  - eval_strategy:
+      - 評価の戦略 ("no"/"steps"/"epoch")
 
-[More Information Needed]
+  - eval_steps:
+      - eval_strategyが"steps"のとき、評価を行うstep間隔
 
-## Glossary [optional]
+  - logging_strategy:
+      - ログ記録の戦略
 
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
+  - logging_steps:
+      - ログを出力するステップ間隔
 
-[More Information Needed]
+  - warmup_steps:
+      - 学習率のウォームアップステップ数
 
-## More Information [optional]
+  - save_steps:
+      - モデルを保存するステップ間隔
+
+  - save_total_limit:
+      - 保存しておくcheckpointの数
+
+  - max_steps:
+      - トレーニングの最大ステップ数
+
+  - learning_rate:
+      - 学習率
+
+  - fp16:
+      - 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）
 
-[More Information Needed]
+  - bf16:
+      - BFloat16の使用設定
 
-## Model Card Authors [optional]
+  - group_by_length:
+      -  入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)
 
-[More Information Needed]
+  - report_to:
+      - ログの送信先 ("wandb"/"tensorboard"など)
+"""
+
+training_arguments = TrainingArguments(
+    output_dir=new_model_id,
+    per_device_train_batch_size=1,
+    gradient_accumulation_steps=2,
+    optim="paged_adamw_32bit",
+    num_train_epochs=1,
+    logging_strategy="steps",
+    logging_steps=10,
+    warmup_steps=10,
+    save_steps=100,
+    save_total_limit = 2,
+    max_steps = -1,
+    learning_rate=5e-5,
+    fp16=False,
+    bf16=False,
+    seed = 3407,
+    group_by_length=True,
+    report_to="none"
+)
+
+"""
+SFTTrainer: Supervised Fine-Tuningに関する設定
+
+  - model:
+      - 読み込んだベースのモデル
+
+  - train_dataset:
+      - トレーニングに使用するデータセット
 
-## Model Card Contact
+  - eval_dataset:
+      - ��価に使用するデータセット
+
+  - peft_config:
+      - PEFT（Parameter-Efficient Fine-Tuning）の設定（LoRAを利用する場合に指定）
+
+  - max_seq_length:
+      - モデルに入力されるシーケンスの最大トークン長
 
-[More Information Needed]
+  - dataset_text_field:
+      - データセット内の学習に使うテキストを含むフィールド名
+
+  - tokenizer:
+      - モデルに対応するトークナイザー
+
+  - args:
+      - トレーニングに使用するハイパーパラメータ（TrainingArgumentsの設定を指定）
+
+  - packing:
+      - 入力シーケンスのパッキングを行うかどうかの設定 (False に設定することで、各入力を独立して扱う)
+"""
+trainer = SFTTrainer(
+    model=model,
+    train_dataset=dataset["train"],
+    peft_config=peft_config,
+    max_seq_length= 512,
+    dataset_text_field="formatted_text",
+    tokenizer=tokenizer,
+    args=training_arguments,
+    packing= False,
+)
+
+model.config.use_cache = False # キャッシュ機能を無効化
+trainer.train() # トレーニングを実行
+
+# タスクとなるデータの読み込み。
+# omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
+import json
+
+elyza_file_pass = "/elyza-tasks-100-TV_0.jsonl"
+
+datasets = []
+with open(elyza_file_pass, "r") as f:
+    item = ""
+    for line in f:
+      line = line.strip()
+      item += line
+      if item.endswith("}"):
+        datasets.append(json.loads(item))
+        item = ""
+
+# モデルによるタスクの推論。
+from tqdm import tqdm
+
+results = []
+for data in tqdm(datasets):
+
+  input = data["input"]
+
+  prompt = f"""### 指示
+  {input}
+  ### 回答
+  """
+
+  tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
+  attention_mask = torch.ones_like(tokenized_input)
+
+  with torch.no_grad():
+      outputs = model.generate(
+          tokenized_input,
+          attention_mask=attention_mask,
+          max_new_tokens=100,
+          do_sample=False,
+          repetition_penalty=1.2,
+          pad_token_id=tokenizer.eos_token_id
+      )[0]
+  output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
+
+  results.append({"task_id": data["task_id"], "input": input, "output": output})
+
+# こちらで生成されたjsolを提出してください。
+# 本コードではinputとeval_aspectも含んでいますが、なくても問題ありません。
+# 必須なのはtask_idとoutputとなります。
+import re
+jsonl_id = re.sub(".*/", "", new_model_id)
+with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f:
+    for result in results:
+        json.dump(result, f, ensure_ascii=False)  # ensure_ascii=False for handling non-ASCII characters
+        f.write('\n')
+
+from google.colab import files
+files.download(f"./{jsonl_id}-outputs.jsonl")
+
+# モデルとトークナイザーをHugging Faceにアップロード
+model.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving
+tokenizer.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving
+
+"""https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/
+
+関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)
+"""
+
+```
+
+# データセット名: Ichikara Instruction
+ライセンス: CC-BY-NC-SA
+データセット申請：https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/