update

README.md

@@ -13,16 +13,19 @@ language:
 ---
 
 # 推論用コード
+
 Hugging Faceにアップロードしたモデルを用いてELYZA-tasks-100-TVの出力を得るためのコードです。 
 このコードで生成されたjsonlファイルは課題の成果として提出可能なフォーマットになっております。
 
-```
+## セットアップ
+
+```python
 !pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
 !pip install -U xformers --index-url https://download.pytorch.org/whl/cu124
 !pip install --no-deps "trl<0.9.0" peft accelerate bitsandbytes
 ```
 
-```
+```python
 !pip uninstall unsloth -y
 !pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
 # Google Colab のデフォルトで入っているパッケージをアップグレード
@@ -30,18 +33,21 @@ Hugging Faceにアップロードしたモデルを用いてELYZA-tasks-100-TV
 !pip install --upgrade xformers
 ```
 
-```
+```python
 # Install Flash Attention 2 for softcapping support
 import torch
 if torch.cuda.get_device_capability()[0] >= 8:
     !pip install --no-deps packaging ninja einops "flash-attn>=2.6.3"
 ```
 
-```
+write権限のあるtokenを入力する
+```python
 HF_TOKEN = "your_token" #@param {type:"string"}
 ```
 
-```
+## モデル・トークナイザの読み込み
+
+```python
 # llm-jp/llm-jp-3-13bを4bit量子化のqLoRA設定でロード。
 
 from unsloth import FastLanguageModel
@@ -77,13 +83,13 @@ model = FastLanguageModel.get_peft_model(
 )
 ```
 
-```
+```python
 from datasets import load_dataset
 
 dataset = load_dataset("json", data_files="./ichikara-instruction-003-001-1.json")
 ```
 
-```
+```python
 # 学習時のプロンプトフォーマットの定義
 prompt = """### 指示
 {}
@@ -109,14 +115,12 @@ dataset = dataset.map(
 )
 
 dataset
-```
 
-```
 # データを確認
 print(dataset["train"]["formatted_text"][3])
 ```
 
-```
+```python
 """
 training_arguments: 学習の設定
 
@@ -208,7 +212,7 @@ trainer = SFTTrainer(
 )
 ```
 
-```
+```python
 #@title 現在のメモリ使用量を表示
 gpu_stats = torch.cuda.get_device_properties(0)
 start_gpu_memory = round(torch.cuda.max_memory_reserved() / 1024 / 1024 / 1024, 3)
@@ -217,12 +221,13 @@ print(f"GPU = {gpu_stats.name}. Max memory = {max_memory} GB.")
 print(f"{start_gpu_memory} GB of memory reserved.")
 ```
 
-```
+```python
 #@title 学習実行
 trainer_stats = trainer.train()
 ```
 
-```
+## 入力データの準備
+```python
 # ELYZA-tasks-100-TVの読み込み。事前にファイルをアップロードしてください
 # データセットの読み込み。
 # omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。
@@ -238,7 +243,9 @@ with open("/content//elyza-tasks-100-TV_0.jsonl", "r") as f:
         item = ""
 ```
 
-```
+### 推論実行
+
+```python
 # 学習したモデルを用いてタスクを実行
 from tqdm import tqdm
 
@@ -259,16 +266,15 @@ for dt in tqdm(datasets):
   results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
 ```
 
-```
+## モデルの保存
+
+```python
 # jsonlで保存
 with open(f"{new_model_id}_output.jsonl", 'w', encoding='utf-8') as f:
     for result in results:
         json.dump(result, f, ensure_ascii=False)
         f.write('\n')```
 
-```
-
-```
 # LoRAアダプタだけ保存
 model.push_to_hub_merged(
     new_model_id+"_lora",