概要
llm-jp-3-13b のファインチューニングモデルです。
(本モデルは松尾研大規模言語モデル講座2024のコンペ用モデルとして作成したものとなります。)
提出用ファイルの作成方法
提出用ファイルの作成方法は以下の通りです。
事前準備
事前準備は推論対象となるファイル
の配置とライブラリのインストール
です。
ファイルの配置
elyza-tasks-100-TV_0.jsonl
ファイルをコードを実行するディレクトリに配置してください。
依存ライブラリのインストール
ライブラリのインストールを行います。
# 依存ライブラリは次のとおりです。
# - unsloth
# - tqdm
# - torch
# Google Colab で実行する場合は `unsloth` のみインストールしてください。
!pip install unsloth
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
ファイル生成
以下のコードでは、課題のタスク(elyza-tasks-100-TV_0.jsonl
)から提出用ファイル(llm-jp-3-13b-finetune-LoRA-241124_output.jsonl
)ファイルを出力します。
(なお、Colabでコードを実行する際はランタイムのタイプをL4に変更して行ってください。
# ライブラリのインポート
from unsloth import FastLanguageModel
from tqdm import tqdm # 進行状況を表示するためのライブラリ
import torch
import json
# モデル名の指定
model_name = "codemafia0000/llm-jp-3-13b-finetune-LoRA-241124"
# 提出用ファイル名
output_file_name = model_name.split('/')[-1] # モデル名のみ取得
output_file_name = f"{output_file_name}_output.jsonl"
# Hugging Faceのアクセストークンを設定します。自身のトークンに置き換えてください。
HF_TOKEN = "YOUR_TOKEN"
# モデルの設定
max_seq_length = 2048 # 入力シーケンスの最大長
dtype = None # データ型(デフォルト)
load_in_4bit = True # 4ビット精度でモデルをロードし、メモリ使用量を削減
# モデルとトークナイザーをロードします
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = model_name,
max_seq_length = max_seq_length,
dtype = dtype,
load_in_4bit = load_in_4bit,
token = HF_TOKEN,
)
# モデルを推論モードに設定
FastLanguageModel.for_inference(model)
# タスクデータの読み込み
datasets = []
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
item = ""
for line in f:
line = line.strip()
item += line
if item.endswith("}"):
datasets.append(json.loads(item))
item = ""
# 結果を保存するリストを初期化
results = []
# 各タスクに対してモデルを実行
for dt in tqdm(datasets):
input = dt["input"]
# モデルへの入力プロンプトを作成します
prompt = f"""### question\n{input}\n### answer\n"""
# トークナイザーを使用してプロンプトをトークン化
inputs = tokenizer([prompt], return_tensors = "pt").to(model.device)
# モデルを使用して応答を生成
outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2)
# 生成されたトークンをデコードしてテキストに変換、不要な部分を削除
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### answer')[-1]
# 結果をリストに追記
results.append({"task_id": dt["task_id"], "input": input, "output": prediction})
# 結果をJSONL形式で保存
with open(output_file_name, 'w', encoding='utf-8') as f:
for result in results:
json.dump(result, f, ensure_ascii=False)
f.write('\n')
# EOF
以上が提出用ファイルの出力方法となります。
Model tree for codemafia0000/llm-jp-3-13b-finetune-LoRA-241124
Base model
llm-jp/llm-jp-3-13b