|
--- |
|
base_model: llm-jp/llm-jp-3-13b |
|
tags: |
|
- text-generation-inference |
|
- transformers |
|
- unsloth |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
--- |
|
|
|
## 概要 |
|
llm-jp-3-13b のファインチューニングモデルです。 |
|
（本モデルは松尾研大規模言語モデル講座2024のコンペ用モデルとして作成したものとなります。） |
|
|
|
## 提出用ファイルの作成方法 |
|
提出用ファイルの作成方法は以下の通りです。 |
|
|
|
### 事前準備 |
|
事前準備は`推論対象となるファイル`の配置と`ライブラリのインストール`です。 |
|
|
|
#### ファイルの配置 |
|
`elyza-tasks-100-TV_0.jsonl`ファイルをコードを実行するディレクトリに配置してください。 |
|
|
|
#### 依存ライブラリのインストール |
|
ライブラリのインストールを行います。 |
|
|
|
```py |
|
# 依存ライブラリは次のとおりです。 |
|
# - unsloth |
|
# - tqdm |
|
# - torch |
|
|
|
# Google Colab で実行する場合は `unsloth` のみインストールしてください。 |
|
!pip install unsloth |
|
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" |
|
``` |
|
|
|
### ファイル生成 |
|
以下のコードでは、課題のタスク（`elyza-tasks-100-TV_0.jsonl`）から提出用ファイル（`llm-jp-3-13b-finetune-LoRA-241124_output.jsonl`）ファイルを出力します。 |
|
（なお、Colabでコードを実行する際はランタイムのタイプをL4に変更して行ってください。 |
|
|
|
```py |
|
# ライブラリのインポート |
|
from unsloth import FastLanguageModel |
|
from tqdm import tqdm # 進行状況を表示するためのライブラリ |
|
import torch |
|
import json |
|
|
|
# モデル名の指定 |
|
model_name = "codemafia0000/llm-jp-3-13b-finetune-LoRA-241124" |
|
# 提出用ファイル名 |
|
output_file_name = model_name.split('/')[-1] # モデル名のみ取得 |
|
output_file_name = f"{output_file_name}_output.jsonl" |
|
|
|
# Hugging Faceのアクセストークンを設定します。自身のトークンに置き換えてください。 |
|
HF_TOKEN = "YOUR_TOKEN" |
|
|
|
# モデルの設定 |
|
max_seq_length = 2048 # 入力シーケンスの最大長 |
|
dtype = None # データ型（デフォルト） |
|
load_in_4bit = True # 4ビット精度でモデルをロードし、メモリ使用量を削減 |
|
|
|
# モデルとトークナイザーをロードします |
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
model_name = model_name, |
|
max_seq_length = max_seq_length, |
|
dtype = dtype, |
|
load_in_4bit = load_in_4bit, |
|
token = HF_TOKEN, |
|
) |
|
|
|
# モデルを推論モードに設定 |
|
FastLanguageModel.for_inference(model) |
|
|
|
# タスクデータの読み込み |
|
datasets = [] |
|
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f: |
|
item = "" |
|
for line in f: |
|
line = line.strip() |
|
item += line |
|
if item.endswith("}"): |
|
datasets.append(json.loads(item)) |
|
item = "" |
|
|
|
# 結果を保存するリストを初期化 |
|
results = [] |
|
|
|
# 各タスクに対してモデルを実行 |
|
for dt in tqdm(datasets): |
|
input = dt["input"] |
|
|
|
# モデルへの入力プロンプトを作成します |
|
prompt = f"""### question\n{input}\n### answer\n""" |
|
|
|
# トークナイザーを使用してプロンプトをトークン化 |
|
inputs = tokenizer([prompt], return_tensors = "pt").to(model.device) |
|
|
|
# モデルを使用して応答を生成 |
|
outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2) |
|
|
|
# 生成されたトークンをデコードしてテキストに変換、不要な部分を削除 |
|
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### answer')[-1] |
|
|
|
# 結果をリストに追記 |
|
results.append({"task_id": dt["task_id"], "input": input, "output": prediction}) |
|
|
|
# 結果をJSONL形式で保存 |
|
with open(output_file_name, 'w', encoding='utf-8') as f: |
|
for result in results: |
|
json.dump(result, f, ensure_ascii=False) |
|
f.write('\n') |
|
|
|
# EOF |
|
``` |
|
|
|
以上が提出用ファイルの出力方法となります。 |
|
|
