---
base_model: llm-jp/llm-jp-3-13b
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
license: apache-2.0
language:
- en
---

# Model Card for Model ID
usui2024/llm-jp-3-13b-dpo_w_100usud

<!-- Provide a quick summary of what the model is/does. -->

# LLM-JP モデルのFine-Tuning と DPOの学習

## 概要
このプロジェクトでは、LLM-JPモデルをFine-Tuningし、DPO（Direct Preference Optimization）学習を用いてタスク生成と応答生成を行う方法を説明します。データセットは、ELYZAタスクを参考にしたものを用いて、新たなタスク生成を行います。このプロジェクトは、主に自然言語処理タスクにおけるトレーニングデータの自動生成に役立ちます。

## 利用方法
1. モデルをロード後、タスク生成を開始します。
    - `datasets` モジュールを用いて、`ELYZA-tasks-100`からタスクを取得します。
    - モデルを使ってタスクに基づいた新しいタスク生成を行います。
    - 出力されたタスクを用いて、さらにモデルによる応答生成を行います。

2. DPO（Direct Preference Optimization）学習:
    - 生成されたタスクと応答を使い、DPO学習を行います。
    - トレーニングのための設定は、`DPOTrainer`を用いて行います。
    ```python
    from trl import DPOTrainer
    trainer = DPOTrainer(model, args, train_dataset=dpo_datasets)
    trainer.train()
    ```

3. トレーニングが完了したモデルを使用して、タスクに基づく推論を行います。

## モデルの詳細
- **Developed by:**　usui2040
- モデル名: **LLM-JP**
- ベースモデル: **llm-jp-3-13b**
- ファインチューニング方法: **LoRA**（Low-Rank Adaptation）
- 学習タスク: **タスク生成、応答生成**
- 利用されるアルゴリズム: **DPO (Direct Preference Optimization)**
- トークナイザー: **AutoTokenizer**（Hugging Face提供）
- 出力形式: **テキスト生成**
- 
This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)



モデルは、日本語を対象とした大規模なトランスフォーマーモデルです。タスクに基づいたテキスト生成や応答生成が可能で、生成タスクを指定することで柔軟に動作します。


## モデルの設定とトレーニング
Hugging Face上でモデルをトレーニングし、評価・出力を行う方法を説明します。

### 必要なライブラリのインストール
```python
pip install -U ipywidgets
pip install transformers==4.46.3
pip install -U bitsandbytes
pip install -U accelerate
pip install -U datasets
pip install -U peft==0.13.2
pip install -U trl==0.12.1
```


### モデルの設定とトレーニング
使用するベースモデルを指定して、それを読み込みます。ここでは、llm-jp-3-13bというモデルを使用しています。
```python
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig
)
from peft import PeftModel

# モデル設定
base_model_id = "llm-jp/llm-jp-3-13b"  # モデルのIDまたはパスを指定
adapter_id = "usui2024/20241211_w_llm-jp-3-13b-it_lora"  # LoRAアダプターID

# QLoRAの設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

# モデルとトークナイザーのロード
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,
    device_map="auto",
    token=HF_TOKEN  # HF_TOKENはHugging Faceのアクセストークン
)
tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True, token=HF_TOKEN)

# LoRAアダプターを統合
model = PeftModel.from_pretrained(model, adapter_id, token=HF_TOKEN)

```
### 合成データの生成
次に、モデルを使って合成データを生成します。以下では、ELYZA-tasks-100のデータを使用して新しいタスクを生成し、それに対するモデルの回答を作成します。

```python
from datasets import load_dataset
from tqdm import tqdm

# データセットの読み込み
datasets = load_dataset("elyza/ELYZA-tasks-100")

task_results = []

# タスクの生成
for ref_input in tqdm(datasets['test']['input']):
    prompt = f"""以下に示す参考タスクに従って、類似したタスクを生成しなさい。
    ## 参考タスク
    仕事の熱意を取り戻すためのアイデアを5つ挙げてください。
    ## 類似タスク
    試合に挑む心構えを3つほど挙げてください。
    ## 参考タスク
    {ref_input}
    ## 類似タスク
    """

    tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
    attention_mask = torch.ones_like(tokenized_input)

    with torch.no_grad():
        outputs = model.generate(
            tokenized_input,
            attention_mask=attention_mask,
            max_new_tokens=100,
            num_return_sequences=3,  # 同じタスクから3つの新タスクを生成
            do_sample=True,
            temperature=0.6,
            top_p=0.9,
            repetition_penalty=1.2,
            pad_token_id=tokenizer.eos_token_id
        )

    output_texts = [tokenizer.decode(output[tokenized_input.size(1):], skip_special_tokens=True) for output in outputs]

    new_task = {"reference_task": ref_input}
    new_task.update({f"similar_task_{i}": output_text for i, output_text in enumerate(output_texts)})
    task_results.append(new_task)

df = pd.DataFrame(task_results)
df.head()
```


### DPO (Differentiable Prompt Optimization) の学習
DPOを使って、生成したタスクと回答のペアに基づいてモデルをトレーニングします。
```python
from trl import DPOConfig, DPOTrainer
from datasets import Dataset
import torch

# DPO用のデータセットを準備
dpo_datasets = Dataset.from_list(dpo_datasets)

# DPOの設定
training_args = DPOConfig(
    output_dir=new_model_id,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    num_train_epochs=2,
    logging_steps=10,
    save_steps=100,
    save_total_limit=1,
    learning_rate=1.5e-4,
    fp16=True,
)

# DPOトレーナーの設定
dpo_trainer = DPOTrainer(
    model,
    args=training_args,
    train_dataset=dpo_datasets,
    tokenizer=tokenizer,
    peft_config=peft_config,
)

# 学習の実行
dpo_trainer.train()
```

### モデルの推論
最後に、モデルにタスクを入力し、その結果を得るための推論コードを提供します。
```python


# データセットの読み込み。
datasets = []
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f:
    item = ""
    for line in f:
      line = line.strip()
      item += line
      if item.endswith("}"):
        datasets.append(json.loads(item))
        item = ""

task_results = []
outputs_results = []

for task in tqdm(dataset):
    prompt = f"### 指示:\n{task}\n### 回答:\n"
    tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
    attention_mask = torch.ones_like(tokenized_input)

    with torch.no_grad():
        outputs = model.generate(
            tokenized_input,
            attention_mask=attention_mask,
            max_new_tokens=512,
            num_return_sequences=3,  # 最低でも2個の出力を生成
            do_sample=True,
            temperature=0.6,
            top_p=0.9,
            repetition_penalty=1.2,
            pad_token_id=tokenizer.eos_token_id
        )

    output_texts = [tokenizer.decode(output[tokenized_input.size(1):], skip_special_tokens=True) for output in outputs]
    outputs_results.append(output_texts)

# 結果の表示
for result in outputs_results:
    print(result)

```