MakeNoah/llm-jp-3-13b-magpie

Uploaded model

• Developed by: MakeNoah
• License: CC-BY-NC-SA 4.0
• Finetuned from model : llm-jp/llm-jp-3-13b This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

---

Model Card: Instruction-Tuned Base Model

Model Overview

• Model Name: llm-jp-3-13b-magpie
• Description: このモデルは、日本語ベースの大規模言語モデル（13B）llm-jp-3-13bを基に、magpie-datasetとichikara-datasetでFTを行ったものです
• Base Model: llm-jp-3-13b
• Fine-Tuning Objective: 指示文（instruction）に対する適切な応答（response）を生成する能力を向上させるための微調整。

---

Datasets

• Training Dataset:
  • データセット名:ichikara-instruction
  • データセット名:llm-jp/magpie-sft-v1.0

---

Training Configuration

• Hardware:
  • GPU: RTX 24GB（1枚）
• Hyperparameters:
  • per_device_train_batch_size: 1
  • gradient_accumulation_steps: 4
  • num_train_epochs: 1
  • learning_rate: 5.0e-5
  • fp16: 使用
  • bf16: 使用（ハードウェアでサポートされる場合）
  • max_seq_length: 512

---

Fine-Tuning Process

1. データのロード:
   • ichikara-instruction-003-001-1.jsonをロードし、textとoutputを使用してプロンプト形式に変換。
   • llm-jp/magpie-sft-v1.0も同様の方法でマージ
2. モデル準備:
   • ベースモデル: llm-jp-3-13b。
   • LoRAアダプタを適用:
     • Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj。
     • LoRA Hyperparameters:
       • r=36
       • lora_alpha=16
       • lora_dropout=0.1
3. トレーニング設定:
   • 各データを512トークンでトークナイズ。
   • 勾配累積（4ステップ）を利用して効果的なバッチサイズを確保。
4. トレーニング実行:

---

推論方法

学習、推論に使用したコードは以下のコマンドで取得できます。

cd ~
git clone https://github.com/MakeNoah/LLM_TuneCode.git

推論は以下の方法で行ってください。

cd ~/LLM_TuneCode/01_推論用
python inference.py

---