README.md

---
base_model: llm-jp/llm-jp-3-13b
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
license: apache-2.0
language:
- en
---

# Uploaded  model

- **Developed by:** SusumuDou
- **License:** apache-2.0
- **How to use base model:** unslothを使用し、事前学習したベースモデルを4bit量子化のqLoRA設定でロードしファインチューニング
- **Used dataset:** https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/Distribution20241221_all/ichikara-instruction-003-001-1.json

This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)

ファインチューニングした本モデルを使用して推論するモデルとトークナイザを読み出すコードの例を以下に示します。
from unsloth import FastLanguageModel
model_name = "SusumuDou/llm-jp-3-13b-finetune-2"

max_seq_length = 2048
dtype = None
load_in_4bit = True

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    token = HF TOKEN,
)
FastLanguageModel.for_inference(model)