metadata

base_model: llm-jp/llm-jp-3-13b
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - llama
  - trl
license: apache-2.0
language:
  - en

Uploaded model

Developed by: SusumuDou
License: apache-2.0
How to use base model: unslothを使用し、事前学習したベースモデルを4bit量子化のqLoRA設定でロードしファインチューニング
Used dataset: https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/Distribution20241221_all/ichikara-instruction-003-001-1.json

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

ファインチューニングした本モデルを使用して推論するモデルとトークナイザを読み出すコードの例を以下に示します。 from unsloth import FastLanguageModel model_name = "SusumuDou/llm-jp-3-13b-finetune-2"

max_seq_length = 2048 dtype = None load_in_4bit = True

model, tokenizer = FastLanguageModel.from_pretrained( model_name = model_name, max_seq_length = max_seq_length, dtype = dtype, load_in_4bit = load_in_4bit, token = HF TOKEN, ) FastLanguageModel.for_inference(model)