Model Card for Model ID

Model Details

Model Description

llm-jp-3-13b-finetune_jssei_00 は、LLM-JP-3-13b モデルを基に、日本語のインストラクションデータセットを用いて微調整された大規模言語モデル（LLM）です。このモデルは主に、指示に基づく応答生成タスクに最適化されています。

本モデルのトレーニングには、PEFT（LoRA）を用いた効率的な微調整を適用しており、メモリ使用量を抑えつつ、高いパフォーマンスを発揮します。

llm-jp-3-13b https://huggingface.co/llm-jp/llm-jp-3-13b

This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.

Developed by: Kazunari Iwanaga
Model type: Causal Language Model (Causal LM)
Language(s) (NLP): Japanese
License: CC-BY-NC-SA (商用NG)
Finetuned from model: llm-jp-3-13b

Uses

Direct Use

日本語の指示に基づく応答生成。
チャットボットやタスク指向型の自然言語応答システムでの利用。

Out-of-Scope Use

商用目的での使用は禁止されています。（CC-BY-NC-SA ライセンスに準拠）

Bias, Risks, and Limitations

Recommendations

本モデルは、日本語での指示応答に特化しているため、他の言語や文化的な文脈では性能が低下する可能性があります。また、トレーニングデータが日本語の指示応答データセットに限定されているため、特定のドメイン外での利用には注意が必要です。

How to Get Started with the Model

以下のコードを使用して、このモデルを活用できます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("llm-jp-3-13b-finetune_jssei_00")
model = AutoModelForCausalLM.from_pretrained("llm-jp-3-13b-finetune_jssei_00")

# 入力プロンプト
prompt = """### 指示
このモデルはどのように動作しますか？
### 回答
"""
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Training Details

Training Data

データセット: Ichikara Instruction CC-BY-NC-SA ライセンスで提供されており、日本語の指示応答ペアから構成されています。詳細は、以下をご参照ください。データセット提供元の許諾がない限り、商用利用はできません。
https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/
https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A6-3.pdf

[More Information Needed]

Training Procedure

ベースモデル: LLM-JP-3-13b
微調整方法: PEFT (LoRA)
LoRA ランク: 16
LoRA スケール: 32
LoRA ドロップアウト: 0.05
量子化: 4-bit (NF4)
最大トークン長: 512
デバイスマップ: 自動割り当て

Training Hyperparameters

Training regime:
学習率: 5e-5
バッチサイズ: 1
エポック数: 1
勾配累積ステップ: 2
オプティマイザ: PagedAdamW
チェックポイント保存間隔: 100 ステップ

Evaluation

本モデルは主にトレーニングデータセット上で評価されており、未知のタスクやドメインでは応答の品質が低下する場合があります。利用時には生成結果を適宜確認してください。

License

ベースモデルであるllm-jp-3-13bは、Apache License 2.0で配布されています。ただし、この微調整されたモデルは、CC-BY-NC-SA でライセンスされている Ichikara Instruction データセットを使用して学習されたため、この微調整されたモデルも CC-BY-NC-SA ライセンスで配布されています。

Base model license: Apache License 2.0
Fine-tuned model license: CC-BY-NC-SA
Commercial use: Prohibited

Contribution

このモデルは、Omnicampus の提供する環境を活用して開発されました。
東京大学松尾岩澤研監修のLLM応用講座2024の課題を目的に作成したものです。https://weblab.t.u-tokyo.ac.jp/lecture/course-list/large-language-model/

jssei
/

llm-jp-3-13b-finetune_jssei_00