Model Card for llm-jp-3-13b-finetune

モデルの基本情報

• 開発者: 個人開発者
• モデルタイプ: LLM (Large Language Model)
• 使用言語: 日本語
• ライセンス: Apache 2.0
• ベースモデル: ELYZA-japanese-Llama-2-13b-instruct

トレーニングの詳細

使用したデータセット

• ichikara-instruction データセット
• データ形式: JSONL
• データ数: 約8,000サンプル

トレーニング手順

• LoRAによるファインチューニング
• エポック数: 1
• バッチサイズ: 1
• 勾配蓄積ステップ: 8

ハイパーパラメータ

learning_rate: 4e-5
warmup_steps: 50
max_steps: -1
save_steps: 50
logging_steps: 50

学習環境

• Google Colaboratory Pro+
• GPU: NVIDIA A100 (40GB)
• VRAM使用量: 約22GB

評価結果

テストデータ

• ichikara-instruction テストセット

評価指標

• Training Loss
• 最終的な損失値: 1.92台

パフォーマンス結果

• 学習時間: 約3時間
• イテレーション速度: 0.59 it/s

技術仕様

モデルアーキテクチャ

• ベース: Llama-2アーキテクチャ
• パラメータ数: 13B
• LoRAランク: 8

計算インフラ

• フレームワーク: PyTorch
• 量子化: BF16
• メモリ最適化: gradient_checkpointing

ハードウェア/ソフトウェア要件

• 最小GPU要求: 24GB VRAM
• Python 3.10
• transformers
• peft
• accelerate
• bitsandbytes

制限事項と注意点

• 長文生成時にメモリ使用量が増加する可能性がある
• プロンプトの最適化が必要