---
license: apache-2.0
---
# RWKV-x060-7B-Rosebleu Model Card

## モデル概要
- **モデル名**: RWKV-x060-7B-Rosebleu
- **アーキテクチャ**: RWKV x060 "Finch"
- **ベースモデル**: RWKV x060-7B JPN
- **モデル構造**: 32 Layer, 4096 Dimension
- **パラメータ数**: 7.6B (76億)
- **ファインチューニング手法**: LoRA(r=16), Emb frozen, Head LoRA(r=16) NF4量子化
- **LoRAマージ手法**:非量子化モデルに対し、LoRAをマージ
- **学習コンテキストサイズ**: 可変ウインドウ最大131k（平均40ｋ）

## 特徴
- RWKV-LM-RLHF Infctx モードによる拡大学習コンテキスト
- SFTLossとKLLossのハイブリッド学習による過学習抑制を目指しています。
- キャラクターごとの会話履歴を考慮した学習
- ロールプレイチャット学習を重点的に行ったモデルになります。

## データセット
- 使用データセット: open_contents_datasetsの(c)Rosebleu様のデータセット
- データ処理: キャラクターごとの会話並び替えと会話履歴ごとの1Pair生成
- Topk100のLogitsデータセットを作成（70GBほど）
- 処理後のトータルデータセット数300000Pair

## 使用方法
- システムプロンプトにキャラクター情報を入力することでキャラクターになりきり可能？
- システムプロンプトなしの場合は素モデルに近い挙動をします
- 推奨推論パラメータはTemperature=1.0 top-p=0.5です

## 技術的詳細
- 自己蒸留LogitsをLossに加えることでSFTLossとKLLossのバランスを調整
- ハイパーパラメータによるSFTデータセットの学習度と元のモデル維持度のトレードオフ制御
- LR 2e-5 to 1e-6, top-k=100 temperature=2.0 alpha=0.85
- Train Epoch 2

## 制限事項と注意点
- 実験的なモデルであり、性能や挙動が安定しない可能性があります。
- キャラクターのなりきり精度は入力されるシステムプロンプトに依存します。

## ライセンスと謝辞
- データセット:(c)Rosebleu様
- https://gitlab.com/open_contents_datasets/Rosebleu
- ライセンスはデータセットと同じです。