|
--- |
|
license: apache-2.0 |
|
--- |
|
# RWKV x060 6B JPN モデルカード |
|
|
|
## モデル概要 |
|
- **モデル名**: RWKV x060 6B JPN |
|
- **アーキテクチャ**: RWKV（Receptance Weighted Key Value） |
|
- **元モデル**: x060 7B JPN |
|
- **言語**: 日本語 |
|
|
|
## モデル仕様 |
|
- **パラメータ数**: 約6B（60億） |
|
- **レイヤー数**: 25層（元モデルの32層から7層プルーニング） |
|
- **次元数**: 4096次元 |
|
|
|
## 蒸留プロセス |
|
- **蒸留データセット**: 30,000ペアの蒸留データ |
|
- **学習方法**: 元モデルのLogitsからTop-k=100のみを採用 |
|
- **学習Epoch**: 2 |
|
- **トレーニング手法**: 可変LoRA（Low-Rank Adaptation） |
|
|
|
## モデル構造詳細 |
|
- **Embedding層**: 凍結 |
|
- **出力層（Head）**: 凍結 |
|
- **Layer 0**: フルパラメータ学習 |
|
- **Layer 1-24**: LoRA（Rank=128）による学習 |
|
|
|
## 特徴 |
|
- x060 7B JPNからの蒸留モデルであり、元のモデルの性能を維持しつつ、サイズを縮小 |
|
- プルーニングとLORAを組み合わせた効率的な学習手法を採用 |
|
- 日本語タスクに特化した調整 |
|
|
|
## 使用上の注意 |
|
- 日本語タスクに最適化されているため、他言語での性能は保証されません |
|
- モデルの出力は人間の監督下で使用し、適切に検証することをお勧めします |
|
|
|
## ライセンス |
|
[Apache2.0] |
|
|
|
## 引用 |
|
[RWKV x060 7B JPN] |
|
|
|
## 連絡先 |
|
[OpenMOSE] |
