Update README.md
Browse files
README.md
CHANGED
|
@@ -12,4 +12,15 @@ license: unlicense
|
|
| 12 |
## 加入我们
|
| 13 |
|
| 14 |
* QQ群：766121889
|
| 15 |
-
* Discord： https://discord.gg/68GtKQ3v3K
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 12 |
## 加入我们
|
| 13 |
|
| 14 |
* QQ群：766121889
|
| 15 |
+
* Discord： https://discord.gg/68GtKQ3v3K
|
| 16 |
+
|
| 17 |
+
## 现有模型检查点介绍
|
| 18 |
+
|
| 19 |
+
### 纯Gal语料微调模型
|
| 20 |
+
|
| 21 |
+
* **rwkv-chatgal-v1-3B** 试验性早期模型，基于[RWKV-Novel-3B-v1-Chn](https://huggingface.co/BlinkDL/rwkv-4-novel/blob/main/RWKV-4-Novel-3B-v1-ChnEng-20230412-ctx4096.pth)
|
| 22 |
+
* 共训练了21000步，训练文本长度4096，batchsize4，梯度累积4
|
| 23 |
+
* **rwkv-chatgal-v2-7B** 基于[RWKV-Raven-7B-v10x](https://huggingface.co/BlinkDL/rwkv-4-raven/blob/main/RWKV-4-Raven-7B-v10x-Eng49%25-Chn50%25-Other1%25-20230423-ctx4096.pth)
|
| 24 |
+
* 共训练了14000步，训练文本长度4096，batchsize8，数据并行4卡。以lora的方式训练，rank为16，alpha32。
|
| 25 |
+
* 仓库中放出了[合并权重loramerge](https://huggingface.co/Synthia/ChatGalRWKV/blob/main/rwkv-loramerge-0426-v2-4096-epoch11.pth)和[纯lora权重](https://huggingface.co/Synthia/ChatGalRWKV/blob/main/rwkv-raven7bv10x-lora-0426-v2-4096-epoch13.pth)。
|
| 26 |
+
* 使用纯lora权重时，需要使用正确的底模自行合并。
|