Commit
·
734f349
1
Parent(s):
b5553a3
Update README.md
Browse files
README.md
CHANGED
|
@@ -57,6 +57,9 @@ tags:
|
|
| 57 |
|
| 58 |
```
|
| 59 |
**原始llama2词表大小32000，与40k训练的中文分词模型合并之后词表大小为68419，sft添加pad字符之后大小为68420**
|
|
|
|
|
|
|
|
|
|
| 60 |
## 🚀step2：二次预训练
|
| 61 |
|
| 62 |
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练，目前训练语料20GB，后续继续迭代更新
|
|
|
|
| 57 |
|
| 58 |
```
|
| 59 |
**原始llama2词表大小32000，与40k训练的中文分词模型合并之后词表大小为68419，sft添加pad字符之后大小为68420**
|
| 60 |
+
|
| 61 |
+
|
| 62 |
+
|
| 63 |
## 🚀step2：二次预训练
|
| 64 |
|
| 65 |
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练，目前训练语料20GB，后续继续迭代更新
|