Commit
•
8b5a2f3
1
Parent(s):
6c4fdf2
Update README_zh.md
Browse files- README_zh.md +1 -1
README_zh.md
CHANGED
|
@@ -60,7 +60,7 @@
|
|
| 60 |
|Embedding Tying | False |
|
| 61 |
|Position embedding | RoPE |
|
| 62 |
|seq_len | 8192 |
|
| 63 |
-
|Vocabulary Size |
|
| 64 |
|
| 65 |
- Orion-MoE8x7B训练超参
|
| 66 |
- 我们使用AdamW优化器将超参数设置为 𝛽1 = 0.9, 𝛽2 = 0.95，权重衰减为0.1。
|
|
|
|
| 60 |
|Embedding Tying | False |
|
| 61 |
|Position embedding | RoPE |
|
| 62 |
|seq_len | 8192 |
|
| 63 |
+
|Vocabulary Size | 113664 |
|
| 64 |
|
| 65 |
- Orion-MoE8x7B训练超参
|
| 66 |
- 我们使用AdamW优化器将超参数设置为 𝛽1 = 0.9, 𝛽2 = 0.95，权重衰减为0.1。
|