Update README.md
Browse files
README.md
CHANGED
@@ -8,6 +8,7 @@ widget:
|
|
8 |
- text: "今天[MASK]很好,我想去公园玩!"
|
9 |
---
|
10 |
## 介绍
|
|
|
11 |
### tf版本
|
12 |
https://github.com/ZhuiyiTechnology/roformer
|
13 |
|
@@ -34,7 +35,8 @@ for i, id in enumerate(tokenizer.encode(text)):
|
|
34 |
pt_outputs_sentence += "".join(
|
35 |
tokenizer.convert_ids_to_tokens([id], skip_special_tokens=True))
|
36 |
print(pt_outputs_sentence)
|
37 |
-
# pytorch: 今天[
|
|
|
38 |
```
|
39 |
|
40 |
## 引用
|
|
|
8 |
- text: "今天[MASK]很好,我想去公园玩!"
|
9 |
---
|
10 |
## 介绍
|
11 |
+
在13g的cluecorpussmall数据集上进行的预训练,使用了`Whole Mask LM` 和 `SOP` 任务
|
12 |
### tf版本
|
13 |
https://github.com/ZhuiyiTechnology/roformer
|
14 |
|
|
|
35 |
pt_outputs_sentence += "".join(
|
36 |
tokenizer.convert_ids_to_tokens([id], skip_special_tokens=True))
|
37 |
print(pt_outputs_sentence)
|
38 |
+
# pytorch: 今天[天||人||气||阳||雨]很好,我[想||就||要||也||还]去公园玩。
|
39 |
+
|
40 |
```
|
41 |
|
42 |
## 引用
|