Update README.md

README.md

@@ -8,6 +8,7 @@ widget:
 - text: "今天[MASK]很好，我想去公园玩！"
 ---
 ## 介绍
+在13g的cluecorpussmall数据集上进行的预训练，使用了`Whole Mask LM` 和 `SOP` 任务
 ### tf版本 
 https://github.com/ZhuiyiTechnology/roformer
 
@@ -34,7 +35,8 @@ for i, id in enumerate(tokenizer.encode(text)):
         pt_outputs_sentence += "".join(
             tokenizer.convert_ids_to_tokens([id], skip_special_tokens=True))
 print(pt_outputs_sentence)
-# pytorch: 今天[天||气||都||风||人]很好，我[想||要||就||也||还]去公园玩。
+# pytorch: 今天[天||人||气||阳||雨]很好，我[想||就||要||也||还]去公园玩。
+
 ```
 
 ## 引用