Create README.md
Browse files该模型基于bert-base-multilingual-cased,使用[TextPruner](https://github.com/airaria/TextPruner)对词表进行裁剪,保留iwslt14德英数据集,用于测试bert-fused的翻译效果。
并且在iwslt14德英数据集上使用全词掩码wwm微调,数据的拼接方式是: de, en, de[sep]en, en[sep]de。
README.md
ADDED
@@ -0,0 +1,22 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
# For reference on model card metadata, see the spec: https://github.com/huggingface/hub-docs/blob/main/modelcard.md?plain=1
|
3 |
+
# Doc / guide: https://huggingface.co/docs/hub/model-cards
|
4 |
+
{}
|
5 |
+
---
|
6 |
+
|
7 |
+
# mbert_trim_ende_wwm
|
8 |
+
<!-- Provide a quick summary of what the model is/does. -->
|
9 |
+
|
10 |
+
该模型基于bert-base-multilingual-cased,使用[TextPruner](https://github.com/airaria/TextPruner)对词表进行裁剪,保留iwslt14德英数据集,用于测试bert-fused的翻译效果。
|
11 |
+
并且在iwslt14德英数据集上使用全词掩码wwm微调,数据的拼接方式是: de, en, de[sep]en, en[sep]de。
|
12 |
+
|
13 |
+
|
14 |
+
## Model Details
|
15 |
+
|
16 |
+
lang:德英
|
17 |
+
|
18 |
+
vocab_size: 119547 -> 21443
|
19 |
+
|
20 |
+
model_size: 682M -> 392M
|
21 |
+
|
22 |
+
iwslt14 de_en BLEU: ?
|