Thacio Garcia Scandaroli commited on
Commit
8a51372
1 Parent(s): cf065a5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -0
README.md CHANGED
@@ -33,6 +33,17 @@ ULT5-pt é um modelo de arquitetura T5-v1.1 treinado com o framework UL2 - [Unif
33
  - **Language(s) (NLP):** Português
34
  - **License:** MIT
35
 
 
 
 
 
 
 
 
 
 
 
 
36
 
37
  ## Pretraining and model characteristics
38
 
 
33
  - **Language(s) (NLP):** Português
34
  - **License:** MIT
35
 
36
+ ## Fine-tunning
37
+
38
+ Alguns datasets possuem melhor desempenho com o dropout desligado. Para carregar sem dropout, use o código:
39
+
40
+ *Some datasets work better with without dropout. To load the model without dropout:*
41
+
42
+ ```python
43
+ from transformers import AutoModelForSeq2SeqLM
44
+
45
+ model = AutoModelForSeq2SeqLM.from_pretrained("thacio/ult5-pt-small",dropout_rate=0.0)
46
+ ```
47
 
48
  ## Pretraining and model characteristics
49