Thacio Garcia Scandaroli
commited on
Commit
•
1cc898c
1
Parent(s):
f697341
Update README.md
Browse files
README.md
CHANGED
@@ -25,6 +25,11 @@ ULT5-pt é um modelo de arquitetura T5-v1.1 treinado com o framework UL2 - [Unif
|
|
25 |
- **Language(s) (NLP):** Português
|
26 |
- **License:** MIT
|
27 |
|
|
|
|
|
|
|
|
|
|
|
28 |
## Pré-treino e especificidades do modelo
|
29 |
|
30 |
O modelo foi treinado com uma parte do corpus C4 em português utilizando o UL2 (https://huggingface.co/google/ul2), utilizando *R-Denoising*, *S-Denoising* e *X-Denoising*, e com dropout 0.0.
|
@@ -38,6 +43,8 @@ Utilizou-se uma janela de contexto para 1024 tokens e um tokenizador do GPT2 com
|
|
38 |
|
39 |
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
|
40 |
|
|
|
|
|
41 |
### Direct Use
|
42 |
|
43 |
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
|
|
|
25 |
- **Language(s) (NLP):** Português
|
26 |
- **License:** MIT
|
27 |
|
28 |
+
| Model | Parameters |
|
29 |
+
| :-: | :-: |
|
30 |
+
| [thacio/ult5-pt-small](https://huggingface.co/thacio/ult5-pt-small) | 82.4M |
|
31 |
+
|
32 |
+
|
33 |
## Pré-treino e especificidades do modelo
|
34 |
|
35 |
O modelo foi treinado com uma parte do corpus C4 em português utilizando o UL2 (https://huggingface.co/google/ul2), utilizando *R-Denoising*, *S-Denoising* e *X-Denoising*, e com dropout 0.0.
|
|
|
43 |
|
44 |
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
|
45 |
|
46 |
+
|
47 |
+
|
48 |
### Direct Use
|
49 |
|
50 |
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
|