Update README.md
Browse files
README.md
CHANGED
@@ -1,201 +1,154 @@
|
|
1 |
---
|
2 |
library_name: transformers
|
3 |
-
tags:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
---
|
5 |
|
6 |
-
#
|
7 |
|
8 |
-
|
|
|
|
|
9 |
|
10 |
|
|
|
|
|
11 |
|
12 |
-
|
13 |
|
14 |
-
###
|
|
|
|
|
15 |
|
16 |
-
|
|
|
|
|
17 |
|
18 |
-
|
|
|
|
|
|
|
19 |
|
20 |
-
|
21 |
-
|
22 |
-
|
23 |
-
|
24 |
-
- **Language(s) (NLP):** [More Information Needed]
|
25 |
-
- **License:** [More Information Needed]
|
26 |
-
- **Finetuned from model [optional]:** [More Information Needed]
|
27 |
|
28 |
-
|
29 |
|
30 |
-
|
|
|
31 |
|
32 |
-
|
33 |
-
|
34 |
-
- **Demo [optional]:** [More Information Needed]
|
35 |
|
36 |
-
|
37 |
|
38 |
-
|
|
|
39 |
|
40 |
-
|
41 |
|
42 |
-
|
|
|
|
|
43 |
|
44 |
-
|
45 |
|
46 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
47 |
|
48 |
-
|
|
|
|
|
|
|
|
|
49 |
|
50 |
-
|
51 |
|
52 |
-
|
53 |
|
54 |
-
|
|
|
55 |
|
56 |
-
[More Information Needed]
|
57 |
|
58 |
-
|
|
|
59 |
|
60 |
-
<!-- This section is meant to convey both technical and sociotechnical limitations. -->
|
61 |
|
62 |
-
|
63 |
|
64 |
-
### Recommendations
|
65 |
|
66 |
-
|
|
|
|
|
67 |
|
68 |
-
Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
|
69 |
|
70 |
-
|
71 |
|
72 |
-
Use the code below to get started with the model.
|
73 |
|
74 |
-
|
|
|
|
|
|
|
75 |
|
76 |
-
## Training Details
|
77 |
|
78 |
-
|
79 |
|
80 |
-
<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
|
81 |
|
82 |
-
|
|
|
|
|
|
|
83 |
|
84 |
-
### Training Procedure
|
85 |
|
86 |
-
|
87 |
|
88 |
-
#### Preprocessing [optional]
|
89 |
|
90 |
-
|
|
|
|
|
|
|
91 |
|
92 |
|
93 |
-
|
94 |
|
95 |
-
- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
|
96 |
|
97 |
-
|
|
|
98 |
|
99 |
-
|
100 |
|
101 |
-
[More Information Needed]
|
102 |
|
103 |
-
|
104 |
|
105 |
-
|
106 |
-
|
107 |
-
### Testing Data, Factors & Metrics
|
108 |
-
|
109 |
-
#### Testing Data
|
110 |
-
|
111 |
-
<!-- This should link to a Dataset Card if possible. -->
|
112 |
-
|
113 |
-
[More Information Needed]
|
114 |
-
|
115 |
-
#### Factors
|
116 |
-
|
117 |
-
<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
|
118 |
-
|
119 |
-
[More Information Needed]
|
120 |
-
|
121 |
-
#### Metrics
|
122 |
-
|
123 |
-
<!-- These are the evaluation metrics being used, ideally with a description of why. -->
|
124 |
-
|
125 |
-
[More Information Needed]
|
126 |
-
|
127 |
-
### Results
|
128 |
-
|
129 |
-
[More Information Needed]
|
130 |
-
|
131 |
-
#### Summary
|
132 |
-
|
133 |
-
|
134 |
-
|
135 |
-
## Model Examination [optional]
|
136 |
-
|
137 |
-
<!-- Relevant interpretability work for the model goes here -->
|
138 |
-
|
139 |
-
[More Information Needed]
|
140 |
-
|
141 |
-
## Environmental Impact
|
142 |
-
|
143 |
-
<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
|
144 |
-
|
145 |
-
Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
|
146 |
-
|
147 |
-
- **Hardware Type:** [More Information Needed]
|
148 |
-
- **Hours used:** [More Information Needed]
|
149 |
-
- **Cloud Provider:** [More Information Needed]
|
150 |
-
- **Compute Region:** [More Information Needed]
|
151 |
-
- **Carbon Emitted:** [More Information Needed]
|
152 |
-
|
153 |
-
## Technical Specifications [optional]
|
154 |
-
|
155 |
-
### Model Architecture and Objective
|
156 |
-
|
157 |
-
[More Information Needed]
|
158 |
-
|
159 |
-
### Compute Infrastructure
|
160 |
-
|
161 |
-
[More Information Needed]
|
162 |
-
|
163 |
-
#### Hardware
|
164 |
-
|
165 |
-
[More Information Needed]
|
166 |
-
|
167 |
-
#### Software
|
168 |
-
|
169 |
-
[More Information Needed]
|
170 |
-
|
171 |
-
## Citation [optional]
|
172 |
-
|
173 |
-
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
|
174 |
-
|
175 |
-
**BibTeX:**
|
176 |
-
|
177 |
-
[More Information Needed]
|
178 |
-
|
179 |
-
**APA:**
|
180 |
-
|
181 |
-
[More Information Needed]
|
182 |
-
|
183 |
-
## Glossary [optional]
|
184 |
-
|
185 |
-
<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
|
186 |
-
|
187 |
-
[More Information Needed]
|
188 |
-
|
189 |
-
## More Information [optional]
|
190 |
-
|
191 |
-
[More Information Needed]
|
192 |
-
|
193 |
-
## Model Card Authors [optional]
|
194 |
-
|
195 |
-
[More Information Needed]
|
196 |
-
|
197 |
-
## Model Card Contact
|
198 |
-
|
199 |
-
[More Information Needed]
|
200 |
|
|
|
201 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
library_name: transformers
|
3 |
+
tags:
|
4 |
+
- Misral
|
5 |
+
- Portuguese
|
6 |
+
- 7b
|
7 |
+
- chat
|
8 |
+
- portugues
|
9 |
+
license: apache-2.0
|
10 |
+
base_model: mistralai/Mistral-7B-Instruct-v0.2
|
11 |
+
datasets:
|
12 |
+
- pablo-moreira/gpt4all-j-prompt-generations-pt
|
13 |
+
- rhaymison/superset
|
14 |
+
language:
|
15 |
+
- pt
|
16 |
+
pipeline_tag: text-generation
|
17 |
---
|
18 |
|
19 |
+
# Mistral-portuguese-luana-7b
|
20 |
|
21 |
+
<p align="center">
|
22 |
+
<img src="https://raw.githubusercontent.com/rhaymisonbetini/huggphotos/main/luana-chat.webp" alt="" width="50%" style="margin-left:'auto' margin-right:'auto' display:'block'"/>
|
23 |
+
</p>
|
24 |
|
25 |
|
26 |
+
This model was trained with a superset of 200,000 instructions in Portuguese.
|
27 |
+
The model comes to help fill the gap in models in Portuguese. Tuned from the Mistral 7b in Portuguese, the model was adjusted mainly for instructional tasks.
|
28 |
|
29 |
+
# How to use
|
30 |
|
31 |
+
### FULL MODEL : A100
|
32 |
+
### HALF MODEL: L4
|
33 |
+
### 8bit or 4bit : T4 or V100
|
34 |
|
35 |
+
You can use the model in its normal form up to 4-bit quantization. Below we will use both approaches.
|
36 |
+
Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response.
|
37 |
+
Important points like these help models (even smaller models like 7b) to perform much better.
|
38 |
|
39 |
+
```python
|
40 |
+
!pip install -q -U transformers
|
41 |
+
!pip install -q -U accelerate
|
42 |
+
!pip install -q -U bitsandbytes
|
43 |
|
44 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
|
45 |
+
model = AutoModelForCausalLM.from_pretrained("rhaymison/Mistral-portuguese-luana-7b-chat", device_map= {"": 0})
|
46 |
+
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Mistral-portuguese-luana-7b-chat")
|
47 |
+
model.eval()
|
|
|
|
|
|
|
48 |
|
49 |
+
```
|
50 |
|
51 |
+
You can use with Pipeline but in this example i will use such as Streaming
|
52 |
+
```python
|
53 |
|
54 |
+
inputs = tokenizer([f"""<s>[INST] Estou pensando em levar minha esposa e meu gatinha para fazer algo diferente. Você teria alguma coisa em mente ?.
|
55 |
+
[/INST]"""], return_tensors="pt")
|
|
|
56 |
|
57 |
+
inputs.to(model.device)
|
58 |
|
59 |
+
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
|
60 |
+
_ = model.generate(**inputs, streamer=streamer, max_new_tokens=128)
|
61 |
|
62 |
+
```
|
63 |
|
64 |
+
If you are having a memory problem such as "CUDA Out of memory", you should use 4-bit or 8-bit quantization.
|
65 |
+
For the complete model in colab you will need the A100.
|
66 |
+
If you want to use 4bits or 8bits, T4 or L4 will already solve the problem.
|
67 |
|
68 |
+
# 4bits example
|
69 |
|
70 |
+
```python
|
71 |
+
from transformers import BitsAndBytesConfig
|
72 |
+
import torch
|
73 |
+
nb_4bit_config = BitsAndBytesConfig(
|
74 |
+
load_in_4bit=True,
|
75 |
+
bnb_4bit_quant_type="nf4",
|
76 |
+
bnb_4bit_compute_dtype=torch.bfloat16,
|
77 |
+
bnb_4bit_use_double_quant=True
|
78 |
+
)
|
79 |
|
80 |
+
model = AutoModelForCausalLM.from_pretrained(
|
81 |
+
base_model,
|
82 |
+
quantization_config=bnb_config,
|
83 |
+
device_map={"": 0}
|
84 |
+
)
|
85 |
|
86 |
+
```
|
87 |
|
88 |
+
# LangChain
|
89 |
|
90 |
+
```python
|
91 |
+
Human: Ola Luana, estou precisando de umas dicas para o final de semana. Poderia me ajudar ?
|
92 |
|
|
|
93 |
|
94 |
+
Luana:
|
95 |
+
Olá! Claro, ficarei feliz em ajudá-lo. O que você tem em mente para o final de semana?
|
96 |
|
|
|
97 |
|
98 |
+
Human: Estou pensando em levar minha esposa e meu gatinha para fazer algo diferente. Você teria alguma coisa em mente ?
|
99 |
|
|
|
100 |
|
101 |
+
Luana:
|
102 |
+
Claro! Você pode considerar fazer um piquenique na praia, visitar um museu ou fazer uma caminhada na
|
103 |
+
natureza. O que você e sua esposa gostam de fazer juntos?
|
104 |
|
|
|
105 |
|
106 |
+
Human: Eu e minha esposa gostamos muito de caminhadas. Temos uma mochila que carregamos nosso gatinha para todo lado.
|
107 |
|
|
|
108 |
|
109 |
+
Luana:
|
110 |
+
Parece ótimo! Você pode considerar fazer uma caminhada em um parque local ou reserva natural. Você
|
111 |
+
também pode pesquisar trilhas mais longas para fazer em um fim de semana. Além disso, você pode
|
112 |
+
trazer um piquenique com você para saborear durante a caminhada.
|
113 |
|
|
|
114 |
|
115 |
+
Human: Otimas ideias voce tem me dado. O que será que é gostoso levar em um piquenique ?
|
116 |
|
|
|
117 |
|
118 |
+
Luana:
|
119 |
+
Você pode trazer sanduíches, frutas, vegetais, queijo e biscoitos. Você também pode trazer uma
|
120 |
+
garrafa de água ou um refrigerante para beber. Além disso, você pode trazer um saco de lixo para
|
121 |
+
descartar resíduos de maneira responsável.
|
122 |
|
|
|
123 |
|
124 |
+
Human: Olha só que dica bacana. Realmente devo levar uma sacola para nao descartar nada na Natureza e assim me divertir com minha esposa.
|
125 |
|
|
|
126 |
|
127 |
+
Luana:
|
128 |
+
Sim, é importante descartar resíduos de maneira responsável e proteger o meio ambiente. Você pode
|
129 |
+
considerar fazer um piquenique em um parque local ou reserva natural onde possa descartar resíduos
|
130 |
+
de maneira responsável.
|
131 |
|
132 |
|
133 |
+
Human: Perfeito. Muito Obrigado Luana. Otimas dicas. Até a proxima !
|
134 |
|
|
|
135 |
|
136 |
+
Luana:
|
137 |
+
De nada! Fique em contato se precisar de mais ajuda. Tenha um ótimo fim de semana!
|
138 |
|
139 |
+
```
|
140 |
|
|
|
141 |
|
142 |
+
### Comments
|
143 |
|
144 |
+
Any idea, help or report will always be welcome.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
145 |
|
146 |
+
email: [email protected]
|
147 |
|
148 |
+
<div style="display:flex; flex-direction:row; justify-content:left">
|
149 |
+
<a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
|
150 |
+
<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
|
151 |
+
</a>
|
152 |
+
<a href="https://github.com/rhaymisonbetini" target="_blank">
|
153 |
+
<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
|
154 |
+
</a>
|