Update README.md

README.md

@@ -1,6 +1,6 @@
 ---
 language:
-- en
+- pt
 license: apache-2.0
 tags:
 - text-generation-inference
@@ -12,7 +12,7 @@ base_model: unsloth/mistral-7b-bnb-4bit
 datasets:
 - cnmoro/GPT4-500k-Augmented-PTBR-Clean
 widget:
-- text: "Me conte a história do Boto"
+- text: Me conte a história do Boto
 ---
 
 # Boto 7B
@@ -21,7 +21,9 @@ widget:
 
 Boto é um fine-tuning do Mistral 7B para língua portuguesa. O Boto é bem "falante", as respostas tendem a ser longas e nem sempre objetivas por padrão.
 
-Acesse a [demonstração online](https://huggingface.co/spaces/lucianosb/boto-7B) disponível.
+Acesse a [demonstração online](https://huggingface.co/spaces/lucianosb/boto-7B) disponível. E cante junto:
+
+[![Foi Boto Sinhá](https://markdown-videos-api.jorgenkh.no/url?url=https%3A%2F%2Fyoutu.be%2FxSyuWFvI9_8%3Fsi%3DSzIMawwQ6sF_xhZK)](https://youtu.be/xSyuWFvI9_8?si=SzIMawwQ6sF_xhZK)
 
 Boto é um nome dado a vários tipos de golfinhos e botos nativos do Amazonas e dos afluentes do rio Orinoco. Alguns botos existem exclusivamente em água doce, e estes são frequentemente considerados golfinhos primitivos.
 
@@ -39,6 +41,48 @@ Boto is a Portuguese name given to several types of dolphins and river dolphins
 
 The "boto" of the Amazon River regions of northern Brazil are described according to local lore as taking the form of a human or merman, also known as Boto cor-de-rosa ("Pink Boto" in Portuguese) and with the habit of seducing human women and impregnating them.
 
+## How to Run on Colab T4
+
+```python
+from transformers import AutoTokenizer, pipeline
+import torch
+
+model_id = "lucianosb/boto-7B"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+
+pipe = pipeline(
+    "text-generation",
+    model=model_id,
+    torch_dtype=torch.float16,
+    device_map="cuda:0"
+)
+
+def make_prompt(question):
+  return f"""Abaixo está uma instrução que descreve uma tarefa, combinada com uma entrada que fornece contexto adicional.
+Escreva uma resposta que complete adequadamente a solicitação.
+
+### Instruction:
+{question}
+
+### Response:
+"""
+
+question = "Conte a história do boto"
+
+prompt = make_prompt(question)
+sequences = pipe(
+   prompt,
+   do_sample=True,
+   num_return_sequences=1,
+   eos_token_id=tokenizer.eos_token_id,
+   max_length=2048,
+   temperature=0.9,
+   top_p=0.6,
+   repetition_penalty=1.15
+)
+
+print(sequences[0]["generated_text"])
+```
 
 ## Métricas