|
|
--- |
|
|
datasets: |
|
|
- botbot-ai/Cabra3k |
|
|
language: |
|
|
- pt |
|
|
license: llama3 |
|
|
library_name: transformers |
|
|
tags: |
|
|
- portuguese |
|
|
- llama |
|
|
- cabra |
|
|
- llama-3 |
|
|
--- |
|
|
# Cabra Llama-3 70B |
|
|
|
|
|
O Cabra Llama-3 70B é uma versão aprimorada do Meta-Llama-3-70B-Instruct, refinado com o uso do dataset Cabra 30k. Este modelo foi especialmente otimizado para compreender e responder em português (PT-br). |
|
|
|
|
|
**Conheça os nossos outros modelos e datasets [modelos e datasets](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).** |
|
|
|
|
|
## Detalhes do modelo base |
|
|
|
|
|
### Modelo: Meta-Llama-3-70B-Instruct |
|
|
|
|
|
A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança. |
|
|
|
|
|
Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança. |
|
|
|
|
|
### Dataset: Cabra 30k |
|
|
|
|
|
Dataset interno para fine-tuning. Vamos lançar em breve. |
|
|
|
|
|
### Quantização / GGUF |
|
|
|
|
|
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization". |
