Modelo Llama 1 para Tiny Shakespeare
Este repositório contém um modelo de linguagem Llama 1 com 2.3 milhões de parâmetros treinado no dataset Tiny Shakespeare. O modelo (llama1-model) foi projetado para tarefas de geração de texto, em especial para o estilo de escrita do Shakespeare.
Arquitetura
O modelo segue a arquitetura básica do Llama, com as seguintes características:
- Embeddings Rotativos (RoPE) para incorporar informações posicionais.
- Atenção Multi-Head com RoPE para capturar relações complexas entre tokens.
- Normalização RMS (RMSNorm) para estabilidade de treinamento.
- Função de Ativação SwiGLU para não linearidade.
Treinamento
O modelo foi treinado por no máximo 10.000 épocas, atingindo a estabilidade em pouco mais de 3000 épocas. Foi utilizado o otimizador Adam e um agendamento de taxa de aprendizado de redução de platô (scheduler). A função de perda utilizada foi a entropia cruzada.
Métricas
O desempenho do modelo foi avaliado utilizando as seguintes métricas:
- Perda
- Acurácia
- Perplexidade
Limitações
Devido ao tamanho limitado do dataset Tiny Shakespeare, a capacidade do modelo de gerar texto complexo e coeso é restrita.
Onde pode ser aplicado
- Geração de Texto: O modelo pode ser usado para gerar pequenos trechos de texto semelhantes ao estilo de Shakespeare.
- Previsão de Próxima Palavra: Dada uma sequência de palavras, o modelo pode prever a próxima palavra mais provável.
Como Usar
Para carregar e utilizar o modelo:
import torch
# Carregue o modelo
model = torch.load("best_model.pt")