Model Card for Model ID

This modelcard aims to be a base template for new models. It has been generated using this raw template.

Model Details

Model Description

-- Esse trabalho consiste em desenvolver um modelo de linguagem grande (LLM) com 2.3 milhões de parâmetros usando a arquitetura LLaMA 1, -- implementado em um notebook do Google Collaboratory. Os alunos irão construir um LLM desde o pré-processamento dos dados até a avaliação -- do desempenho do modelo. O projeto envolverá as etapas principais de preparação de dados, configuração do modelo, treinamento e avaliação.

  • Developed by: Amanda Freire
  • Funded by [optional]: Amanda Freire
  • Shared by [optional]: Amanda Freire
  • Model type: LLaMa-1
  • Language(s) (NLP): [More Information Needed]
  • License: Apache

Uses

-- modelo GPT-2 na coleção TinyShakespeare. -- Implementação dos componentes principais da arquitetura LLaMA 1 [4]: -- RMSNorm -- SwiGLU -- Rotary Embeddings

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no library tag.