Trat80 commited on
Commit
b235521
·
1 Parent(s): 1cffeaf

Create adem.python

Browse files
Files changed (1) hide show
  1. adem.python +34 -0
adem.python ADDED
@@ -0,0 +1,34 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ donde pongo este codigo? "from transformers import GPT2LMHeadModel, GPT2Tokenizer, TextDataset, DataCollatorForLanguageModeling
2
+ from transformers import Trainer, TrainingArguments
3
+
4
+ # Cargar el tokenizador y el modelo
5
+ tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
6
+ model = GPT2LMHeadModel.from_pretrained('gpt2')
7
+
8
+ # Ejemplo de datos de entrenamiento (necesitarás un conjunto de datos mucho más grande)
9
+ train_data = ["Texto de ejemplo 1.", "Texto de ejemplo 2.", "Texto de ejemplo 3."]
10
+
11
+ # Preparar el conjunto de datos
12
+ train_encodings = tokenizer(train_data, truncation=True, padding=True)
13
+ train_dataset = TextDataset(train_encodings)
14
+
15
+ # Configuración de entrenamiento
16
+ training_args = TrainingArguments(
17
+ output_dir='./AdemGPT_model', # directorio de salida
18
+ overwrite_output_dir=True,
19
+ num_train_epochs=3,
20
+ per_device_train_batch_size=4,
21
+ save_steps=500,
22
+ save_total_limit=2
23
+ )
24
+
25
+ # Entrenamiento del modelo
26
+ trainer = Trainer(
27
+ model=model,
28
+ args=training_args,
29
+ data_collator=DataCollatorForLanguageModeling(tokenizer=tokenizer),
30
+ train_dataset=train_dataset
31
+ )
32
+
33
+ trainer.train()
34
+ "