Update app.py

app.py

@@ -1,4 +1,5 @@
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
+from datasets import load_dataset
 import gradio as gr
 import torch
 
@@ -6,23 +7,62 @@ import torch
 tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-large")
 model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-large")
 
+# Cargar tu conjunto de datos
+dataset = load_dataset('csv', data_files='alpaca.csv')
+
+# Preprocesar los datos
+def preprocess_function(examples):
+    inputs = [ex for ex in examples['input_text']]
+    outputs = [ex for ex in examples['response_text']]
+    model_inputs = tokenizer(inputs, max_length=512, truncation=True)
+
+    # Configurar las etiquetas
+    with tokenizer.as_target_tokenizer():
+        labels = tokenizer(outputs, max_length=512, truncation=True)
+
+    model_inputs["labels"] = labels["input_ids"]
+    return model_inputs
+
+tokenized_dataset = dataset.map(preprocess_function, batched=True)
+
+# Configurar los argumentos de entrenamiento
+training_args = TrainingArguments(
+    output_dir="./results",
+    evaluation_strategy="epoch",
+    learning_rate=2e-5,
+    per_device_train_batch_size=2,
+    num_train_epochs=3,
+)
+
+# Crear el Trainer
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=tokenized_dataset['train'],
+)
+
+# Entrenar el modelo
+trainer.train()
+
+# Guardar el modelo entrenado
+model.save_pretrained("./mi_modelo_entrenado")
+tokenizer.save_pretrained("./mi_modelo_entrenado")
+
+# Cargar el modelo entrenado
+model = AutoModelForCausalLM.from_pretrained("./mi_modelo_entrenado")
+tokenizer = AutoTokenizer.from_pretrained("./mi_modelo_entrenado")
+
 # Inicializar el historial de conversación
 chat_history_ids = None
 
+# Función de chat
 def chat_with_bot(user_input):
     global chat_history_ids
-    # Codificar la entrada del usuario
     new_user_input_ids = tokenizer.encode(user_input + tokenizer.eos_token, return_tensors='pt')
-
-    # Concatenar la entrada del usuario con el historial de conversación
     bot_input_ids = torch.cat([chat_history_ids, new_user_input_ids], dim=-1) if chat_history_ids is not None else new_user_input_ids
-
-    # Generar una respuesta
     chat_history_ids = model.generate(bot_input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id)
-
-    # Decodificar y devolver la respuesta
     return tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)
 
 # Crear la interfaz de Gradio
-iface = gr.Interface(fn=chat_with_bot, inputs="text", outputs="text", title="Chatbot con DialoGPT")
+iface = gr.Interface(fn=chat_with_bot, inputs="text", outputs="text", title="Chatbot Entrenado")
 iface.launch()