Update app.py

app.py

@@ -2,32 +2,22 @@
 import torch
 import pandas as pd
 import streamlit as st
+from transformers import AutoModelForCausalLM, AutoTokenizer
 from langchain.llms import HuggingFacePipeline
-from transformers import pipeline
 from huggingface_hub import login
 from pydantic import BaseModel, model_validator
 
-# Tu token secreto de Hugging Face
+# Token secreto de Hugging Face
 huggingface_token = st.secrets["HUGGINGFACEHUB_API_TOKEN"]
 login(huggingface_token)
 
-# Cargar el modelo Llama 3.1
-model_name = "meta-llama/llama-3.1-8b-instruct"  # Asegúrate de que este sea el nombre correcto del modelo
+# Cargar manualmente el modelo Llama 3.1
+model_name = "meta-llama/llama-3.1-8b-instruct"
+model = AutoModelForCausalLM.from_pretrained(model_name)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-# Definir la configuración de rope_scaling
-rope_scaling = {
-    "type": "llama",  # Ajusta el tipo según lo que necesite el modelo
-    "factor": 8.0
-}
-
-# Usar transformers pipeline para carga
-llm_pipeline = pipeline(
-    "text-generation", 
-    model=model_name, 
-    device=0 if torch.cuda.is_available() else -1,
-    config={"rope_scaling": rope_scaling}  # Aquí pasas la configuración
-)
-llm = HuggingFacePipeline(pipeline=llm_pipeline)
+# Usar transformers pipeline para cargar el modelo y tokenizer
+llm_pipeline = HuggingFacePipeline(model=model, tokenizer=tokenizer)
 
 # Interfaz de Streamlit
 st.title("Cosine Similarity con Llama 3.1")
@@ -49,18 +39,16 @@ if uploaded_file is not None:
         El query es: {query}
         """
 
-        # Llamar al modelo Llama con el prompt
+        # Llamar al modelo con el prompt
         try:
-            response = llm(prompt)
+            response = llm_pipeline(prompt)
             # Mostrar la respuesta del modelo
             st.write("Respuesta del modelo:", response)
-            
-            # Procesar la respuesta según sea necesario
 
         except Exception as e:
             st.error(f"Ocurrió un error al procesar el modelo: {str(e)}")
 
-# Modelo de validación de datos
+# Modelo de validación de datos con Pydantic
 class ConsultaModelo(BaseModel):
     query: str