Update app.py

app.py

@@ -1,42 +1,37 @@
 import os
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
-from accelerate import Accelerator
+from transformers import AutoTokenizer, AutoModelForCausalLM
 from sentence_transformers import SentenceTransformer
 from datasets import load_dataset
 import faiss
 import gradio as gr
+from accelerate import Accelerator
 
-# Set Hugging Face API key from environment variable
+# 환경 변수에서 Hugging Face API 키 로드
 hf_api_key = os.getenv('HF_API_KEY')
 
-# Define model ID
+# 모델 ID 및 토크나이저 설정
 model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
-
-# Initialize tokenizer and model
 tokenizer = AutoTokenizer.from_pretrained(model_id, token=hf_api_key)
 accelerator = Accelerator()
 
-# Load the model with custom quantization using BitsAndBytesConfig
+# 양자화 설정 없이 모델 로드 (문제 해결을 위한 임시 조치)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     token=hf_api_key,
-    torch_dtype=torch.bfloat16,
-    quantization_config=BitsAndBytesConfig(
-        load_in_4bit=True,
-        bnb_4bit_use_double_quant=True,
-        bnb_4bit_quant_type="nf4",
-        bnb_4bit_compute_dtype=torch.bfloat16
-    )
+    torch_dtype=torch.float32  # 기본 dtype 사용
 )
 model = accelerator.prepare(model)
 
-# Load dataset and create FAISS index
+# 데이터 로딩 및 faiss 인덱스 생성
 ST = SentenceTransformer("mixedbread-ai/mxbai-embed-large-v1")
 dataset = load_dataset("not-lain/wikipedia", revision="embedded")
 data = dataset["train"]
 data = data.add_faiss_index("embeddings")
 
+# 기타 함수 및 Gradio 인터페이스 구성은 이전과 동일
+
+
 # Define functions for search, prompt formatting, and generation
 def search(query: str, k: int = 3):
     embedded_query = ST.encode(query)