Update app.py

app.py

@@ -12,15 +12,15 @@ print('device =', device)
 model = AutoModelForCausalLM.from_pretrained(
     'Viet-Mistral/Vistral-7B-Chat',
     torch_dtype=torch.bfloat16, # change to torch.float16 if you're using V100
-    device_map="auto",
-    use_cache=True,
+    device_map="auto"#,
+    #use_cache=True,
     #cache_dir='/workspace/thviet/hf_cache'
 )
 
 tokenizer = AutoTokenizer.from_pretrained(MODEL, cache_dir='/workspace/thviet/hf_cache')
 
 lora_config = LoraConfig.from_pretrained(
-    "thviet79/model-QA-medical",  # Thay bằng đường dẫn đến mô hình LoRA trên Hugging Face
+    "thviet79/model-QA-medical"# Thay bằng đường dẫn đến mô hình LoRA trên Hugging Face
     #cache_dir='/workspace/thviet/hf_cache'
 )