Update app.py

app.py

@@ -74,6 +74,7 @@ def loadModel():
                     torch_dtype=torch.float16,
                     cache_dir=cache_dir,
                     device_map="auto",
+                    load_in_8bit=True
                 )
         #model = PeftModel.from_pretrained(
         #            model,