Update app.py

app.py

@@ -53,6 +53,7 @@ if torch.cuda.is_available():
         torch_dtype=torch.float16,
         low_cpu_mem_usage=True,
         load_in_4bit=True,
+        use_flash_attention_2=True
     )