Update app.py

app.py

@@ -11,8 +11,9 @@ tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
   model_id,
   torch_dtype=torch.float16,
-  device_map="sequential",
+  device_map="auto",
   trust_remote_code=True,
+  use_flash_attention_2=True,
   #offload_folder="offload",  # オフロードフォルダの指定
   #offload_state_dict=True  # 必要に応じてstate_dictをオフロード
 )