aixsatoshi
commited on
Commit
•
5ba2e07
1
Parent(s):
15f4d32
Update app.py
Browse files
app.py
CHANGED
@@ -10,6 +10,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
10 |
model_id,
|
11 |
torch_dtype=torch.float16,
|
12 |
device_map="sequential",
|
|
|
13 |
offload_folder="offload", # オフロードフォルダの指定
|
14 |
offload_state_dict=True # 必要に応じてstate_dictをオフロード
|
15 |
)
|
|
|
10 |
model_id,
|
11 |
torch_dtype=torch.float16,
|
12 |
device_map="sequential",
|
13 |
+
trust_remote_code=True,
|
14 |
offload_folder="offload", # オフロードフォルダの指定
|
15 |
offload_state_dict=True # 必要に応じてstate_dictをオフロード
|
16 |
)
|