Update app.py
Browse files
app.py
CHANGED
|
@@ -9,8 +9,6 @@ Sarashinaモデルを使用したGradioチャットボット
|
|
| 9 |
Hugging Face Transformersライブラリを使用してローカルでモデルを実行
|
| 10 |
"""
|
| 11 |
|
| 12 |
-
nvidia-smi
|
| 13 |
-
|
| 14 |
# モデルとトークナイザーの初期化
|
| 15 |
MODEL_NAME = "sbintuitions/sarashina2.2-3b-instruct-v0.1"
|
| 16 |
|
|
@@ -31,6 +29,8 @@ print(f"CUDA device: {torch.cuda.get_device_name(torch.cuda.current_device())}")
|
|
| 31 |
print("い")
|
| 32 |
# Tesla T4
|
| 33 |
|
|
|
|
|
|
|
| 34 |
def respond(
|
| 35 |
message,
|
| 36 |
history: list[tuple[str, str]],
|
|
|
|
| 9 |
Hugging Face Transformersライブラリを使用してローカルでモデルを実行
|
| 10 |
"""
|
| 11 |
|
|
|
|
|
|
|
| 12 |
# モデルとトークナイザーの初期化
|
| 13 |
MODEL_NAME = "sbintuitions/sarashina2.2-3b-instruct-v0.1"
|
| 14 |
|
|
|
|
| 29 |
print("い")
|
| 30 |
# Tesla T4
|
| 31 |
|
| 32 |
+
@spaces.GPU
|
| 33 |
+
|
| 34 |
def respond(
|
| 35 |
message,
|
| 36 |
history: list[tuple[str, str]],
|