Update app.py

app.py

@@ -1,5 +1,4 @@
 import os
-os.environ['CUDA_VISIBLE_DEVICES'] = ''
 import spaces
 import sys
 import time
@@ -304,23 +303,31 @@ class CharacterMaker:
         self.chat_history = []
         self.settings = None
         self.model_loaded = threading.Event()
-        self.current_model = None
+        self.current_model = None  # 現在ロードされているモデルのタイプを記録
         self.model_lock = threading.Lock()
         self.use_chat_format = False
 
     def load_model(self, model_type):
         with self.model_lock:
+            # 新しいモデルの設定を取得
             model_path = os.path.join(MODEL_DIR, self.settings[f'DEFAULT_{model_type.upper()}_MODEL'])
             n_gpu_layers = self.settings[f'{model_type.lower()}_n_gpu_layers']
 
-            # モデルが既にロードされていて設定も同じなら再ロードしない
-            if self.llama and self.current_model == model_type:
-                if (self.llama.model_path == model_path and
-                    self.llama.n_gpu_layers == n_gpu_layers):
-                    print(f"{model_type} モデルは既にロードされています。再ロードをスキップします。")
-                    return
+            # 現在のモデルが既にロードされているか、同じ設定であるかチェック
+            if (self.llama and self.current_model != model_type and
+                self.llama.model_path == model_path and
+                self.llama.n_gpu_layers == n_gpu_layers):
+                print(f"同じ設定のため {self.current_model} から {model_type} へのモデルタイプ変更を行いますが、再ロードはしません。")
+                self.current_model = model_type
+                return  # 設定が同じ場合は再ロードをスキップ
+
+            if (self.llama and
+                self.llama.model_path == model_path and
+                self.llama.n_gpu_layers == n_gpu_layers):
+                print(f"{model_type} モデルは既に同じ設定でロードされています。")
+                return  # 設定が同じ場合は再ロードをスキップ
 
-            # ここで前のモデルをクリア
+            # モデルの初期化
             if self.llama:
                 del self.llama
                 self.llama = None
@@ -328,15 +335,15 @@ class CharacterMaker:
             self.model_loaded.clear()
 
             try:
+                # 新しいモデルをロード
                 self.llama = LlamaAdapter(model_path, params, n_gpu_layers)
                 self.current_model = model_type
                 self.model_loaded.set()
-                print(f"{model_type} モデル {model_path} のロードが完了しました。(n_gpu_layers: {n_gpu_layers})")
+                print(f"{model_type} モデルをロードしました。モデルパス: {model_path}、GPUレイヤー数: {n_gpu_layers}")
             except Exception as e:
-                print(f"{model_type} モデルのロード中にエラーが発生しました: {str(e)}")
+                print(f"{model_type} モデルのロード中にエラーが発生しました: {e}")
                 self.model_loaded.set()
 
-
     def generate_response(self, input_str):
         self.load_model('CHAT')
         if not self.model_loaded.wait(timeout=30) or not self.llama: