Update main.py

main.py

@@ -468,14 +468,9 @@ class CivitAICrawler:
     def process_model(self, model_url: str):
         """指定されたモデルURLを処理する関数。"""
         try:
-            # ===== 1) モデルID取得 & モデル情報 =====
             model_id = model_url.rstrip("/").split("/")[-1]
             model_info = self.get_model_info(model_id)
-            if not model_info:
-                logger.error(f"No model info found for ID {model_id}")
-                return
-
-            # ===== 2) フォルダ名を決める =====
+    
             latest_version = model_info.get("modelVersions", [])[0]
             model_file = next(
                 (file for file in latest_version["files"] if file.get('type') == 'Model'),
@@ -485,42 +480,55 @@ class CivitAICrawler:
                 latest_filename = model_file['name']
                 folder = os.path.splitext(latest_filename)[0]
             else:
-                # 'Model'タイプファイルが無い場合
                 first_file = latest_version["files"][0]
                 latest_filename = first_file['name']
                 folder = os.path.splitext(latest_filename)[0]
                 logger.warning(f"No 'Model' type file found for model ID {model_id}. Using first file's name.")
-
+    
             os.makedirs(folder, exist_ok=True)
-
-            # ===== 3) model_list.log を読んで「既に同IDがあるかチェック」=====
-            current_list = self.read_model_list()
-            if str(model_id) in current_list:
-                logger.info(f"Model ID {model_id} is already in model_list.log. (No skip in this example)")
-
-            # ===== 4) ダウンロード処理 =====
-            self.download_model(model_info["modelVersions"], folder)
+    
+            # model_list を読み込み
+            model_list = self.read_model_list()
+    
+            # もし既に「同名（モデルページ名）がアップされている」かどうか確認したい場合の例:
+            #   ※ 今回は modelpage_name（= model_info["name"]） をキーにするか、
+            #     あるいは model_id (str) をキーにするか、運用に合わせて設定してください。
+            #   例として modelpage_name をキーとしてチェックする流れ:
+            modelpage_name = model_info.get("name", "Unnamed Model")
+    
+            if modelpage_name in model_list.values():
+                # 既に同モデルページ名がアップロード済み → ここでスキップや上書きなどの処理を決定
+                logger.info(f"Model '{modelpage_name}' is already listed in model_list. Skipping re-upload.")
+                # もし「強制再アップロード」したくないなら return で処理終了:
+                # return
+                # あるいは「強制アップするがバージョンだけ追加」などいろいろ処理が可能
+                # ここではあえて続行するが、必要に応じて書き換えてください。
+    
+            # ダウンロードや画像保存
+            existing_old_version_files = []
+            self.download_model(model_info["modelVersions"], folder, existing_old_version_files)
             self.download_images(model_info["modelVersions"], folder)
             self.save_html_content(model_url, folder)
             self.save_model_info(model_info, folder)
-
-            # ===== 5) rclone で暗号化フォルダをアップロード =====
+    
+            # ========== rclone で暗号化フォルダをアップロード ==========
             encrypted_top_name = self.upload_folder_encrypted(folder)
-
-            # ===== 6) model_list.log に "{model_id}: {URL}" 形式で追記 =====
-            # 暗号化されたトップフォルダ名をURLに含める
-            final_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{encrypted_top_name}"
-
+    
+            # 今回アップロードしたモデルの URL
+            model_hf_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{encrypted_top_name}"
+    
+            # model_list.log に追記 → "modelpage_name: model_hf_url" 形式
             with open(self.config.LIST_FILE, "a", encoding="utf-8") as f:
-                f.write(f"{model_id}: {final_url}\n")
-
-            # ===== 7) ローカルフォルダ掃除 =====
+                f.write(f"{modelpage_name}: {model_hf_url}\n")
+    
+            # ローカルフォルダ削除
             if os.path.exists(folder):
                 shutil.rmtree(folder)
-
+    
         except Exception as e:
             logger.error(f"Unexpected error processing model ({model_url}): {e}")
 
+
     async def crawl(self):
         """モデルを定期的にチェックし、更新を行う。"""
         while True: