Upload main.py

main.py

@@ -296,11 +296,6 @@ class CivitAICrawler:
                             logger.error(f"Failed to create dummy file for {file_name}: {e}")
                         continue
 
-                    # ===== 旧コード: 直接アップロードしていた箇所を削除して、rclone暗号化＆アップロードに変更する場合は呼び出さない =====
-                    # 旧来は self.upload_file(...) していたが、このタイミングでアップロードしたくない場合は消すかコメントアウト
-                    # self.upload_file(local_file_path, path_in_repo=...)
-                    # os.remove(local_file_path)
-
     def download_images(self, model_versions: list, folder: str):
         """モデルの画像をダウンロードし、指定されたフォルダに保存する。"""
         images_folder = os.path.join(folder, "images")
@@ -353,9 +348,6 @@ class CivitAICrawler:
         with open(os.path.join(folder, "model_info.json"), "w") as file:
             json.dump(model_info, file, indent=2)
 
-    # =============================================================================
-    # 以下はダウンロードやモデル情報処理の部分（元コードと同等）
-    # =============================================================================
     @staticmethod
     def increment_repo_name(repo_id: str) -> str:
         match = re.search(r'(\d+)$', repo_id)
@@ -365,7 +357,6 @@ class CivitAICrawler:
         else:
             return f"{repo_id}1"
 
-
     # =============================================================================
     # ★ 暗号化しないアップロード（ログや model_list.log 用）
     # =============================================================================
@@ -451,20 +442,42 @@ class CivitAICrawler:
         folder_path: str,
         repo_id: Optional[str] = None,
         path_in_repo: Optional[str] = None
-    ):
+    ) -> str:
         """
         フォルダを rclone で暗号化し、暗号化されたフォルダ構造ごとアップロード。
+        終了後に「実際に Hugging Face 上で使われる暗号化後のトップレベルフォルダ名」を返す。
         """
         if repo_id is None:
             repo_id = self.repo_ids['current']
         base_path = path_in_repo or ""
 
+        # 1) rcloneにコピーして暗号化
         self.encrypt_with_rclone(folder_path)
+
+        # 2) 暗号後のトップディレクトリ名を取得
+        #    例: /home/user/app/encrypted/<暗号フォルダ名>
+        #    基本的にトップレベルディレクトリは1つ想定
+        top_levels = [
+            d for d in os.listdir(self.config.ENCRYPTED_DIR)
+            if os.path.isdir(os.path.join(self.config.ENCRYPTED_DIR, d))
+        ]
+        if not top_levels:
+            raise RuntimeError("No top-level folder found after rclone encryption.")
+        if len(top_levels) > 1:
+            logger.warning(f"Multiple top-level folders found after encryption? {top_levels}. Using the first one.")
+
+        encrypted_top_name = top_levels[0]
+
+        # 3) アップロード
         self.upload_encrypted_files(repo_id=repo_id, base_path_in_repo=base_path)
 
+        # 4) 後始末
         if os.path.isdir(self.config.ENCRYPTED_DIR):
             shutil.rmtree(self.config.ENCRYPTED_DIR, ignore_errors=True)
 
+        # 5) 実際にHFに作られた「暗号化後のトップフォルダ名」を返す
+        return encrypted_top_name
+
     def read_model_list(self):
         """モデルリストを読み込む。"""
         model_list = {}
@@ -513,7 +526,8 @@ class CivitAICrawler:
                 logger.warning(f"No 'Model' type file found for model ID {model_id}. Using first file's name.")
 
             os.makedirs(folder, exist_ok=True)
-            model_hf_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{folder}"
+
+            # すでに同フォルダURLがあるかどうか
             model_list = self.read_model_list()
 
             if model_hf_url in model_list:
@@ -529,12 +543,16 @@ class CivitAICrawler:
             self.save_html_content(model_url, folder)
             self.save_model_info(model_info, folder)
 
-            # ====== rclone でフォルダ暗号化 → HFへアップロード ======
-            self.upload_folder_encrypted(folder)
+            # ========== rclone で暗号化フォルダをアップロード ==========
+            # ここで「実際にHF上に作成された暗号化後のトップフォルダ名」を取得
+            encrypted_top_name = self.upload_folder_encrypted(folder)
 
             # モデルリスト更新
+            # ここで実際の暗号化フォルダ名を使ったURLを書き込む
             modelpage_name = model_info.get("name", "Unnamed Model")
-            model_hf_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{folder}"
+            # 例: https://huggingface.co/REPO_ID/tree/main/<暗号化後トップフォルダ>
+            model_hf_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{encrypted_top_name}"
+
             with open(self.config.LIST_FILE, "a", encoding="utf-8") as f:
                 f.write(f"{modelpage_name}: {model_hf_url}\n")
 
@@ -551,11 +569,11 @@ class CivitAICrawler:
             try:
                 login(token=self.config.HUGGINGFACE_API_KEY, add_to_git_credential=True)
 
-                # model_list.logのダウンロード
+                # model_list.logのダウンロード（暗号化せず上書き）
                 model_list_path = hf_hub_download(repo_id=self.repo_ids['model_list'], filename=self.config.LIST_FILE)
                 shutil.copyfile(model_list_path, f"./{self.config.LIST_FILE}")
 
-                # ログファイルのダウンロード
+                # ログファイルのダウンロード（暗号化せず上書き）
                 local_file_path = hf_hub_download(repo_id=self.repo_ids["log"], filename=self.config.LOG_FILE)
                 shutil.copyfile(local_file_path, f"./{self.config.LOG_FILE}")
 
@@ -588,13 +606,13 @@ class CivitAICrawler:
                             else:
                                 await asyncio.sleep(2)
                 else:
-                    # ログファイルを最新のモデルIDで上書き
+                    # 新モデルなし → ログ更新して終了
                     with open(self.config.LOG_FILE, "w", encoding="utf-8") as f:
                         f.write(json.dumps(latest_model_ids) + "\n")
                         f.write(f"{self.repo_ids['current']}\n")
                     logger.info(f"Updated log file: {self.config.LOG_FILE}")
 
-                    # ログファイルをリポジトリにアップロード
+                    # ログファイルをリポジトリにアップロード（暗号化しない）
                     self.upload_file_raw(
                         file_path=self.config.LOG_FILE,
                         repo_id=self.repo_ids["log"],
@@ -615,7 +633,7 @@ class CivitAICrawler:
                     f.write(f"{self.repo_ids['current']}\n")
                 logger.info(f"Updated log file with new model ID: {model_id}")
 
-                # ログとモデルリストのアップロード
+                # ログとモデルリストのアップロード（暗号化しない）
                 self.upload_file_raw(
                     file_path=self.config.LOG_FILE,
                     repo_id=self.repo_ids["log"],