Upload main.py

main.py

@@ -69,7 +69,6 @@ class CivitAICrawler:
             logger.info(f"[INFO] Created rclone.conf at {conf_path}")
         else:
             logger.warning("[WARN] RCLONE_CONF_BASE64 not found; rclone may fail.")
-        # ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
 
         self.config = config
         self.api = HfApi()
@@ -208,75 +207,63 @@ class CivitAICrawler:
         except Exception as e:
             logger.error(f"Failed to save model info JSON: {e}")
 
-    def encrypt_and_upload_folder(self, local_folder: str):
+
+    # ======================================================
+    # 修正: rclone が生成した暗号フォルダ名をそのまま使う
+    # ======================================================
+    def encrypt_and_upload_folder(self, local_folder: str) -> Optional[str]:
         """
-        1. rcloneでフォルダ全体を暗号化 (フォルダ名含む)
-        2. 暗号化されたフォルダをHugging Faceにアップロード
-        3. ローカル削除
+        1. rclone copy local_folder cryptLocal:
+           => /home/user/app/encrypted/xxxx というランダム暗号フォルダが生成される
+        2. 生成されたフォルダ名を特定 (new_folders)
+        3. それを upload_folder() でアップロード
+        4. 平文フォルダ & 暗号フォルダをローカル削除
+        5. 暗号フォルダ名を返す
         """
         if not os.path.exists(local_folder):
             logger.error(f"encrypt_and_upload_folder: folder not found: {local_folder}")
-            return
+            return None
 
-        # 暗号化後のフォルダが生成されるベースパス (例: /app/encrypted)
         encrypted_base_dir = os.path.join(os.getcwd(), "encrypted")
         os.makedirs(encrypted_base_dir, exist_ok=True)
 
-        # rclone実行前の /app/encrypted の状態を取得 (新規フォルダ検出用)
         before_set = set(os.listdir(encrypted_base_dir))
 
-        # rcloneでフォルダごとコピー (ファイル名・フォルダ名ともに暗号化)
-        #   ここで "cryptLocal:" は .rclone.conf 側で
-        #     [cryptLocal]
-        #     type = crypt
-        #     remote = /app/encrypted
-        #     filename_encryption = standard
-        #     directory_name_encryption = true
-        #     password = ****
-        #   等が設定されている想定
+        # サブフォルダ名を指定しない => rclone が自動的に暗号フォルダを生成
         try:
-            subprocess.run(
-                ["rclone", "copy", local_folder, "cryptLocal:"],
-                check=True
-            )
+            subprocess.run(["rclone", "copy", local_folder, "cryptLocal:"], check=True)
         except subprocess.CalledProcessError as e:
             logger.error(f"rclone copy failed: {e}")
-            return
+            return None
 
-        # rclone実行後の /app/encrypted の状態
         after_set = set(os.listdir(encrypted_base_dir))
-        # 新しくできた暗号化フォルダを特定
-        new_folders = after_set - before_set
+        new_folders = list(after_set - before_set)
         if not new_folders:
-            logger.error("No new encrypted folder found. Something went wrong.")
-            return
+            logger.error("No new encrypted folder found. Possibly an error.")
+            return None
 
-        # 通常は1個のはずだが、複数あるなら先頭だけ使う
-        enc_folder_name = list(new_folders)[0]
+        # 通常1個だけだが、複数できたら先頭を採用
+        enc_folder_name = new_folders[0]
         enc_folder_path = os.path.join(encrypted_base_dir, enc_folder_name)
 
-        # Hugging Face上で、この暗号化フォルダをそのままアップロード
-        #   => HF側もフォルダ名が暗号化された状態で表示されます
+        # アップロード (暗号化済フォルダをそのまま)
         try:
-            # path_in_repo も同じ暗号化名を指定
             self.upload_folder(enc_folder_path, path_in_repo=enc_folder_name)
             logger.info(f"Uploaded encrypted folder to HF: {enc_folder_path}")
         except Exception as e:
             logger.error(f"Failed to upload encrypted folder {enc_folder_path}: {e}")
 
-        # ローカル削除（平文のフォルダ & 暗号化済みフォルダ）
+        # ローカル削除 (平文 & 暗号後)
         try:
             shutil.rmtree(local_folder)
             shutil.rmtree(enc_folder_path)
-            logger.info(f"Removed local folder: {local_folder} and encrypted folder: {enc_folder_path}")
+            logger.info(f"Removed local: {local_folder} and encrypted: {enc_folder_path}")
         except Exception as e:
             logger.error(f"Failed to remove local folders: {e}")
 
+        return enc_folder_name
+
     def upload_file(self, file_path: str, repo_id: Optional[str] = None, path_in_repo: Optional[str] = None):
-        """
-        単一ファイルをアップロードするための関数
-        （今回はフォルダ丸ごとアップロードがメインだが、ログファイルなどは個別アップロード）
-        """
         if repo_id is None:
             repo_id = self.repo_ids['current']
         if path_in_repo is None:
@@ -426,14 +413,19 @@ class CivitAICrawler:
             # model_info.json保存
             self.save_model_info_json(model_info, folder_name)
 
-            # ここでフォルダごと暗号化＆アップロード
-            self.encrypt_and_upload_folder(folder_name)
+            # 暗号化→アップロード。rcloneが生成したフォルダ名を返す
+            enc_folder_name = self.encrypt_and_upload_folder(folder_name)
+            if enc_folder_name is None:
+                # 失敗時のフォルダ名
+                enc_folder_name = "[ENCRYPT_FAILED]"
+
+            # 暗号後フォルダをHTTPS URLに組み立て
+            hf_enc_url = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/{enc_folder_name}"
 
-            # model_list.logに追記 (暗号化フォルダを直接参照するURLは分からないため、
-            #  とりあえず元の modelPage名 とかモデルIDのメモを書くだけに留める)
-            hf_url_placeholder = f"https://huggingface.co/{self.repo_ids['current']}/tree/main/[ENCRYPTED_FOLDER]"
+            # model_list.logに追記 (実際の暗号フォルダ名をそのまま書き込む)
             with open(self.config.LIST_FILE, "a", encoding="utf-8") as f:
-                f.write(f"{model_info.get('name', 'UnnamedModel')} (ID:{model_id}): {hf_url_placeholder}\n")
+                # 例: "Pudu chileno (ID:12345): https://huggingface.co/xxx/tree/main/<暗号フォルダ>"
+                f.write(f"{model_info.get('name', 'UnnamedModel')} (ID:{model_id}): {hf_enc_url}\n")
 
         except Exception as e:
             logger.error(f"Error in process_model ({model_url}): {e}")