Update main.py

main.py

@@ -234,6 +234,14 @@ class CivitAICrawler:
             logger.error(f"Failed to retrieve model info for ID {model_id}: {e}")
 
     def download_model(self, model_versions: list, folder: str, existing_old_version_files: list = []):
+        """
+        指定された model_versions (list) から
+        - 最新バージョン（先頭要素）のファイルを一括ダウンロード
+        - 古いバージョン (index=1以降) のファイルは1つずつダウンロード後に即アップロード・削除
+        """
+        # ----------------------
+        # 1) 最新バージョンのダウンロード (従来通り)
+        # ----------------------
         latest_version = model_versions[0]
         latest_files = latest_version["files"]
         for file_info in latest_files:
@@ -267,16 +275,23 @@ class CivitAICrawler:
                 except Exception as e:
                     logger.error(f"Failed to create dummy file for {file_name}: {e}")
 
-        # 古いバージョンのダウンロード
+        # ----------------------
+        # 2) 古いバージョンのダウンロード → すぐアップロード＆削除
+        # ----------------------
         if len(model_versions) > 1:
             old_versions_folder = os.path.join(folder, "old_versions")
             os.makedirs(old_versions_folder, exist_ok=True)
+
+            # ### ここから修正 ###
             for version in model_versions[1:]:
                 for file_info in version["files"]:
                     file_name = file_info["name"]
+
+                    # 既にアップロード済み (existing_old_version_files) の場合はスキップ
                     if file_name in existing_old_version_files:
                         logger.info(f"Skipping download of existing old version file: {file_name}")
                         continue
+
                     download_url = file_info["downloadUrl"]
                     local_file_path = os.path.join(old_versions_folder, file_name)
                     login_detected_count = 0
@@ -291,21 +306,45 @@ class CivitAICrawler:
 
                         if "login" in os.listdir(old_versions_folder):
                             login_detected_count += 1
-                            logger.warning(f"'login' file found while downloading {file_name}. Will try again. ({login_detected_count}/5)")
+                            logger.warning(
+                                f"'login' file found while downloading {file_name}. Will try again. "
+                                f"({login_detected_count}/5)"
+                            )
                             os.remove(os.path.join(old_versions_folder, "login"))
                         else:
-                            logger.info(f"Successfully downloaded {file_name}")
+                            logger.info(f"Successfully downloaded old version file: {file_name}")
                             break
 
+                    # ダウンロードが5回失敗した場合はダミーを作って終了
                     if login_detected_count >= 5:
                         dummy_file_name = f"{file_name}.download_failed"
                         dummy_file_path = os.path.join(old_versions_folder, dummy_file_name)
                         try:
                             with open(dummy_file_path, "w") as f:
                                 f.write("Download failed after 5 attempts.")
-                            logger.error(f"Failed to download {file_name}. Created dummy file {dummy_file_name}. URL: {download_url}")
+                            logger.error(
+                                f"Failed to download {file_name}. Created dummy file {dummy_file_name}. URL: {download_url}"
+                            )
                         except Exception as e:
                             logger.error(f"Failed to create dummy file for {file_name}: {e}")
+                        # 失敗時はアップロードせずに次のファイルへ
+                        continue
+
+                    # ダウンロードに成功した場合:
+                    # 1ファイルごとに暗号化してアップロードし、アップ後に削除
+                    try:
+                        # 例: path_in_repo はフォルダ構成したいなら "old_versions/..." とか
+                        # ここではフォルダ名=folder名/old_versions としておく
+                        self.upload_file_encrypted(
+                            file_path=local_file_path,
+                            path_in_repo=f"{folder}/old_versions/{file_name}"
+                        )
+                        # アップロードが問題なく完了したので削除
+                        os.remove(local_file_path)
+                        logger.info(f"Removed local old version file: {local_file_path}")
+                    except Exception as e:
+                        logger.error(f"Error uploading and removing old version file {local_file_path}: {e}")
+            # ### ここまで修正 ###
 
     def download_images(self, model_versions: list, folder: str):
         images_folder = os.path.join(folder, "images")