LoRA

app.py

@@ -94,9 +94,10 @@ def estimate_gpu_memory(model_name: str) -> str:
         if usedStorage_gb is not None:
             result_lines.append("")
             result_lines.append(f"参考までに、該当リポジトリのファイルサイズは合計 {usedStorage_gb:.2f} GBです。")
-            result_lines.append(f"仮にこれを全てモデルサイズとして推論時(1.5倍)、トレーニング時(4倍)の補正を適用すると概算GPUメモリ必要量は")
+            result_lines.append(f"これを全てモデルのデータとして仮定した場合、推論及び、トレーニングに必要な概算のGPUメモリサイズは")
             result_lines.append(f"【推論】約 {usedStorage_gb * 1.5:.2f} GB")
-            result_lines.append(f"【トレーニング】約 {usedStorage_gb * 4:.2f} GB")
+            result_lines.append(f"【トレーニング（LoRA）】約 {usedStorage_gb * 2:.2f} GB")
+            result_lines.append(f"【トレーニング（フルパラメータ）】約 {usedStorage_gb * 4:.2f} GB")
             result_lines.append("となります。")
         return "\n".join(result_lines)
 
@@ -118,11 +119,12 @@ def estimate_gpu_memory(model_name: str) -> str:
         if precision in parameters:
             result_lines.append(f"【{precision}】 {parameters[precision]:,}")
 
-    result_lines.append(f"これらを合算するとモデルのパラメータサイズは約 {estimated_gb:.2f} GB です。")
+    result_lines.append(f"これらを合算するとモデルのデータサイズは約 {estimated_gb:.2f} GB です。")
     result_lines.append("")
-    result_lines.append(f"推論時(1.5倍)、トレーニング時(4倍)の補正を適用すると概算GPUメモリ必要量は")
+    result_lines.append(f"推論及び、トレーニングに必要な概算のGPUメモリサイズは")
     result_lines.append(f"【推論】約 {estimated_gb * 1.5:.2f} GB")
-    result_lines.append(f"【トレーニング】約 {estimated_gb * 4:.2f} GB")
+    result_lines.append(f"【トレーニング（LoRA）】約 {estimated_gb * 2:.2f} GB")
+    result_lines.append(f"【トレーニング（フルパラメータ）】約 {estimated_gb * 4:.2f} GB")
     result_lines.append("となります。")
 
     # GPU選定のコメント
@@ -142,7 +144,7 @@ iface = gr.Interface(
     inputs=gr.Textbox(label="モデル名 (例: meta-llama/Llama-3.3-70B-Instruct)"),
     outputs="text",
     title="Model memory estimator",
-    description=("Hugging Face Hub APIから取得したsafetensorsの情報をもとに、すべてのパラメータのサイズを合計し、その合計値からGPUメモリの必要量を概算（GB単位）で計算します。")
+    description=("Hugging Face Hub APIから取得したsafetensorsの情報をもとに、すべてのパラメータのデータサイズを合計し、その合計値から必要なGPUメモリサイズを概算（GB単位）で計算します。")
 )
 
 iface.launch()