rev app

app.py

@@ -82,7 +82,7 @@ else:
 
 ###@spaces.GPU
 def load_model():
-    global model, tokenizer
+    global model
     print("กำลังโหลดโมเดล...")
     try:
         # โหลด tokenizer จาก base model
@@ -115,7 +115,7 @@ def load_model():
         # FastVisionModel.for_inference(model)
         # print("โหลดโมเดลสำเร็จ!")
         # return True
-        from transformers import AutoModelForVision2Seq, AutoTokenizer
+        from transformers import AutoModelForVision2Seq
         import torch
 
         # print("กำลังโหลด tokenizer...")
@@ -129,19 +129,25 @@ def load_model():
         #     use_auth_token=True
         # )
 
-        print(f"2. ประเภทของ tokenizer: {type(tokenizer)}")
-        print(f"3. เมธอดที่มีใน tokenizer: {dir(tokenizer)}")
-        print("4. Global tokenizer after assignment:", type(tokenizer))
+        # print(f"2. ประเภทของ tokenizer: {type(tokenizer)}")
+        # print(f"3. เมธอดที่มีใน tokenizer: {dir(tokenizer)}")
+        # print("4. Global tokenizer after assignment:", type(tokenizer))
 
-        print("โหลด tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
+        # print("โหลด tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
 
         # โหลดโมเดล fine-tuned
         print("กำลังโหลดโมเดล fine-tuned...")
+        # model = AutoModelForVision2Seq.from_pretrained(
+        #     "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
+        #     device_map="auto",
+        #     torch_dtype=torch.float16
+        # ).to('cuda')
         model = AutoModelForVision2Seq.from_pretrained(
             "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
+            load_in_4bit = True,
             device_map="auto",
-            torch_dtype=torch.float16
-        ).to('cuda')
+            torch_dtype = torch.float16
+        )
 
         print("โหลดโมเดลสำเร็จ!")
         return True
@@ -158,7 +164,7 @@ def process_image(image):
     # import os
     # os.environ['TORCH_LOGS'] = '+dynamo'
     # os.environ['TORCHDYNAMO_VERBOSE'] = '1'
-    global model, tokenizer
+    global model
 
     ### โหลด tokenizer จาก base model
     from unsloth import FastVisionModel
@@ -174,8 +180,9 @@ def process_image(image):
     )
     ###
 
-    print("Type of model:", type(model))
+    
     print("\nใน process_image():")
+    print("Type of model:", type(model))
     print("A. Type of tokenizer:", type(tokenizer))
     if tokenizer is not None:
         print("B. Available methods:", dir(tokenizer))