rev app

app.py

@@ -76,33 +76,55 @@ def load_model():
     print("กำลังโหลดโมเดล...")
     try:
         # โหลด tokenizer จาก base model
-        from unsloth import FastVisionModel
-        from transformers import AutoTokenizer
+        # from unsloth import FastVisionModel
+        # from transformers import AutoTokenizer
+        # print("กำลังโหลด tokenizer...")
+        # base_model, _tokenizer = FastVisionModel.from_pretrained(
+        #     "unsloth/Llama-3.2-11B-Vision-Instruct",
+        #     use_gradient_checkpointing = "unsloth",
+        #     device_map="auto"  ### เพิ่มตรงนี้
+        # )
+        
+        # tokenizer = _tokenizer  # กำหนดค่าให้ตัวแปร global โดยตรง
+        # print(f"2. ประเภทของ tokenizer: {type(tokenizer)}")
+        # print(f"3. เมธอดที่มีใน tokenizer: {dir(tokenizer)}")
+        # print("4. Global tokenizer after assignment:", type(tokenizer))  # เช็คค่า
+        
+        # print("โหลด base model และ tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
+        
+        # # โหลดโมเดล fine-tuned
+        # from transformers import AutoModelForVision2Seq
+        # print("กำลังโหลดโมเดล fine-tuned...")
+        # model = AutoModelForVision2Seq.from_pretrained(
+        #     "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
+        #     device_map="auto",  ### เพิ่มตรงนี้
+        #     ###load_in_4bit=True,
+        #     torch_dtype=torch.float16
+        # ).to('cuda')
+        
+        # FastVisionModel.for_inference(model)
+        # print("โหลดโมเดลสำเร็จ!")
+        # return True
+        from transformers import AutoModelForVision2Seq, AutoTokenizer
+        import torch
+
         print("กำลังโหลด tokenizer...")
-        base_model, _tokenizer = FastVisionModel.from_pretrained(
-            "unsloth/Llama-3.2-11B-Vision-Instruct",
-            use_gradient_checkpointing = "unsloth",
-            device_map="auto"  ### เพิ่มตรงนี้
+        tokenizer = AutoTokenizer.from_pretrained(
+            "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
+            trust_remote_code=True
         )
-        
-        tokenizer = _tokenizer  # กำหนดค่าให้ตัวแปร global โดยตรง
+
         print(f"2. ประเภทของ tokenizer: {type(tokenizer)}")
         print(f"3. เมธอดที่มีใน tokenizer: {dir(tokenizer)}")
-        print("4. Global tokenizer after assignment:", type(tokenizer))  # เช็คค่า
-        
-        print("โหลด base model และ tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
-        
-        # โหลดโมเดล fine-tuned
-        from transformers import AutoModelForVision2Seq
+        print("4. Global tokenizer after assignment:", type(tokenizer))
+
         print("กำลังโหลดโมเดล fine-tuned...")
         model = AutoModelForVision2Seq.from_pretrained(
             "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
-            device_map="auto",  ### เพิ่มตรงนี้
-            ###load_in_4bit=True,
+            device_map="auto",
             torch_dtype=torch.float16
         ).to('cuda')
-        
-        FastVisionModel.for_inference(model)
+
         print("โหลดโมเดลสำเร็จ!")
         return True