rev app

app.py

@@ -12,21 +12,15 @@ try:
 except Exception as e:
     print(f"Failed to install packages: {e}")
 
-
-###
-# เพิ่มบรรทัดนี้ที่ต้นโค้ด ก่อน import torch
 import os
 os.environ['NVIDIA_VISIBLE_DEVICES'] = ''
-###
 
 import warnings
 import torch
 
-# เปลี่ยนแปลงที่ 1: เพิ่มการตั้งค่า dynamo ก่อน import unsloth
-torch._dynamo.config.suppress_errors = True
+torch._dynamo.config.suppress_errors = True 
 torch._dynamo.config.verbose = False
 
- 
 from transformers import TextStreamer
 import gradio as gr
 from huggingface_hub import login
@@ -34,92 +28,46 @@ from PIL import Image
 
 warnings.filterwarnings('ignore')
 
-model = None
-tokenizer = None
-
 if 'HUGGING_FACE_HUB_TOKEN' in os.environ:
     print("กำลังเข้าสู่ระบบ Hugging Face Hub...")
     login(token=os.environ['HUGGING_FACE_HUB_TOKEN'])
 else:
     print("คำเตือน: ไม่พบ HUGGING_FACE_HUB_TOKEN")
 
-# @spaces.GPU
-# def load_model():
-#     global model, tokenizer
-#     print("กำลังโหลดโมเดล...")
-#     try:
-#         from unsloth import FastVisionModel
-#         # โหลด base model และ tokenizer แบบพื้นฐาน
-#         base_model, tokenizer = FastVisionModel.from_pretrained(
-#             "unsloth/Llama-3.2-11B-Vision-Instruct"
-#         )
-        
-#         print("โหลด base model และ tokenizer สำเร็จ")
-        
-#         # โหลดโมเดล fine-tuned แบบพื้นฐาน
-#         from transformers import AutoModelForVision2Seq
-#         model = AutoModelForVision2Seq.from_pretrained(
-#             "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay"
-#         ).to('cuda')
-        
-#         print("โหลดโมเดลสำเร็จ!")
-#         return True
-#     except Exception as e:
-#         print(f"เกิดข้อผิดพลาดในการโหลดโมเดล: {str(e)}")
-#         import traceback
-#         traceback.print_exc()  # เพิ่มการแสดง stack trace
-#         return False
-
-@spaces.GPU
-def load_model():
-    global model, tokenizer
-    print("กำลังโหลดโมเดล...")
-    try:
-        # โหลด tokenizer จาก base model
-        from unsloth import FastVisionModel
-        from transformers import AutoTokenizer
-        print("กำลังโหลด tokenizer...")
-        base_model, _tokenizer = FastVisionModel.from_pretrained(
-            "unsloth/Llama-3.2-11B-Vision-Instruct",
-            use_gradient_checkpointing = "unsloth"
-        )
-        
-        tokenizer = _tokenizer  # กำหนดค่าให้ตัวแปร global โดยตรง
-        print(f"2. ประเภทของ tokenizer: {type(tokenizer)}")
-        print(f"3. เมธอดที่มีใน tokenizer: {dir(tokenizer)}")
-        print("4. Global tokenizer after assignment:", type(tokenizer))  # เช็คค่า
-        
-        print("โหลด base model และ tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
-        
-        # โหลดโมเดล fine-tuned
-        from transformers import AutoModelForVision2Seq
-        print("กำลังโหลดโมเดล fine-tuned...")
-        model = AutoModelForVision2Seq.from_pretrained(
-            "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
-            load_in_4bit=True,
-            torch_dtype=torch.float16
-        ).to('cuda')
-        
-        FastVisionModel.for_inference(model)
-        print("โหลดโมเดลสำเร็จ!")
-        return True
-        
-    except Exception as e:
-        print(f"เกิดข้อผิดพลาดในการโหลดโมเดล: {str(e)}")
-        import traceback
-        traceback.print_exc()
-        return False
-
-@spaces.GPU(duration=30)
-def process_image(image):
-    global model, tokenizer
-
-    print("Type of model:", type(model))
-    print("\nใน process_image():")
-    print("A. Type of tokenizer:", type(tokenizer))
-    if tokenizer is not None:
-        print("B. Available methods:", dir(tokenizer))
+def model_context():
+    _tokenizer = None
+    _model = None
     
+    def decorator(func):
+        def wrapper(*args, **kwargs):
+            nonlocal _tokenizer, _model
+            if _tokenizer is None:
+                print("กำลังโหลด tokenizer...")
+                from unsloth import FastVisionModel
+                base_model, _tokenizer = FastVisionModel.from_pretrained(
+                    "unsloth/Llama-3.2-11B-Vision-Instruct",
+                    use_gradient_checkpointing = "unsloth"
+                )
+                print("โหลด tokenizer สำเร็จ")
+
+            if _model is None:
+                print("กำลังโหลดโมเดล fine-tuned...")
+                from transformers import AutoModelForVision2Seq
+                _model = AutoModelForVision2Seq.from_pretrained(
+                    "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay",
+                    load_in_4bit=True,
+                    torch_dtype=torch.float16
+                ).to('cuda')
+                FastVisionModel.for_inference(_model)
+                print("โหลดโมเดลสำเร็จ!")
+
+            return func(_model, _tokenizer, *args, **kwargs)
+        return wrapper
+    return decorator
+
+@model_context()
+@spaces.GPU(duration=30)
+def process_image(_model, _tokenizer, image):
     if image is None:
         return "กรุณาอัพโหลดรูปภาพ"
     
@@ -127,7 +75,6 @@ def process_image(image):
         if not isinstance(image, Image.Image):
             image = Image.fromarray(image)
 
-        print("0. Image info:", type(image), image.size)  # เพิ่ม debug ข้อมูลรูปภาพ
         instruction = "You are an expert radiographer. Describe accurately what you see in this image."
         messages = [
             {"role": "user", "content": [
@@ -136,29 +83,17 @@ def process_image(image):
             ]}
         ]
 
-        # input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
-        # inputs = tokenizer(
-        #     image,
-        #     input_text,
-        #     add_special_tokens=False,
-        #     return_tensors="pt",
-        # ).to("cuda")
-        print("1. Messages:", messages)  
-
-        print("2. Tokenizer type:", type(tokenizer))
-        input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
-        print("3. Chat template success:", input_text[:100])
-        inputs = tokenizer(
+        input_text = _tokenizer.apply_chat_template(messages, add_generation_prompt=True)
+        inputs = _tokenizer(
             image,
             input_text,
             add_special_tokens=False,
             return_tensors="pt",
         ).to("cuda")
-        print("3. Tokenizer inputs:", inputs.keys())  # Debug 3
 
-        text_streamer = TextStreamer(tokenizer, skip_prompt=True)
-        outputs = model.generate(
-            **inputs, 
+        text_streamer = TextStreamer(_tokenizer, skip_prompt=True)
+        outputs = _model.generate(
+            **inputs,
             streamer=text_streamer,
             max_new_tokens=128,
             use_cache=True,
@@ -166,21 +101,18 @@ def process_image(image):
             min_p=0.1
         )
         
-        return tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
+        return _tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
         
     except Exception as e:
         return f"เกิดข้อผิดพลาด: {str(e)}"
 
 print("กำลังเริ่มต้นแอปพลิเคชัน...")
-if load_model():
-    demo = gr.Interface(
-        fn=process_image,
-        inputs=gr.Image(type="pil"),
-        outputs=gr.Textbox(),
-        title="Medical Vision Analysis"
-    )
-    
-    if __name__ == "__main__":
-        demo.launch()
-else:
-    print("ไม่สามารถเริ่มต้นแอปพลิเคชันได้")
+demo = gr.Interface(
+    fn=process_image,
+    inputs=gr.Image(type="pil"),
+    outputs=gr.Textbox(),
+    title="Medical Vision Analysis"
+)
+
+if __name__ == "__main__":
+    demo.launch()