rev app

app.py

@@ -1,53 +1,52 @@
 import os
+import sys
+import subprocess
+
+def install_packages():
+    subprocess.check_call([sys.executable, "-m", "pip", "install", "unsloth-zoo"])
+    subprocess.check_call([sys.executable, "-m", "pip", "install", "--no-deps", "git+https://github.com/unslothai/unsloth.git"])
+
+try:
+    install_packages()
+except Exception as e:
+    print(f"Failed to install packages: {e}")
+
 import warnings
 import torch
-import gc
-from transformers import AutoModelForVision2Seq, AutoProcessor
-from peft import PeftModel
-from PIL import Image
+
+# เปลี่ยนแปลงที่ 1: เพิ่มการตั้งค่า dynamo ก่อน import unsloth
+torch._dynamo.config.suppress_errors = True
+torch._dynamo.config.verbose = False
+
+from unsloth import FastVisionModel 
+from transformers import TextStreamer
 import gradio as gr
 from huggingface_hub import login
-import spaces  # เพิ่ม import spaces
+import spaces
+from PIL import Image
 
-# Basic settings
 warnings.filterwarnings('ignore')
 
-# Global variables
 model = None
-processor = None
+tokenizer = None
 
-# Login to Hugging Face Hub
 if 'HUGGING_FACE_HUB_TOKEN' in os.environ:
     print("กำลังเข้าสู่ระบบ Hugging Face Hub...")
     login(token=os.environ['HUGGING_FACE_HUB_TOKEN'])
 else:
     print("คำเตือน: ไม่พบ HUGGING_FACE_HUB_TOKEN")
 
-def load_model_and_processor():
-    """โหลดโมเดลและ processor"""
-    global model, processor
-    print("กำลังโหลดโมเดลและ processor...")
+# เปลี่ยนแปลงที่ 2: ลบ use_auth_token ออกจากการโหลดโมเดล
+def load_model():
+    global model, tokenizer
+    print("กำลังโหลดโมเดล...")
     try:
-        ### 
-        from unsloth import FastVisionModel
-        from transformers import AutoModelForVision2Seq, TextStreamer
-        ###
-        # Model paths
-        ### base_model_path = "meta-llama/Llama-3.2-11B-Vision-Instruct"
-        ### adapter_path = "Aekanun/Llama-3.2-11B-Vision-Instruct-XRay"
-
-        # Load processor from base model
-        print("กำลังโหลด processor...")
-        ###processor = AutoProcessor.from_pretrained(
-        ###    base_model_path, 
-        ###    use_auth_token=True
-        ###)
-
+        # โหลด base model และ tokenizer
         base_model, tokenizer = FastVisionModel.from_pretrained(
             "unsloth/Llama-3.2-11B-Vision-Instruct",
             use_gradient_checkpointing = "unsloth"
         )
-
+        
         print("โหลด base model และ tokenizer สำเร็จ กำลังโหลดโมเดลที่ fine-tune...")
         
         # ปิด FastVisionModel และโหลด model โดยตรง
@@ -66,68 +65,58 @@ def load_model_and_processor():
         print(f"เกิดข้อผิดพลาดในการโหลดโมเดล: {str(e)}")
         return False
 
-@spaces.GPU(duration=30)  # ใช้ GPU decorator กำหนดเวลาสูงสุด 30 วินาที
-def process_handwriting(image):
-    """ฟังก์ชันสำหรับ Gradio interface"""
-    global model, processor
+@spaces.GPU(duration=30)
+def process_image(image):
+    global model, tokenizer
     
     if image is None:
         return "กรุณาอัพโหลดรูปภาพ"
     
     try:
-        # Ensure image is in PIL format
         if not isinstance(image, Image.Image):
             image = Image.fromarray(image)
-        
-        # Create prompt
-        prompt = """Transcribe the Thai handwritten text from the provided image.
-Only return the transcription in Thai language."""
-        
-        # Create model inputs
+
+        instruction = "You are an expert radiographer. Describe accurately what you see in this image."
         messages = [
-            {
-                "role": "user",
-                "content": [
-                    {"type": "text", "text": prompt},
-                    {"type": "image", "image": image}
-                ],
-            }
+            {"role": "user", "content": [
+                {"type": "image"},
+                {"type": "text", "text": instruction}
+            ]}
         ]
+
+        input_text = tokenizer.apply_chat_template(messages, add_generation_prompt=True)
+        inputs = tokenizer(
+            image,
+            input_text,
+            add_special_tokens=False,
+            return_tensors="pt",
+        ).to("cuda")
+
+        text_streamer = TextStreamer(tokenizer, skip_prompt=True)
+        outputs = model.generate(
+            **inputs, 
+            streamer=text_streamer,
+            max_new_tokens=128,
+            use_cache=True,
+            temperature=1.5,
+            min_p=0.1
+        )
         
-        # Process with model
-        text = processor.apply_chat_template(messages, tokenize=False)
-        inputs = processor(text=text, images=image, return_tensors="pt")
-        inputs = {k: v.to(model.device) for k, v in inputs.items()}
-        
-        # Generate
-        with torch.no_grad():
-            outputs = model.generate(
-                **inputs,
-                max_new_tokens=512, ##256
-                do_sample=False,
-                pad_token_id=processor.tokenizer.pad_token_id
-            )
+        return tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
         
-        # Decode output
-        transcription = processor.decode(outputs[0], skip_special_tokens=True)
-        return transcription.strip()
     except Exception as e:
         return f"เกิดข้อผิดพลาด: {str(e)}"
 
-# Initialize application
 print("กำลังเริ่มต้นแอปพลิเคชัน...")
-if load_model_and_processor():
-    # Create Gradio interface
+if load_model():
     demo = gr.Interface(
-        fn=process_handwriting,
-        inputs=gr.Image(type="pil", label="อัพโหลดรูปลายมือเขียนภาษาไทย"),
-        outputs=gr.Textbox(label="ข้อความที่แปลงได้"),
-        title="Thai Handwriting Recognition and Vision-Language",
-        description="อัพโหลดรูปภาพลายมือเขียนภาษาไทยเพื่อแปลงเป็นข้อความ",
-        examples=[["example1.jpg"], ["example2.jpg"]]
+        fn=process_image,
+        inputs=gr.Image(type="pil"),
+        outputs=gr.Textbox(),
+        title="Medical Vision Analysis"
     )
     
     if __name__ == "__main__":
-        demo.launch(show_error=True)
+        demo.launch()
 else:
     print("ไม่สามารถเริ่มต้นแอปพลิเคชันได้")