Update app.py

app.py

@@ -5,8 +5,11 @@ from threading import Thread
 import time
 import torch
 import spaces
+import cv2
+from pathlib import Path
+from PIL import Image
 
-MODEL_ID = "Qwen/Qwen2.5-VL-7B-Instruct" #else ; MODEL_ID = "Qwen/Qwen2.5-VL-3B-Instruct"
+MODEL_ID = "Qwen/Qwen2.5-VL-7B-Instruct"  # или "Qwen/Qwen2.5-VL-3B-Instruct"
 processor = AutoProcessor.from_pretrained(MODEL_ID, trust_remote_code=True)
 model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
     MODEL_ID,
@@ -14,28 +17,65 @@ model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
     torch_dtype=torch.bfloat16
 ).to("cuda").eval()
 
+# Функция для извлечения нескольких кадров из видео
+def extract_frames(video_path, interval=2.0):
+    """
+    Извлекает кадры из видео через каждые `interval` секунд.
+    """
+    cap = cv2.VideoCapture(video_path)
+    frames = []
+    fps = cap.get(cv2.CAP_PROP_FPS)
+    if fps == 0:
+        fps = 25  # запасное значение
+    frame_interval = int(fps * interval)
+    frame_count = 0
+    while True:
+        ret, frame = cap.read()
+        if not ret:
+            break
+        if frame_count % frame_interval == 0:
+            frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
+            frames.append(Image.fromarray(frame))
+        frame_count += 1
+    cap.release()
+    return frames
+
 @spaces.GPU
 def model_inference(input_dict, history):
     text = input_dict["text"]
     files = input_dict["files"]
 
-    # Load images if provided
-    if len(files) > 1:
-        images = [load_image(image) for image in files]
-    elif len(files) == 1:
-        images = [load_image(files[0])]
-    else:
-        images = []
+    images = []
+    video_extensions = [".mp4", ".avi", ".mov", ".mkv"]
+    
+    if files:
+        for file in files:
+            ext = Path(file).suffix.lower()
+            if ext in video_extensions:
+                try:
+                    # Извлекаем несколько кадров из видео
+                    frames = extract_frames(file, interval=2.0)
+                    if frames:
+                        # Можно передать все извлечённые кадры
+                        images.extend(frames)
+                    else:
+                        gr.Error("Не удалось извлечь кадры из видео.")
+                        return
+                except Exception as e:
+                    gr.Error(f"Ошибка при обработке видеофайла: {e}")
+                    return
+            else:
+                images.append(load_image(file))
 
-    # Validate input
+    # Проверка входных данных
     if text == "" and not images:
-        gr.Error("Please input a query and optionally image(s).")
+        gr.Error("Пожалуйста, введите запрос и, опционально, прикрепите изображение/видео.")
         return
     if text == "" and images:
-        gr.Error("Please input a text query along with the image(s).")
+        gr.Error("Пожалуйста, введите текстовый запрос вместе с изображением/видео.")
         return
 
-    # Prepare messages for the model
+    # Подготовка сообщений для модели
     messages = [
         {
             "role": "user",
@@ -46,7 +86,7 @@ def model_inference(input_dict, history):
         }
     ]
 
-    # Apply chat template and process inputs
+    # Применяем шаблон чата и подготавливаем входные данные
     prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
     inputs = processor(
         text=[prompt],
@@ -55,40 +95,40 @@ def model_inference(input_dict, history):
         padding=True,
     ).to("cuda")
 
-    # Set up streamer for real-time output
+    # Настраиваем стриминг вывода в реальном времени
     streamer = TextIteratorStreamer(processor, skip_prompt=True, skip_special_tokens=True)
     generation_kwargs = dict(inputs, streamer=streamer, max_new_tokens=1024)
 
-    # Start generation in a separate thread
+    # Запускаем генерацию в отдельном потоке
     thread = Thread(target=model.generate, kwargs=generation_kwargs)
     thread.start()
 
-    # Stream the output
+    # Стримим вывод
     buffer = ""
-    yield "Thinking..."
+    yield "Думаю..."
     for new_text in streamer:
         buffer += new_text
         time.sleep(0.01)
         yield buffer
 
-
-# Example inputs
+# Примеры входных данных
 examples = [
-    [{"text": "Describe the document?", "files": ["example_images/document.jpg"]}],
-    [{"text": "What does this say?", "files": ["example_images/math.jpg"]}],
-    [{"text": "What is this UI about?", "files": ["example_images/s2w_example.png"]}],
-    [{"text": "Where do the severe droughts happen according to this diagram?", "files": ["example_images/examples_weather_events.png"]}],
-
+    [{"text": "Опиши документ?", "files": ["example_images/document.jpg"]}],
+    [{"text": "Что написано на изображении?", "files": ["example_images/math.jpg"]}],
+    [{"text": "О чем этот UI?", "files": ["example_images/s2w_example.png"]}],
+    [{"text": "Где происходят сильные засухи по диаграмме?", "files": ["example_images/examples_weather_events.png"]}],
+    # Пример с видео (убедитесь, что файл существует)
+    # [{"text": "Найди нужный объект в видео.", "files": ["example_videos/sample.mp4"]}],
 ]
 
 demo = gr.ChatInterface(
     fn=model_inference,
-    description="# **Qwen2.5-VL-7B-Instruct**",
+    description="# **Qwen2.5-VL-7B-Instruct**\nТеперь можно анализировать и видео, извлекая несколько кадров.",
     examples=examples,
-    textbox=gr.MultimodalTextbox(label="Query Input", file_types=["image", "video"], file_count="multiple"),
-    stop_btn="Stop Generation",
+    textbox=gr.MultimodalTextbox(label="Запрос (текст + изображение/видео)", file_types=["image", "video"], file_count="multiple"),
+    stop_btn="Остановить генерацию",
     multimodal=True,
     cache_examples=False,
 )
 
-demo.launch(debug=True)
+demo.launch(debug=True)