Update app.py

app.py

@@ -22,7 +22,7 @@ def generate_caption(image, prompt):
             max_new_tokens=128,
             eos_token_id=32001,
             pad_token_id=processor.tokenizer.pad_token_id
-        )
+        ).to('cuda')
 
     prompt_len = inputs["input_ids"].shape[1]
     decoded_text = processor.batch_decode(output[:, prompt_len:])[0]