app.py

import gradio as gr
from transformers import pipeline
from gradio_client import Client  # 가정: gradio_client 라이브러리가 사용 가능하다.
import VisionEncoderDecoderModel, ViTImageProcessor, AutoTokenizer
import torch
from PIL import Image

model = VisionEncoderDecoderModel.from_pretrained("nlpconnect/vit-gpt2-image-captioning")
feature_extractor = ViTImageProcessor.from_pretrained("nlpconnect/vit-gpt2-image-captioning")
tokenizer = AutoTokenizer.from_pretrained("nlpconnect/vit-gpt2-image-captioning")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

max_length = 16
num_beams = 4
gen_kwargs = {"max_length": max_length, "num_beams": num_beams}
def predict_step(image_paths):
  images = []
  for image_path in image_paths:
    i_image = Image.open(image_path)
    if i_image.mode != "RGB":
      i_image = i_image.convert(mode="RGB")

    images.append(i_image)

  pixel_values = feature_extractor(images=images, return_tensors="pt").pixel_values
  pixel_values = pixel_values.to(device)

  output_ids = model.generate(pixel_values, **gen_kwargs)

  preds = tokenizer.batch_decode(output_ids, skip_special_tokens=True)
  preds = [pred.strip() for pred in preds]
  return preds


predict_step(pipeline)


# 이미지 인식 파이프라인 로드
image_model = pipeline("image-classification", model="google/vit-base-patch16-224")

def generate_music(prompt):
    # audioldm API 사용하여 음악 생성 API 호출
    client = Client("https://haoheliu-audioldm2-text2audio-text2music.hf.space/")
    result = client.predict(
        "playing piano.",	# str in 'Input text' Textbox component
        "Low quality.",	# str in 'Negative prompt' Textbox component
        5,	# int | float (numeric value between 5 and 15) in 'Duration (seconds)' Slider component
        5.5,	# int | float (numeric value between 0 and 7) in 'Guidance scale' Slider component
        5,	# int | float in 'Seed' Number component
        3,	# int | float (numeric value between 1 and 5) in 'Number waveforms to generate' Slider component
        fn_index=1
    )
    print(result)
    #audio_result = extract_audio(result)
    return result

def generate_voice(prompt):
    # Tango API를 사용하여 음성 생성
    client = Client("https://declare-lab-tango.hf.space/")
    result = client.predict(
        prompt,  # 이미지 분류 결과를 프롬프트로 사용
        100,  # Steps
        1,  # Guidance Scale
        api_name="/predict"  # API 엔드포인트 경로
    )
    # Tango API 호출 결과 처리
    # 예: result에서 음성 파일 URL 또는 데이터 추출
    return result

def classify_and_generate_voice(uploaded_image):
    # 이미지 분류
    predictions = image_model(uploaded_image)
    top_prediction = predictions[0]['label']  # 가장 확률이 높은 분류 결과
    
    # 음성 생성
    voice_result = generate_voice("this is " + top_prediction)
    # 음악 생성
    music_result = generate_music("The rnb beat of 85BPM drums." + top_prediction + ".")
    
    # 반환된 음성 및 음악 결과를 Gradio 인터페이스로 전달
    # 예: voice_result['url'] 또는 voice_result['audio_data'] 등
    return top_prediction, voice_result, music_result
    
# Gradio 인터페이스 생성
iface = gr.Interface(
    fn=classify_and_generate_voice,
    inputs=gr.Image(type="pil"),
    outputs=[gr.Label(), gr.Audio(), gr.Audio()],
    title="msVision_3",
    description="이미지를 업로드하면, 사물을 인식하고 해당하는 음성 및 음악을 생성합니다.(recognizes object and generate Voice&Music)",
    examples=["dog.jpg", "cat.png", "cafe.jpg"]
)


# 인터페이스 실행
iface.launch()