Update app.py

app.py

@@ -7,7 +7,7 @@ import torch
 from diffusers import AudioLDMPipeline
 from transformers import AutoProcessor, ClapModel, BlipProcessor, BlipForConditionalGeneration
 
-# make Space compatible with CPU duplicates
+# Vérifier si une carte GPU est disponible
 if torch.cuda.is_available():
     device = "cuda"
     torch_dtype = torch.float16
@@ -15,28 +15,28 @@ else:
     device = "cpu"
     torch_dtype = torch.float32
 
-# load the diffusers pipeline
+# Charger le modèle AudioLDMPipeline
 repo_id = "cvssp/audioldm-m-full"
 pipe = AudioLDMPipeline.from_pretrained(repo_id, torch_dtype=torch_dtype).to(device)
 pipe.unet = torch.compile(pipe.unet)
 
-# CLAP model (only required for automatic scoring)
+# Charger le modèle CLAP pour la similarité audio-texte
 clap_model = ClapModel.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full").to(device)
 processor = AutoProcessor.from_pretrained("sanchit-gandhi/clap-htsat-unfused-m-full")
 
 generator = torch.Generator(device)
 
-# Charger le modèle et le processeur Blip pour la description d'images
+# Charger le modèle Blip pour la description d'images
 image_caption_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
 image_caption_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
 
-# Streamlit app setup
+# Configuration de l'application Streamlit
 st.set_page_config(
     page_title="Text to Media",
     page_icon="📷 🎵",
 )
 
-st.title("Générateur de Diaporama Vidéo et Musique")
+st.title("Générateur de Diaporama Vidéo avec Musique")
 
 # Sélectionnez les images
 uploaded_files = st.file_uploader("Sélectionnez des images (PNG, JPG, JPEG)", type=["png", "jpg", "jpeg"], accept_multiple_files=True)
@@ -70,7 +70,7 @@ if uploaded_files:
         st.image(image_path, caption=f"Description : {descriptions[i]}", use_column_width=True)
 
     # Créez une vidéo à partir des images
-    st.header("Création d'une Diapositive Vidéo")
+    st.header("Création d'une Diapositive Vidéo avec Musique")
 
     # Sélectionnez la durée d'affichage de chaque image avec une barre horizontale (en secondes)
     image_duration = st.slider("Sélectionnez la durée d'affichage de chaque image (en secondes)", 1, 10, 4)
@@ -85,9 +85,6 @@ if uploaded_files:
     final_clip_path = os.path.join(temp_dir, "slideshow.mp4")
     final_clip.write_videofile(final_clip_path, codec='libx264', fps=frame_rate)
 
-    # Afficher la vidéo
-    st.video(open(final_clip_path, 'rb').read())
-
     # Générez de la musique à partir des descriptions
     st.header("Génération de Musique à partir des Descriptions")
 
@@ -105,9 +102,9 @@ if uploaded_files:
         inputs = processor(text=text, audios=list(waveforms), return_tensors="pt", padding=True)
         inputs = {key: inputs[key].to(device) for key in inputs}
         with torch.no_grad():
-            logits_per_text = clap_model(**inputs).logits_per_text  # this is the audio-text similarity score
-            probs = logits_per_text.softmax(dim=-1)  # we can take the softmax to get the label probabilities
-            most_probable = torch.argmax(probs)  # and now select the most likely audio waveform
+            logits_per_text = clap_model(**inputs).logits_per_text  # il s'agit du score de similarité audio-texte
+            probs = logits_per_text.softmax(dim=-1)  # nous pouvons prendre le softmax pour obtenir les probabilités des étiquettes
+            most_probable = torch.argmax(probs)  # et maintenant sélectionner l'onde audio la plus probable
         waveform = waveforms[most_probable]
         return waveform
 
@@ -126,5 +123,12 @@ if uploaded_files:
         else:
             waveform = waveforms[0]
 
-        # Afficher le lecteur audio
-        st.audio(waveform, format="audio/wav", sample_rate=16000)
+        # Intégrer la musique dans la vidéo
+        final_clip = final_clip.set_audio(waveform.to("cpu").numpy())
+
+        # Afficher la vidéo mise à jour avec la musique
+        st.header("Vidéo avec Musique Générée")
+        video_with_music_path = os.path.join(temp_dir, "slideshow_with_music.mp4")
+        final_clip.write_videofile(video_with_music_path, codec='libx264', fps=frame_rate)
+
+        st.video(open(video_with_music_path, 'rb').read())