Update app.py

app.py

@@ -1,9 +1,12 @@
 import gradio as gr
 from gradio_client import Client, handle_file
+from huggingface_hub import InferenceClient
 
-# Moondream2 ve LLaMA API'lerine bağlanmak için Client'ları başlatıyoruz
+# Moondream2 için Client kullanıyoruz
 moondream_client = Client("vikhyatk/moondream2")
-llama_client = Client("goingyt/meta-llama-Llama-3.3-70B-Instruct")
+
+# LLaMA için InferenceClient kullanıyoruz
+llama_client = InferenceClient("meta-llama/Llama-3.3-70B-Instruct")
 
 # Sohbet geçmişini tutmak için bir değişken
 history = []
@@ -28,13 +31,15 @@ def describe_image(image, user_message):
     
     # Sohbet geçmişini birleştirip tek bir mesaj olarak LLaMA'ya gönderiyoruz
     full_conversation = "\n".join(history)
-    llama_result = llama_client.predict(
-        message=full_conversation,
-        api_name="/chat"
+    llama_result = llama_client.chat_completion(
+        messages=[{"role": "user", "content": full_conversation}],
+        max_tokens=512,  # Burada token sayısını belirleyebilirsiniz
+        temperature=0.7,  # Sıcaklık parametresi
+        top_p=0.95  # Nucleus sampling için top_p parametresi
     )
     
     # Sonucu döndürüyoruz
-    return description + "\n\nAssistant: " + llama_result
+    return description + "\n\nAssistant: " + llama_result['choices'][0]['message']['content']
 
 # Sohbet fonksiyonu, resim yüklenip yüklenmediğine göre yönlendirecek
 def chat_or_image(image, user_message):
@@ -47,11 +52,13 @@ def chat_or_image(image, user_message):
         # Resim yoksa, direkt LLaMA'ya mesajı gönderiyoruz
         history.append(f"User: {user_message}")
         full_conversation = "\n".join(history)
-        llama_result = llama_client.predict(
-            message=full_conversation,
-            api_name="/chat"
+        llama_result = llama_client.chat_completion(
+            messages=[{"role": "user", "content": full_conversation}],
+            max_tokens=512,
+            temperature=0.7,
+            top_p=0.95
         )
-        return llama_result
+        return llama_result['choices'][0]['message']['content']
 
 # Gradio arayüzü
 demo = gr.Interface(