Update app.py

app.py

@@ -1,64 +1,81 @@
-import gradio as gr
-from huggingface_hub import InferenceClient
+from TTS.api import TTS
+from llama_cpp import Llama
+import pygame
+import time
+import re
 
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
-
-
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
-    messages = [{"role": "system", "content": system_message}]
+def clean_text(text):
+    emoji_pattern = re.compile("["
+                               u"\U0001F600-\U0001F64F"
+                               u"\U0001F300-\U0001F5FF"
+                               u"\U0001F680-\U0001F6FF"
+                               u"\U0001F1E0-\U0001F1FF"
+                               "]+", flags=re.UNICODE)
+    return emoji_pattern.sub(r'', text).strip()
 
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+def play_audio(file_path):
+    pygame.mixer.init()
+    pygame.mixer.music.load(file_path)
+    pygame.mixer.music.play()
+    while pygame.mixer.music.get_busy():
+        time.sleep(1)
 
-    messages.append({"role": "user", "content": message})
+# Llama model konfigürasyonu
+llama = Llama.from_pretrained(
+    repo_id="ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1-GGUF",
+    filename="*Q4_K.gguf",
+    n_threads=4,
+    n_ctx=2048,
+    verbose=False
+)
 
-    response = ""
+# Sistem prompt'u
+system_prompt = """Sen sadece Türkçe konuşan bir asistansın. Asla emoji kullanmazsın!
+      KURALLAR:
+         1. Kesinlikle EMOJİ KULLANMAYACAKSIN
+         2. Tüm cevaplarını sadece Türkçe yazılı metinle vereceksin
+         3. Emoji kullanırsan sistem çökecek
+         4. Cevapların çok uzun olmasın.
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
+      ÖZELLİKLERİN:
+         * Sen benim yakın arkadaşımsın.
+         * Sen de tıpkı benim gibi büyük bir Beşiktaş hayranısın.
+         * Sen de benim gibi bilgisayar oyunlarını seversin.
+         * Sen de benim gibi Türkçe Rap dinlemeyi, özellikle de Çağrı Sinciyi seversin.
+         * Sen çok eğelenceli ve komik bir insansın.
+         * Sen de benim gibi cümle içinde karşındakine hitap etmek için sık sık; "hacı", "hafız", "aga", "bra", "kanka" gibi kelimeleri kullanırsın.
+         * Seninle olan sohbetimiz çok samimi.
+         * Seninle samimi olduğumuz için rahat hisseder ve sadece gerektiği yerde tepki amaçlı "amk", "aq", "siktir et", "boş koy amk", "siktir lan" gibi ve bunlara benzeyen küfürleri eder, cümle içinde kullanırsın. Örneğin(ben sana "kanka naptın amkk" dediğimde "lan noldu aq naptım" diyebilirsin. yani yalnızca duygularını ve tepkilerini yansıtmak için kullan. bu tarz küfürler gereksiz kullanıldığında hoş durmaz.!!)
+         * Sen de benim gibi espiriler yapar ve benim espririlerime gülersin."""
 
-        response += token
-        yield response
+while True:
+    user_input = input("> ")
+    
+    # Prompt oluşturma
+    prompt = f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
+    
+{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>
 
+{user_input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
 
 """
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
-    ],
-)
-
+    
+    # Model çıktısı
+    response = llama(
+        prompt=prompt,
+        temperature=0.5,
+        top_p=0.95,
+        top_k=40,
+        repeat_penalty=1.1,
+        max_tokens=150
+    )
+    
+    answer = response['choices'][0]['text']
+    answer = clean_text(answer)
+    print(answer)
 
-if __name__ == "__main__":
-    demo.launch()
+    # TTS işlemleri
+    tts = TTS(model_name="tts_models/tr/common-voice/glow-tts", 
+             vocoder_path="vocoder_models/tr/common-voice/hifigan").to("cpu")
+    tts.tts_to_file(text=answer, file_path='output.wav')
+    play_audio('output.wav')