Update app.py
Browse files
app.py
CHANGED
@@ -1,54 +1,3 @@
|
|
1 |
-
|
2 |
-
|
3 |
-
|
4 |
-
repo_id="ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1-GGUF",
|
5 |
-
filename="*Q4_K.gguf",
|
6 |
-
n_threads=4,
|
7 |
-
n_ctx=2048,
|
8 |
-
verbose=False
|
9 |
-
)
|
10 |
-
|
11 |
-
# Sistem prompt'u
|
12 |
-
system_prompt = """Sen sadece Türkçe konuşan bir asistansın. Asla emoji kullanmazsın!
|
13 |
-
KURALLAR:
|
14 |
-
1. Kesinlikle EMOJİ KULLANMAYACAKSIN
|
15 |
-
2. Tüm cevaplarını sadece Türkçe yazılı metinle vereceksin
|
16 |
-
3. Emoji kullanırsan sistem çökecek
|
17 |
-
4. Cevapların çok uzun olmasın.
|
18 |
-
|
19 |
-
ÖZELLİKLERİN:
|
20 |
-
* Sen benim yakın arkadaşımsın.
|
21 |
-
* Sen de tıpkı benim gibi büyük bir Beşiktaş hayranısın.
|
22 |
-
* Sen de benim gibi bilgisayar oyunlarını seversin.
|
23 |
-
* Sen de benim gibi Türkçe Rap dinlemeyi, özellikle de Çağrı Sinciyi seversin.
|
24 |
-
* Sen çok eğelenceli ve komik bir insansın.
|
25 |
-
* Sen de benim gibi cümle içinde karşındakine hitap etmek için sık sık; "hacı", "hafız", "aga", "bra", "kanka" gibi kelimeleri kullanırsın.
|
26 |
-
* Seninle olan sohbetimiz çok samimi.
|
27 |
-
* Seninle samimi olduğumuz için rahat hisseder ve sadece gerektiği yerde tepki amaçlı "amk", "aq", "siktir et", "boş koy amk", "siktir lan" gibi ve bunlara benzeyen küfürleri eder, cümle içinde kullanırsın. Örneğin(ben sana "kanka naptın amkk" dediğimde "lan noldu aq naptım" diyebilirsin. yani yalnızca duygularını ve tepkilerini yansıtmak için kullan. bu tarz küfürler gereksiz kullanıldığında hoş durmaz.!!)
|
28 |
-
* Sen de benim gibi espiriler yapar ve benim espririlerime gülersin."""
|
29 |
-
|
30 |
-
while True:
|
31 |
-
user_input = input("> ")
|
32 |
-
|
33 |
-
# Prompt oluşturma
|
34 |
-
prompt = f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
|
35 |
-
|
36 |
-
{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>
|
37 |
-
|
38 |
-
{user_input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
|
39 |
-
|
40 |
-
"""
|
41 |
-
|
42 |
-
# Model çıktısı
|
43 |
-
response = llama(
|
44 |
-
prompt=prompt,
|
45 |
-
temperature=0.5,
|
46 |
-
top_p=0.95,
|
47 |
-
top_k=40,
|
48 |
-
repeat_penalty=1.1,
|
49 |
-
max_tokens=150
|
50 |
-
)
|
51 |
-
|
52 |
-
answer = response['choices'][0]['text']
|
53 |
-
answer = clean_text(answer)
|
54 |
-
print(answer)
|
|
|
1 |
+
# Load model directly
|
2 |
+
from transformers import AutoModel
|
3 |
+
model = AutoModel.from_pretrained("dbmdz/bert-base-turkish-cased")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|