omeryentur commited on
Commit
97266bf
·
verified ·
1 Parent(s): a83d8a5

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +53 -55
app.py CHANGED
@@ -1,56 +1,54 @@
1
- import gradio as gr
2
- from transformers import AutoModelForCausalLM, AutoTokenizer
3
- import torch
4
- import torch.nn.functional as F
5
- from peft import (
6
- LoraConfig,
7
- PeftModel,
8
- prepare_model_for_kbit_training,
9
- get_peft_model,
10
- )
11
- model_name = "google/gemma-2-2b-it"
12
- lora_model_name="Anlam-Lab/gemma-2-2b-it-anlamlab-SA-Chatgpt4mini"
13
-
14
-
15
- device = "cuda" if torch.cuda.is_available() else "cpu"
16
- @torch.no_grad()
17
- def load_model():
18
- tokenizer = AutoTokenizer.from_pretrained(model_name)
19
- model = AutoModelForCausalLM.from_pretrained(
20
- model_name,
21
- device_map=device,
22
- torch_dtype=torch.float16 if device == "cuda" else torch.float32,
23
- low_cpu_mem_usage=True
24
- )
25
- model = PeftModel.from_pretrained(model, lora_model_name)
26
- model.eval()
27
- return model, tokenizer
28
-
29
- model, tokenizer = load_model()
30
-
31
- def generate_response(text):
32
- example = f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>Bir duygu analisti olarak sana verilen metinleri analiz et ve aşağıdaki kategorilerden yalnızca birini seçerek metnin duygu durumunu belirle:Positive,Negative,Neutral<|eot_id|><|start_header_id|>user<|end_header_id|>{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>"""
33
- inputs = tokenizer(example, return_tensors="pt")
34
- with torch.no_grad():
35
- start_time = time.time()
36
- model_output = model(**inputs)
37
- inference_time = time.time() - start_time
38
- logits = model_output.logits
39
- probabilities = F.softmax(logits, dim=-1)
40
- top_probs, top_tokens = torch.topk(probabilities[0, -1, :], k=10)
41
- predicted_label = tokenizer.decode(top_tokens[0])
42
- return predicted_label
43
-
44
- iface = gr.Interface(
45
- fn=generate_response,
46
- inputs=gr.Textbox(lines=5, placeholder="Metninizi buraya girin..."),
47
- outputs=gr.Textbox(lines=5, label="Model Çıktısı"),
48
- title="Anlam-Lab",
49
- examples=[
50
- ["Akıllı saati uzun süre kullandım ve şık tasarımı, harika sağlık takibi özellikleri ve uzun pil ömrüyle çok memnun kaldım."],
51
- ["Ürünü aldım ama pil ömrü kısa, ekran parlaklığı yetersiz ve sağlık takibi doğru sonuçlar vermedi."],
52
- ]
53
- )
54
-
55
- if __name__ == "__main__":
56
  iface.launch()
 
1
+ import gradio as gr
2
+ from transformers import AutoModelForCausalLM, AutoTokenizer
3
+ import torch
4
+ import torch.nn.functional as F
5
+ from peft import (
6
+ LoraConfig,
7
+ PeftModel,
8
+ prepare_model_for_kbit_training,
9
+ get_peft_model,
10
+ )
11
+ model_name = "google/gemma-2-2b-it"
12
+ lora_model_name="Anlam-Lab/gemma-2-2b-it-anlamlab-SA-Chatgpt4mini"
13
+
14
+
15
+ device = "cuda" if torch.cuda.is_available() else "cpu"
16
+ @torch.no_grad()
17
+ def load_model():
18
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
19
+ model = AutoModelForCausalLM.from_pretrained(
20
+ model_name,
21
+ device_map=device,
22
+ torch_dtype=torch.float16 if device == "cuda" else torch.float32,
23
+ low_cpu_mem_usage=True
24
+ )
25
+ model = PeftModel.from_pretrained(model, lora_model_name)
26
+ model.eval()
27
+ return model, tokenizer
28
+
29
+ model, tokenizer = load_model()
30
+
31
+ def generate_response(text):
32
+ example = f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>Bir duygu analisti olarak sana verilen metinleri analiz et ve aşağıdaki kategorilerden yalnızca birini seçerek metnin duygu durumunu belirle:Positive,Negative,Neutral<|eot_id|><|start_header_id|>user<|end_header_id|>{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>"""
33
+ inputs = tokenizer(example, return_tensors="pt")
34
+ with torch.no_grad():
35
+ model_output = model(**inputs)
36
+ logits = model_output.logits
37
+ probabilities = F.softmax(logits, dim=-1)
38
+ top_probs, top_tokens = torch.topk(probabilities[0, -1, :], k=10)
39
+ predicted_label = tokenizer.decode(top_tokens[0])
40
+ return predicted_label
41
+
42
+ iface = gr.Interface(
43
+ fn=generate_response,
44
+ inputs=gr.Textbox(lines=5, placeholder="Metninizi buraya girin..."),
45
+ outputs=gr.Textbox(lines=5, label="Model Çıktısı"),
46
+ title="Anlam-Lab",
47
+ examples=[
48
+ ["Akıllı saati uzun süre kullandım ve şık tasarımı, harika sağlık takibi özellikleri ve uzun pil ömrüyle çok memnun kaldım."],
49
+ ["Ürünü aldım ama pil ömrü kısa, ekran parlaklığı yetersiz ve sağlık takibi doğru sonuçlar vermedi."],
50
+ ]
51
+ )
52
+
53
+ if __name__ == "__main__":
 
 
54
  iface.launch()