Update app.py

app.py

@@ -1,96 +1,85 @@
-
 import streamlit as st
-from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer, AutoModelForTokenClassification
-from datasets import load_dataset
+from transformers import pipeline, AutoModelForSequenceClassification, AutoTokenizer, AutoModelForTokenClassification, AutoModelWithLMHead
 import pandas as pd
 
 st.set_page_config(layout="wide")
-from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline
-
-model_checkpoint = "model_checkpoint"  # PyTorch tabanlı model yolunu buraya ekleyin
-model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
-tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
-
-sentiment_pipeline = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)
 
+# Örnek metin listesi
+example_list = [
+    "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.",
+    "Bugün hava çok güzel ve enerjik hissediyorum.",
+    "Yapay zeka ve makine öğrenimi hakkında birçok gelişme var."
+]
 
-# Veriyi yükleme ve ön işleme
-@st.cache_resource
-def load_data():
-    dataset = load_dataset("WhiteAngelss/Turkce-Duygu-Analizi-Dataset")
-    return dataset
-
-dataset = load_data()
-st.title("Türkçe Sentiment Analizi ve Entity Tanıma Uygulaması")
+# Uygulama başlığı
+st.title("NLP Toolkit")
 
-# Örnek veri gösterme
-st.subheader("Örnek Veri")
-sample_df = pd.DataFrame(dataset['train'])
-st.write(sample_df.head())
+# Görev seçimi
+task_list = ['Metin Sınıflandırma', 'Metin Analizi', 'Duygu Analizi', 'Metin Oluşturma']
+task = st.sidebar.selectbox("Görev Seç", task_list)
 
-# Model seçim kısmı
-model_list = ['WhiteAngelss/entity-word-sentiment-analysis']
-st.sidebar.header("Model Seçimi")
-model_checkpoint = st.sidebar.radio("", model_list)
-
-st.sidebar.write("Model detayları için: 'https://huggingface.co/WhiteAngelss/entity-word-sentiment-analysis'")
-st.sidebar.write("")
-
-# Metin girdi yöntemi seçimi
-st.subheader("Metin Giriş Yöntemi Seçin")
-input_method = st.radio("", ('Örneklerden Seç', 'Yeni Metin Yaz veya Yapıştır'))
+# Metin giriş yöntemi
+st.subheader("Metin Giriş Yöntemi Seç")
+input_method = st.radio("", ('Örneklerden Seç', 'Metin Yaz veya Yapıştır', 'Dosya Yükle'))
 
 if input_method == 'Örneklerden Seç':
-    example_texts = dataset['train']['text'][:5]  # Veri kümesinden örnek metinler
-    selected_text = st.selectbox('Listeden Metin Seçin', example_texts)
-    st.subheader("Analiz Edilecek Metin")
-    input_text = st.text_area("Seçilen Metin", selected_text, height=128, max_chars=None)
-elif input_method == "Yeni Metin Yaz veya Yapıştır":
-    st.subheader("Analiz Edilecek Metin")
-    input_text = st.text_area('Aşağıya Metin Yazın veya Yapıştırın', value="", height=128, max_chars=None)
+    selected_text = st.selectbox('Metin Seç', example_list, index=0, key=1)
+    st.subheader("Seçilen Metin")
+    input_text = st.text_area("Metin", selected_text, height=128, max_chars=None, key=2)
+elif input_method == "Metin Yaz veya Yapıştır":
+    st.subheader("Metin")
+    input_text = st.text_area('Metin Yaz veya Yapıştır', value="", height=128, max_chars=None, key=2)
+elif input_method == "Dosya Yükle":
+    st.subheader("Metin")
+    uploaded_file = st.file_uploader("Dosya Seç", type="txt")
+    if uploaded_file is not None:
+        input_text = str(uploaded_file.read(), "utf-8")
+    else:
+        input_text = ""
 
-# Model ve tokenizer'ı yükleme
 @st.cache_resource
-def set_model(model_checkpoint):
-    # PyTorch tabanlı modelleri kullan
-    model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
-    tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
-    
-    # Named Entity Recognition (NER) için model
-    ner_model = AutoModelForTokenClassification.from_pretrained('dbmdz/bert-large-cased-finetuned-conll03-english')
-    ner_tokenizer = AutoTokenizer.from_pretrained('dbmdz/bert-large-cased-finetuned-conll03-english')
-    
-    return {
-        'sentiment_pipeline': pipeline('sentiment-analysis', model=model, tokenizer=tokenizer),
-        'ner_pipeline': pipeline('ner', model=ner_model, tokenizer=ner_tokenizer)
-    }
+def load_pipeline(model_name, task_type):
+    if task_type == "Metin Sınıflandırma":
+        model = AutoModelForSequenceClassification.from_pretrained(model_name)
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        return pipeline('text-classification', model=model, tokenizer=tokenizer)
+    elif task_type == "Metin Analizi":
+        model = AutoModelForTokenClassification.from_pretrained(model_name)
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        return pipeline('ner', model=model, tokenizer=tokenizer)
+    elif task_type == "Duygu Analizi":
+        model = AutoModelForSequenceClassification.from_pretrained(model_name)
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        return pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)
+    elif task_type == "Metin Oluşturma":
+        model = AutoModelWithLMHead.from_pretrained(model_name)
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        return pipeline('text-generation', model=model, tokenizer=tokenizer)
+
+# Görev ve modele göre pipeline yükleme
+model_dict = {
+    "Metin Sınıflandırma": "nlptown/bert-base-multilingual-uncased-sentiment",
+    "Metin Analizi": "dbmdz/bert-large-cased-finetuned-conll03-english",
+    "Duygu Analizi": "cardiffnlp/twitter-roberta-base-sentiment",
+    "Metin Oluşturma": "gpt2"
+}
+
+pipeline_model = load_pipeline(model_dict[task], task)
 
-# Analiz butonu
-run_button = st.button("Analiz Et")
+Run_Button = st.button("Çalıştır", key=None)
 
-if run_button and input_text:
-    pipelines = set_model(model_checkpoint)
-    
-    # Named Entity Recognition (NER) yapma
-    ner_pipeline = pipelines['ner_pipeline']
-    ner_output = ner_pipeline(input_text)
-    
-    # Sentiment analizi yapma
-    sentiment_pipeline = pipelines['sentiment_pipeline']
-    
-    # Entity bazında sonuçları toplama
-    results = []
-    for entity in ner_output:
-        entity_text = entity['word']
-        sentiment_output = sentiment_pipeline(entity_text)
-        
-        results.append({
-            'Entity': entity_text,
-            'Entity Sınıfı': entity['entity'],
-            'Sentiment': sentiment_output[0]['label'],
-            'Skor': sentiment_output[0]['score']
-        })
-    
-    st.subheader("Entity ve Sentiment Analizi Sonuçları")
-    results_df = pd.DataFrame(results)
-    st.write(results_df)
+if Run_Button and input_text != "":
+    if task in ["Metin Sınıflandırma", "Duygu Analizi"]:
+        output = pipeline_model(input_text)
+        df = pd.DataFrame(output)
+        st.subheader(f"{task} Sonuçları")
+        st.dataframe(df)
+    elif task == "Metin Analizi":
+        output = pipeline_model(input_text)
+        df = pd.DataFrame(output)
+        st.subheader("Tanımlanan Varlıklar")
+        st.dataframe(df)
+    elif task == "Metin Oluşturma":
+        output = pipeline_model(input_text, max_length=100, num_return_sequences=1)
+        st.subheader("Oluşturulan Metin")
+        st.write(output[0]['generated_text'])