Add application file

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2024 ivanovot
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

app.py

@@ -0,0 +1,56 @@
+import gradio as gr
+from model import model  # Импортируем вашу модель
+
+# Токсичные и нетоксичные комментарии для тестирования
+examples = [
+    ["Страницу обнови, дебил. Это тоже не оскорбление, а доказанный факт - не-дебил про себя во множественном числе писать не будет. Или мы в тебя верим - это ты и твои воображаемые друзья?"],
+    ["УПАД Т! ТАМ НЕЛЬЗЯ СТРОИТЬ! ТЕХНОЛОГИЙ НЕТ! РАЗВОРУЮТ КАК ВСЕГДА! УЖЕ ТРЕЩИНАМИ ПОШ Л! ТУПЫЕ КИТАЗЫ НЕ МОГУТ НИЧЕГО НОРМАЛЬНО СДЕЛАТЬ!"],
+    ["хорош врать, ты террорист-торчёк-шизофреник пруф: а вот без костюма да чутка учёный, миллиардер, филантроп"],
+    ["Мне Вас очень жаль, если для Вас оскорбления - норма"],
+    ["Осторожней на сверхманёврах. В предыдущей методичке у вас было написано, что добрые арабы никогда ни с кем не воевали, только торговали пряностями, лел. Шапочку из фольги сними"],
+    ["Так то стоит около 12,5 тысяч, но мне вышло в 6636 рублей и бесплатная доставка"],
+    ["Ну хочешь я стану твоим другом? Как тебя зовут? Чем увлекаешься?"],
+    ["Ну так это в плане изготовления изделий своими руками,а вот готовить вроде умею.Короче буду сам на себе испытывать божественный напиток и куплю огнетушитель (промышленный на всякий случай)."],
+    ["Я согласен, что это хорошая идея! Давайте подумаем, как можно улучшить её еще больше."],
+    ["Очень полезная информация, спасибо за подробное объяснение! Я многому научился."],
+    ["Мне нравится, как вы объясняете! Это действительно помогает разобраться в теме."],
+    ["Отлично написано, теперь я лучше понимаю, как работать с этим инструментом."],
+    ["Классная идея! Надо попробовать и посмотреть, как это работает на практике."],
+    ["Ваши советы очень полезны. Это точно сэкономит мне время на следующий раз."],
+    ["Спасибо за ваши рекомендации! Я обязательно попробую это в будущем."],
+    ["Мне нравится ваше решение этой проблемы. Очень креативно и практично."],
+    ["Спасибо за помощь! Вы помогли мне разобраться в ситуации и сэкономить много времени."],
+    ["Согласен с вами, это действительно важный аспект, о котором стоит задуматься."],
+    ["Очень вдохновляющий пост! Я буду следовать вашим рекомендациям."],
+]
+
+# Функция для предсказания токсичности текста
+def predict_text(text):
+    word_count = len(text.split())
+    if word_count < 7:
+        return "Слишком короткий текст"
+    
+    output = model.predict(text)
+    return "Токсичный" if output == 1 else "Не токсичный"
+
+# Создаем интерфейс с улучшениями
+demo = gr.Interface(
+    fn=predict_text,  # Функция для предсказания
+    inputs=gr.Textbox(
+        label="Введите текст для проверки на токсичность",  # Подпись для текстового поля
+        placeholder="Напишите комментарий для анализа",     # Подсказка для поля ввода
+        lines=5,                                             # Количество строк для текста
+        interactive=True,                                    # Интерактивность для пользователя
+    ),
+    outputs=gr.Textbox(
+        label="Результат анализа",  # Подпись для вывода
+        placeholder="Результат токсичности текста будет здесь",  # Подсказка для вывода
+    ),
+    live=True,  # Включаем live обновление
+    examples=examples,  # Примеры для пользователей
+    title="Тестирование токсичности текста",  # Заголовок интерфейса
+    description="Введите любой текст, чтобы проверить его на токсичность. Модель проанализирует, является ли текст токсичным или нет.",  # Описание
+)
+
+# Запуск приложения с улучшенным интерфейсом
+demo.launch(server_name="127.0.0.1", server_port=7860)

main.py

@@ -0,0 +1,22 @@
+from fastapi import FastAPI, Query
+from model import model  # Импортируйте вашу модель
+
+app = FastAPI()
+
+@app.get("/", response_model=int)
+async def predict(text: str = Query(...)):
+    """
+    Эндпоинт для предсказания. Принимает текстовый параметр в запросе.
+    
+    :param text: текст для предсказания
+    :return: предсказание модели
+    """
+    # Получаем предсказание от модели
+    output = model.predict(text)
+    
+    # Возвращаем результат
+    return output
+
+if __name__ == "__main__":
+    import uvicorn
+    uvicorn.run(app, host="127.0.0.1", port=8000)

model.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d450dffd595a4046900b27864c6df703e62a658bf5e74e3a4230a2c86040f359
+size 732509954

model/__init__.py

@@ -0,0 +1 @@
+from .model import model

model/model.py

@@ -0,0 +1,68 @@
+import torch
+from transformers import BertTokenizer, BertModel
+import torch.nn as nn
+
+class PowerfulBinaryTextClassifier(nn.Module):
+    def __init__(self, model_name, lstm_hidden_size=256, num_layers=3, dropout_rate=0.2):
+        super(PowerfulBinaryTextClassifier, self).__init__()
+        self.bert = BertModel.from_pretrained(model_name)
+        
+        # Добавляем несколько LSTM слоев с большим размером скрытого состояния
+        self.lstm = nn.LSTM(input_size=self.bert.config.hidden_size, 
+                            hidden_size=lstm_hidden_size, 
+                            num_layers=num_layers, 
+                            batch_first=True, 
+                            bidirectional=True, 
+                            dropout=dropout_rate if num_layers > 1 else 0)
+        
+        # Полносвязный блок с увеличенным количеством нейронов и слоев Dropout
+        self.fc = nn.Sequential(
+            nn.Linear(lstm_hidden_size * 2, 2),  # полносвязный слой
+            nn.Sigmoid()
+        )
+        
+        self.tokenizer = BertTokenizer.from_pretrained(model_name)  # Инициализация токенизатора
+        
+        self.device = 'cuda' if torch.cuda.is_available() else 'cpu'
+
+    def forward(self, input_ids, attention_mask):
+        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
+        bert_outputs = outputs.last_hidden_state  # (batch_size, sequence_length, hidden_size)
+        
+        # Применяем LSTM
+        lstm_out, _ = self.lstm(bert_outputs)  # (batch_size, sequence_length, lstm_hidden_size * 2)
+        
+        # Берем выход последнего временного шага для классификации
+        last_time_step = lstm_out[:, -1, :]  # (batch_size, lstm_hidden_size * 2)
+        
+        logits = self.fc(last_time_step)  # Применяем полносвязный блок
+        
+        logits[:, 1] -= 0.995  # Умножаем логит для выбранного класса
+        
+        return logits  # Возвращаем логиты для двух классов
+
+    def predict(self, text):
+        self.to(self.device)  # Переносим модель на выбранное устройство
+        
+        # Токенизация текста
+        inputs = self.tokenizer(text, return_tensors="pt", padding=True, truncation=True, max_length=256)
+        input_ids = inputs['input_ids'].to(self.device)  # Переносим на устройство
+        attention_mask = inputs['attention_mask'].to(self.device)  # Переносим на устройство
+        
+        # Получение предсказания
+        self.eval()  # Переключаем модель в режим оценки
+        with torch.no_grad():
+            preds = self(input_ids, attention_mask)  # Получаем логиты
+        
+        # Возвращаем индекс класса с наибольшей вероятностью
+        return torch.argmax(preds, dim=1).item()  # Возвращаем индекс класса
+
+    def load_weights(self, filepath):
+        # Загрузка весов модели
+        self.load_state_dict(torch.load(filepath, map_location=self.device, weights_only=True))
+
+# Пример инициализации модели
+model_name = "DeepPavlov/rubert-base-cased"
+model = PowerfulBinaryTextClassifier(model_name)
+
+model.load_weights('model.pth')