Update app.py

app.py

@@ -64,7 +64,7 @@ current_request_index = -1  # Изначально указывает на по
 
 
 def download_current_message_database():
-    # Сопоставление репозиториев GitHub и авторов
+    # Mapping of GitHub repositories and authors
     repos = {
         'Storage_1': 'Редакторы',
         'Storage_Ira': 'Ира',
@@ -72,13 +72,13 @@ def download_current_message_database():
         'Storage_Sveta': 'Света'
     }
 
-    # Базовый URL GitHub API
+    # Base GitHub API URL
     base_url = 'https://api.github.com/repos/fruitpicker01/{repo}/contents'
 
     data_list = []
 
     headers = {
-        "Authorization": f"token {token}",  # 'token' из ваших переменных окружения
+        "Authorization": f"token {token}",
         "Content-Type": "application/json"
     }
 
@@ -87,22 +87,22 @@ def download_current_message_database():
         response = requests.get(url, headers=headers)
         if response.status_code == 200:
             files = response.json()
-            # Фильтруем файлы, начинающиеся с 'file'
+            # Filter files starting with 'file' and ending with '.json'
             json_files = [file for file in files if file['name'].startswith("file") and file['name'].endswith('.json')]
             for file_info in json_files:
                 file_name = file_info['name']
                 file_url = file_info['download_url']
 
-                # Извлекаем timestamp из имени файла
+                # Extract timestamp from filename
                 try:
                     timestamp = file_name.split('_')[1].split('.')[0]
-                    # Добавляем 3 часа к времени
+                    # Add 3 hours to the time
                     save_date = datetime.utcfromtimestamp(int(timestamp)) + timedelta(hours=3)
                     save_date = save_date.strftime('%Y-%m-%d %H:%M:%S')
                 except:
-                    save_date = None  # или установить значение по умолчанию
+                    save_date = None  # or set default value
 
-                # Загружаем и декодируем содержимое файла
+                # Download and decode file content
                 file_response = requests.get(file_url)
                 if file_response.status_code == 200:
                     data = json.loads(file_response.text)
@@ -111,21 +111,21 @@ def download_current_message_database():
                     normalized_data['Автор'] = author
                     data_list.append(normalized_data)
                 else:
-                    print(f"Ошибка при загрузке файла {file_name} из репозитория {repo_name}: {file_response.status_code}")
+                    print(f"Error downloading file {file_name} from repository {repo_name}: {file_response.status_code}")
         else:
-            print(f"Ошибка при доступе к репозиторию {repo_name}: {response.status_code}")
+            print(f"Error accessing repository {repo_name}: {response.status_code}")
 
     if data_list:
         df = pd.concat(data_list, ignore_index=True)
-        # Преобразуем 'Дата сохранения' в datetime и корректируем на +3 часа
+        # Convert 'Дата сохранения' to datetime and adjust by +3 hours
         df['Дата сохранения'] = pd.to_datetime(df['Дата сохранения'], format='%Y-%m-%d %H:%M:%S', errors='coerce')
 
-        # Удаляем дубликаты
+        # Remove duplicates
         df.drop_duplicates(inplace=True)
-        # Сортируем по 'Дата сохранения' по убыванию
+        # Sort by 'Дата сохранения' descending
         df.sort_values(by='Дата сохранения', ascending=False, inplace=True)
 
-        # Устанавливаем порядок столбцов
+        # Set column order
         desired_columns = [
             "Модель", "Автор", "Дата сохранения", "Персонализированное сообщение",
             "Комментарий", "Откорректированное сообщение", "Описание предложения",
@@ -135,33 +135,29 @@ def download_current_message_database():
             "Персонализированный промпт"
         ]
 
-        # Проверяем, что все указанные столбцы есть в DataFrame
+        # Ensure all specified columns are in the DataFrame
         existing_columns = [col for col in desired_columns if col in df.columns]
         df = df[existing_columns]
 
-        # Сохраняем Excel-файл в памяти
+        # Save Excel file in memory
         output = io.BytesIO()
         with pd.ExcelWriter(output, engine='openpyxl') as writer:
             df.to_excel(writer, index=False)
 
-            # Получаем рабочий ��ист
+            # Get worksheet
             workbook = writer.book
             worksheet = writer.sheets['Sheet1']
 
-            # Настройка ширины столбцов и переноса текста
+            # Adjust column widths and text wrapping
             from openpyxl.styles import Alignment
 
-            # Столбцы для установки ширины по содержимому
+            # Columns to fit content width
             columns_fit_content = ["Модель", "Автор", "Дата сохранения", "Пол", "Поколение", "Психотип", "Стадия бизнеса", "ОПФ"]
-            # Столбцы для установки ширины и переноса текста
+            # Columns to set fixed width and wrap text
             columns_wrap_text = ["Персонализированное сообщение", "Комментарий", "Откорректированное сообщение"]
 
             for idx, col in enumerate(df.columns, 1):
                 column_letter = get_column_letter(idx)
-                # Установка выравнивания для заголовков
-                header_cell = worksheet.cell(row=1, column=idx)
-                header_cell.alignment = Alignment(wrap_text=True, vertical='center', horizontal='left')
-
                 if col in columns_fit_content:
                     max_length = 0
                     column = df[col].astype(str)
@@ -170,35 +166,29 @@ def download_current_message_database():
                             max_length = max(max_length, len(cell_value))
                     adjusted_width = (max_length + 2)
                     worksheet.column_dimensions[column_letter].width = adjusted_width
-                    # Установка выравнивания для всех ячеек в столбце
-                    for cell in worksheet[column_letter]:
-                        cell.alignment = Alignment(wrap_text=True, vertical='center', horizontal='left')
                 elif col in columns_wrap_text:
-                    worksheet.column_dimensions[column_letter].width = 50  # Устанавливаем фиксированную ширину
+                    worksheet.column_dimensions[column_letter].width = 50  # Set fixed width
                     for cell in worksheet[column_letter]:
-                        cell.alignment = Alignment(wrap_text=True, vertical='center', horizontal='left')
+                        cell.alignment = Alignment(wrap_text=True)
                 else:
-                    worksheet.column_dimensions[column_letter].width = 20  # Ширина по умолчанию
-                    # Установка выравнивания для всех ячеек в столбце
-                    for cell in worksheet[column_letter]:
-                        cell.alignment = Alignment(wrap_text=True, vertical='center', horizontal='left')
+                    worksheet.column_dimensions[column_letter].width = 20  # Default width
 
-        output.seek(0)  # Сбрасываем указатель
+        output.seek(0)  # Reset pointer
 
-        # Кодируем содержимое файла в base64 для загрузки на GitHub
+        # Encode file content in base64 for uploading to GitHub
         content = base64.b64encode(output.read()).decode('utf-8')
 
-        # Параметры для загрузки файла на GitHub
+        # Parameters for uploading file to GitHub
         repo = "fruitpicker01/Storage_dev"
 
-        # Получаем текущее время и корректируем на +3 часа
+        # Get current time and adjust by +3 hours
         current_time = datetime.utcnow() + timedelta(hours=3)
         filename = f"db_{current_time.strftime('%d.%m.%Y_%H.%M')}.xlsx"
 
-        path = filename  # Используем новое имя файла
+        path = filename  # Use new filename
         url = f"https://api.github.com/repos/{repo}/contents/{path}"
 
-        # Проверяем, существует ли файл уже
+        # Check if file already exists
         get_response = requests.get(url, headers=headers)
         if get_response.status_code == 200:
             sha = get_response.json()['sha']
@@ -206,61 +196,70 @@ def download_current_message_database():
             sha = None
 
         data = {
-            "message": f"Обновлен файл {filename}",
+            "message": f"Updated file {filename}",
             "content": content,
         }
         if sha:
-            data["sha"] = sha  # Необходимо для обновления существующего файла
+            data["sha"] = sha  # Needed for updating existing file
 
-        # Загружаем (или обновляем) файл на GitHub
+        # Upload (or update) file on GitHub
         put_response = requests.put(url, headers=headers, data=json.dumps(data))
         if put_response.status_code in [200, 201]:
-            # Получаем ссылку для скачивания файла
+            # Get download link
             download_url = f"https://raw.githubusercontent.com/{repo}/main/{path}"
-            return download_url, df  # Возвращаем URL файла и DataFrame
+            return download_url, df  # Return file URL and DataFrame
         else:
-            print(f"Ошибка при загрузке файла на GitHub: {put_response.status_code}, {put_response.text}")
-            return "Ошибка при загрузке файла на GitHub.", None
+            print(f"Error uploading file to GitHub: {put_response.status_code}, {put_response.text}")
+            return "Error uploading file to GitHub.", None
     else:
-        return "Нет данных для формирования файла.", None
+        return "No data to generate file.", None
 
 
 def update_download_link():
     result = download_current_message_database()
     link, df = result if isinstance(result, tuple) else (result, None)
     if isinstance(link, str) and link.startswith("http") and df is not None:
-        # Вычисляем аналитику
+        # Compute analytics
         total_messages = len(df)
-        # Количество сообщений по моделям
+
+        # Total messages without need for corrections
+        clean_df = df[
+            df['Персонализированное сообщение'].notna() & df['Персонализированное сообщение'].str.strip().ne('') &
+            df['Комментарий'].isna() & df['Откорректированное сообщение'].isna()
+        ]
+        total_clean_messages = len(clean_df)
+
+        # Number of messages by model
         model_counts = df['Модель'].value_counts()
-        # Количество чистых сообщений по моделям
-        clean_df = df[df['Комментарий'].isna() & df['Откорректированное сообщение'].isna()]
+        # Number of messages without corrections by model
         clean_model_counts = clean_df['Модель'].value_counts()
-        # Наиболее активные контрибьюторы
+        # Most active contributors
         contributor_counts = df['Автор'].value_counts()
-        # Количество сообщений по датам
+        # Number of messages by date
         df['Дата сохранения'] = pd.to_datetime(df['Дата сохранения'], errors='coerce')
         date_counts = df['Дата сохранения'].dt.date.value_counts().sort_index()
 
-        # Подготовка вывода
+        # Prepare display outputs
         total_messages_display_value = f"**Общее количество сообщений:** {total_messages}"
+        total_clean_messages_display_value = f"**Общее количество сообщений без необходимости корректировок:** {total_clean_messages}"
 
-        # Создаем диаграммы с помощью plotly
+        # Create charts using plotly
         model_pie_fig = px.pie(values=model_counts.values, names=model_counts.index, title='Количество сообщений по моделям')
-        clean_model_pie_fig = px.pie(values=clean_model_counts.values, names=clean_model_counts.index, title='Количество чистых сообщений по моделям')
+        clean_model_pie_fig = px.pie(values=clean_model_counts.values, names=clean_model_counts.index, title='Количество сообщений без необходимости корректировок по моделям')
         contributor_pie_fig = px.pie(values=contributor_counts.values, names=contributor_counts.index, title='Наиболее активные контрибьюторы')
         date_message_fig = px.bar(x=date_counts.index, y=date_counts.values, labels={'x': 'Дата', 'y': 'Количество сообщений'}, title='Количество добавленных сообщений по датам')
 
         return (
             f"[Скачать базу сообщений]({link})",
             total_messages_display_value,
+            total_clean_messages_display_value,
             model_pie_fig,
             clean_model_pie_fig,
             contributor_pie_fig,
             date_message_fig
         )
     else:
-        return link, "", None, None, None, None
+        return link, "", "", None, None, None, None
             
 
 def correct_dash_usage(text):
@@ -1994,10 +1993,11 @@ with gr.Blocks() as demo:
     gr.Markdown("## Аналитика")
 
     total_messages_display = gr.Markdown(value="", label="Общее количество сообщений")
+    total_clean_messages_display = gr.Markdown(value="", label="Общее количество сообщений без необходимости корректировок")
 
     with gr.Row():
         model_pie_chart = gr.Plot(label="Количество сообщений по моделям")
-        clean_model_pie_chart = gr.Plot(label="Количество чистых сообщений по моделям")
+        clean_model_pie_chart = gr.Plot(label="Количество сообщений без необходимости корректировок по моделям")
         contributor_pie_chart = gr.Plot(label="Наиболее активные контрибьюторы")
 
     date_message_chart = gr.Plot(label="Количество добавленных сообщений по датам")
@@ -2672,6 +2672,7 @@ with gr.Blocks() as demo:
         outputs=[
             download_link,
             total_messages_display,
+            total_clean_messages_display,
             model_pie_chart,
             clean_model_pie_chart,
             contributor_pie_chart,