organized and correct test_label generation

Astra Project Setup Instructions.md

@@ -0,0 +1,116 @@
+# Astra Project Setup Instructions
+
+## Prerequisites
+Make sure you have the following installed before proceeding:
+- Python 3.12.4
+- Git
+- Git Large File Storage (LFS)
+
+## Step 1: Install Git LFS
+Git LFS (Large File Storage) is required for managing large files in the Astra project. Follow these steps to install Git LFS:
+
+### Windows
+1. Download the Git LFS installer from [Git LFS Releases](https://git-lfs.github.com/).
+2. Run the installer and follow the setup instructions.
+3. Open a terminal (Command Prompt or PowerShell) and run:
+   ```sh
+   git lfs install
+   ```
+
+### macOS
+1. Install Git LFS using Homebrew:
+   ```sh
+   brew install git-lfs
+   ```
+2. Initialize Git LFS:
+   ```sh
+   git lfs install
+   ```
+
+### Linux
+1. Install Git LFS using your package manager:
+   - Debian/Ubuntu:
+     ```sh
+     sudo apt install git-lfs
+     ```
+   - Fedora:
+     ```sh
+     sudo dnf install git-lfs
+     ```
+   - Arch Linux:
+     ```sh
+     sudo pacman -S git-lfs
+     ```
+2. Initialize Git LFS:
+   ```sh
+   git lfs install
+   ```
+
+## Step 2: Install Python (Alternative: pyenv)
+While Python 3.12.4 is required, it is recommended to use `pyenv` if you want to work with multiple Python versions or if you encounter errors while installing dependencies.
+
+### Installing pyenv
+#### macOS & Linux:
+```sh
+curl https://pyenv.run | bash
+```
+After installation, restart your terminal and install Python:
+```sh
+pyenv install 3.12.4
+pyenv global 3.12.4
+```
+
+#### Windows:
+Use [pyenv-win](https://github.com/pyenv-win/pyenv-win):
+```sh
+git clone https://github.com/pyenv-win/pyenv-win.git ~/.pyenv
+setx PYENV "%USERPROFILE%\.pyenv"
+setx PATH "%PYENV%\bin;%PYENV%\shims;%PATH%"
+pyenv install 3.12.4
+pyenv global 3.12.4
+```
+
+## Step 3: Clone the Repository
+Clone the Astra project repository using Git:
+```sh
+git clone <repository_url>
+cd astra
+```
+
+## Step 4: Install Dependencies
+Install all required dependencies from the `requirements.txt` file:
+```sh
+pip install -r requirements.txt
+```
+
+## Step 5: Verify Installation
+Ensure all dependencies are installed correctly by running:
+```sh
+python --version
+pip list
+```
+
+## Step 6: Run the Application or Test the Model
+You have two options to proceed:
+
+### Option 1: Run the Gradio App
+To open the Gradio app in your web browser and interact with the application, run:
+```sh
+python app.py
+```
+
+### Option 2: Test the Model with a Sample File
+To test the fine-tuned model using a sample file, navigate to the root folder of the project and run the following command:
+```sh
+cd <root_folder>
+python new_test_saved_finetuned_model.py \
+    -workspace_name "ratio_proportion_change3_2223/sch_largest_100-coded" \
+    -finetune_task "<finetune_task>" \
+    -test_dataset_path "../../../../fileHandler/selected_rows.txt" \
+    -finetuned_bert_classifier_checkpoint "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42" \
+    -e 1 \
+    -b 1000
+```
+Replace `<finetune_task>` with the actual fine-tuning task value.
+
+Your Astra project should now be fully set up and ready to use!

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2025 Sudarshan Balaji
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

app.py

@@ -29,6 +29,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     parent_location="ratio_proportion_change3_2223/sch_largest_100-coded/finetuning/"
     test_info_location=parent_location+"fullTest/test_info.txt"
     test_location=parent_location+"fullTest/test.txt"
+    label_location=parent_location+"test_label.txt"
     if(model_name=="ASTRA-FT-HGR"):
         finetune_task="highGRschool10"
         # test_info_location=parent_location+"fullTest/test_info.txt"
@@ -45,7 +46,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
         finetune_task=None
     # Load the test_info file and the graduation rate file
     test_info = pd.read_csv(test_info_location, sep=',', header=None, engine='python')
-    grad_rate_data = pd.DataFrame(pd.read_pickle('school_grduation_rate.pkl'),columns=['school_number','grad_rate'])  # Load the grad_rate data
+    grad_rate_data = pd.DataFrame(pd.read_pickle('assests/school_grduation_rate.pkl'),columns=['school_number','grad_rate'])  # Load the grad_rate data
 
     # Step 1: Extract unique school numbers from test_info
     unique_schools = test_info[0].unique()
@@ -75,9 +76,11 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     # Load the test file and select rows based on indices
     test = pd.read_csv(test_location, sep=',', header=None, engine='python')
     selected_rows_df2 = test.loc[indices]
-
+    # label=pd.read_csv(label_location, header=None, engine='python')
+    # test_label=label.loc[indices]
+    # test_label.to_csv(parent_location+'highGRschool10/test_label.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
     # Save the selected rows to a file
-    selected_rows_df2.to_csv('selected_rows.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
+    selected_rows_df2.to_csv('fileHandler/selected_rows.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
     # ✅ Get the first 20% and last 20% of instances for each student ID within selected schools
 
     selected_test_info = test_info.loc[indices]
@@ -97,10 +100,10 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     last_20_percent_rows = test.loc[last_20_percent_indices]
 
     # Save the first 20% instances per student to a file
-    first_20_percent_rows.to_csv('selected_rows_first20.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
+    first_20_percent_rows.to_csv('fileHandler/selected_rows_first20.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
 
     # Save the last 20% instances per student to a file
-    last_20_percent_rows.to_csv('selected_rows_last20.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
+    last_20_percent_rows.to_csv('fileHandler/selected_rows_last20.txt', sep='\t', index=False, header=False, quoting=3, escapechar=' ')
 
     # select the graduation groups
     graduation_groups = [
@@ -114,7 +117,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
         "python", "new_test_saved_finetuned_model.py",
         "-workspace_name", "ratio_proportion_change3_2223/sch_largest_100-coded",
         "-finetune_task", finetune_task,
-        "-test_dataset_path","../../../../selected_rows.txt",
+        "-test_dataset_path","../../../../fileHandler/selected_rows.txt",
         # "-test_label_path","../../../../train_label.txt",
         "-finetuned_bert_classifier_checkpoint", 
         "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42",
@@ -122,7 +125,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
         "-b",str(1000)
     ])
     progress(0.5,desc="Model execution completed!! Now performing analysis on the results")
-    with open("roc_data2.pkl", 'rb') as file:
+    with open("fileHandler/roc_data2.pkl", 'rb') as file:
         data = pickle.load(file)
     t_label=data[0]
     p_label=data[1]
@@ -392,25 +395,25 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     # colors = ['#1f77b4', '#ff7f0e', '#2ca02c', '#d62728']
     colors = ["#FF6F61", "#6B5B95", "#88B04B", "#F7CAC9"]
     # print(opt1_ratios,opt2_ratios)
-    fig_scatter = go.Figure()
-
-    fig_scatter.add_trace(go.Scatter(
-        x=final_total,
-        y=opt1_total,
-        mode='markers',
-        marker=dict(size=8, color='blue', opacity=0.7),
-        name="Student Data"
-    ))
-
-    # Update layout
-    fig_scatter.update_layout(
-        title="Scatter Plot: Final Total Attempts vs OptionalTask_1 Attempts",
-        title_x=0.5,
-        xaxis=dict(title="Final Total Attempts"),
-        yaxis=dict(title="OptionalTask_1 Total Attempts"),
-        font=dict(family="sans-serif", size=12, color="black"),
-        showlegend=True
-    )
+    # fig_scatter = go.Figure()
+
+    # fig_scatter.add_trace(go.Scatter(
+    #     x=final_total,
+    #     y=opt1_total,
+    #     mode='markers',
+    #     marker=dict(size=8, color='blue', opacity=0.7),
+    #     name="Student Data"
+    # ))
+
+    # # Update layout
+    # fig_scatter.update_layout(
+    #     title="Scatter Plot: Final Total Attempts vs OptionalTask_1 Attempts",
+    #     title_x=0.5,
+    #     xaxis=dict(title="Final Total Attempts"),
+    #     yaxis=dict(title="OptionalTask_1 Total Attempts"),
+    #     font=dict(family="sans-serif", size=12, color="black"),
+    #     showlegend=True
+    # )
 
     # fig_scatter.show()
   # Generate pie chart for Task 1
@@ -501,7 +504,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
 
     
     result = {}
-    with open("result.txt", 'r') as file:
+    with open("fileHandler/result.txt", 'r') as file:
         for line in file:
             key, value = line.strip().split(': ', 1)
             # print(type(key))
@@ -512,7 +515,7 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     result["ROC score of HGR"]=high_roc_auc
     result["ROC score of LGR"]=low_roc_auc
 # Create a plot
-    with open("roc_data.pkl", "rb") as f:
+    with open("fileHandler/roc_data.pkl", "rb") as f:
         fpr, tpr, _ = pickle.load(f)
     # print(fpr,tpr)
     roc_auc = auc(fpr, tpr)
@@ -597,8 +600,8 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     ---------------------------\n
     Time Taken: {result['time_taken_from_start']:.2f} seconds
     Total Schools in test: {len(unique_schools):.4f}
-    Total number of instances having Schools with HGR : {len(high_sample):.4f}
-    Total number of instances having Schools with LGR: {len(low_sample):.4f}
+    Total number of instances having Schools with HGR : {len(high_indices):.4f}
+    Total number of instances having Schools with LGR: {len(low_indices):.4f}
 
     ROC score of HGR: {high_roc_auc:.4f}
     ROC score of LGR: {low_roc_auc:.4f}
@@ -608,18 +611,18 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
     ROC-AUC for problems of type ME: {opt_task2_roc_auc:.4f}
     """
     progress(0.5,desc="first k '%' sampling")
-    subprocess.run([
-    "python", "new_test_saved_finetuned_model.py",
-    "-workspace_name", "ratio_proportion_change3_2223/sch_largest_100-coded",
-    "-finetune_task", finetune_task,
-    "-test_dataset_path","../../../../selected_rows_first20.txt",
-    # "-test_label_path","../../../../train_label.txt",
-    "-finetuned_bert_classifier_checkpoint", 
-    "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42",
-    "-e",str(1),
-    "-b",str(1000)
-])
-    with open("roc_data.pkl", "rb") as f:
+#     subprocess.run([
+#     "python", "new_test_saved_finetuned_model.py",
+#     "-workspace_name", "ratio_proportion_change3_2223/sch_largest_100-coded",
+#     "-finetune_task", finetune_task,
+#     "-test_dataset_path","../../../../fileHandler/selected_rows_first20.txt",
+#     # "-test_label_path","../../../../train_label.txt",
+#     "-finetuned_bert_classifier_checkpoint", 
+#     "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42",
+#     "-e",str(1),
+#     "-b",str(1000)
+# ])
+    with open("fileHandler/roc_data.pkl", "rb") as f:
         fpr, tpr, _ = pickle.load(f)
     # print(fpr,tpr)
     roc_auc_first_k = auc(fpr, tpr)
@@ -627,18 +630,18 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
 
 
     progress(0.5,desc="last '%' sampling")
-    subprocess.run([
-    "python", "new_test_saved_finetuned_model.py",
-    "-workspace_name", "ratio_proportion_change3_2223/sch_largest_100-coded",
-    "-finetune_task", finetune_task,
-    "-test_dataset_path","../../../../selected_rows_last20.txt",
-    # "-test_label_path","../../../../train_label.txt",
-    "-finetuned_bert_classifier_checkpoint", 
-    "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42",
-    "-e",str(1),
-    "-b",str(1000)
-])
-    with open("roc_data.pkl", "rb") as f:
+#     subprocess.run([
+#     "python", "new_test_saved_finetuned_model.py",
+#     "-workspace_name", "ratio_proportion_change3_2223/sch_largest_100-coded",
+#     "-finetune_task", finetune_task,
+#     "-test_dataset_path","../../../../fileHandler/selected_rows_last20.txt",
+#     # "-test_label_path","../../../../train_label.txt",
+#     "-finetuned_bert_classifier_checkpoint", 
+#     "ratio_proportion_change3_2223/sch_largest_100-coded/output/highGRschool10/bert_fine_tuned.model.ep42",
+#     "-e",str(1),
+#     "-b",str(1000)
+# ])
+    with open("fileHandler/roc_data.pkl", "rb") as f:
         fpr, tpr, _ = pickle.load(f)
     # print(fpr,tpr)
     roc_auc_last_k = auc(fpr, tpr)
@@ -667,7 +670,8 @@ def process_file(model_name,inc_slider,progress=Progress(track_tqdm=True)):
 
 
 
-    return text_output,text_output_sampled_auc,fig,fig_task1,fig_task2,fig_hist1,fig_hist2
+    # return text_output,text_output_sampled_auc,fig,fig_task1,fig_task2,fig_hist1,fig_hist2
+    return text_output,fig,fig_task1,fig_task2
 # List of models for the dropdown menu
 
 # models = ["ASTRA-FT-HGR", "ASTRA-FT-LGR", "ASTRA-FT-FULL"]
@@ -678,10 +682,8 @@ content = """
 
 <h3 style="color: white; text-align: center">
     <a href="https://drive.google.com/file/d/1lbEpg8Se1ugTtkjreD8eXIg7qrplhWan/view" style="color: gr.themes.colors.red; text-decoration: none;">Link To Paper</a> | 
-    <a href="https://github.com/Syudu41/ASTRA---Gates-Project" style="color: #1E90FF; text-decoration: none;">GitHub: Astra Demo</a> | 
-    <a href="https://sites.google.com/view/astra-research/home" style="color: #1E90FF; text-decoration: none;">Project Page</a> | 
-    <a href="https://path-analysis.vercel.app/" style="color: #1E90FF; text-decoration: none;">Path Analysis Tool</a> | 
-    <a href="https://github.com/CarnegieLearningWeb/PathAnalysis" style="color: #1E90FF; text-decoration: none;">Github: Path Analysis Tool</a> | 
+    <a href="https://github.com/Syudu41/ASTRA---Gates-Project" style="color: #1E90FF; text-decoration: none;">GitHub</a> | 
+    <a href="https://sites.google.com/view/astra-research/home" style="color: #1E90FF; text-decoration: none;">Project Page</a>
     
     
 </h3>
@@ -1069,11 +1071,11 @@ with gr.Blocks(theme='gstaff/sketch', css=custom_css) as demo:
         opt1_pie = gr.Plot(label="ER")
         opt2_pie = gr.Plot(label="ME")
         # output_summary = gr.Textbox(label="Summary")
-    with gr.Row():
-        histo1 = gr.Plot(label="Hist")
-        histo2 = gr.Plot(label="Hist")
-    with gr.Row():
-        output_text_sampled_auc = gr.Textbox(label="")
+    # with gr.Row():
+    #     histo1 = gr.Plot(label="Hist")
+    #     histo2 = gr.Plot(label="Hist")
+    # with gr.Row():
+    #     output_text_sampled_auc = gr.Textbox(label="")
   
 
     
@@ -1081,7 +1083,7 @@ with gr.Blocks(theme='gstaff/sketch', css=custom_css) as demo:
     btn.click(
         fn=process_file, 
         inputs=[model_dropdown,increment_slider], 
-        outputs=[output_text,output_text_sampled_auc,plot_output,opt1_pie,opt2_pie,histo1,histo2]
+        outputs=[output_text,plot_output,opt1_pie,opt2_pie]
     )
 
 

recalibration.py → assests/recalibration.py

@@ -2,7 +2,7 @@ import torch
 from torch import nn, optim
 from torch.nn import functional as F
 
-import metrics
+import assests.metrics
 
 class ModelWithTemperature(nn.Module):
     """

visualization.py → assests/visualization.py

@@ -3,9 +3,9 @@ import numpy as np
 #mpl.use('Agg')
 import matplotlib.pyplot as plt
 
-import metrics
+import assests.metrics
 
-class ConfidenceHistogram(metrics.MaxProbCELoss):
+class ConfidenceHistogram(assests.metrics.MaxProbCELoss):
 
     def plot(self, output, labels, n_bins = 15, logits = True, title = None):
         super().loss(output, labels, n_bins, logits)
@@ -44,7 +44,7 @@ class ConfidenceHistogram(metrics.MaxProbCELoss):
             plt.title(title,fontsize=16)
         return plt
 
-class ReliabilityDiagram(metrics.MaxProbCELoss):
+class ReliabilityDiagram(assests.metrics.MaxProbCELoss):
 
     def plot(self, output, labels, n_bins = 15, logits = True, title = None):
         super().loss(output, labels, n_bins, logits)

distinguish_high_low_label.ipynb

@@ -1,553 +0,0 @@
-{
- "cells": [
-  {
-   "cell_type": "code",
-   "execution_count": 27,
-   "id": "960bac80-51c7-4e9f-ad2d-84cd6c710f98",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "import pickle\n",
-    "import pandas as pd\n",
-    "from sklearn.metrics import precision_score, recall_score, f1_score, confusion_matrix, roc_curve, roc_auc_score,auc"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 3,
-   "id": "a34f21d0-0854-4a54-8f93-67718b2f969e",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "file_path = \"roc_data2.pkl\"\n",
-    "\n",
-    "# Open and load the pickle file\n",
-    "with open(file_path, 'rb') as file:\n",
-    "    data = pickle.load(file)\n",
-    "\n",
-    "\n",
-    "# Print or use the data\n",
-    "# data[2]"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 4,
-   "id": "f9febed4-ce50-4e30-96ea-4b538ce2f9a1",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "inc_slider=1\n",
-    "parent_location=\"ratio_proportion_change3_2223/sch_largest_100-coded/finetuning/\"\n",
-    "test_info_location=parent_location+\"fullTest/test_info.txt\"\n",
-    "test_location=parent_location+\"fullTest/test.txt\"\n",
-    "test_info = pd.read_csv(test_info_location, sep=',', header=None, engine='python')\n",
-    "grad_rate_data = pd.DataFrame(pd.read_pickle('school_grduation_rate.pkl'),columns=['school_number','grad_rate'])  # Load the grad_rate data\n",
-    "\n",
-    "# Step 1: Extract unique school numbers from test_info\n",
-    "unique_schools = test_info[0].unique()\n",
-    "\n",
-    "# Step 2: Filter the grad_rate_data using the unique school numbers\n",
-    "schools = grad_rate_data[grad_rate_data['school_number'].isin(unique_schools)]\n",
-    "\n",
-    "# Define a threshold for high and low graduation rates (adjust as needed)\n",
-    "grad_rate_threshold = 0.9  \n",
-    "\n",
-    "# Step 4: Divide schools into high and low graduation rate groups\n",
-    "high_grad_schools = schools[schools['grad_rate'] >= grad_rate_threshold]['school_number'].unique()\n",
-    "low_grad_schools = schools[schools['grad_rate'] < grad_rate_threshold]['school_number'].unique()\n",
-    "\n",
-    "# Step 5: Sample percentage of schools from each group\n",
-    "high_sample = pd.Series(high_grad_schools).sample(frac=inc_slider/100, random_state=1).tolist()\n",
-    "low_sample = pd.Series(low_grad_schools).sample(frac=inc_slider/100, random_state=1).tolist()\n",
-    "\n",
-    "# Step 6: Combine the sampled schools\n",
-    "random_schools = high_sample + low_sample\n",
-    "\n",
-    "# Step 7: Get indices for the sampled schools\n",
-    "indices = test_info[test_info[0].isin(random_schools)].index.tolist()\n",
-    "\n"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 5,
-   "id": "fdfdf4b6-2752-4a21-9880-869af69f20cf",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "high_indices = test_info[(test_info[0].isin(high_sample))].index.tolist()\n",
-    "low_indices = test_info[(test_info[0].isin(low_sample))].index.tolist()"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 6,
-   "id": "a79a4598-5702-4cc8-9f07-8e18fdda648b",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "997"
-      ]
-     },
-     "execution_count": 6,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "len(high_indices)+len(low_indices)\n"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 7,
-   "id": "4707f3e6-2f44-46d8-ad8c-b6c244f693af",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/html": [
-       "<div>\n",
-       "<style scoped>\n",
-       "    .dataframe tbody tr th:only-of-type {\n",
-       "        vertical-align: middle;\n",
-       "    }\n",
-       "\n",
-       "    .dataframe tbody tr th {\n",
-       "        vertical-align: top;\n",
-       "    }\n",
-       "\n",
-       "    .dataframe thead th {\n",
-       "        text-align: right;\n",
-       "    }\n",
-       "</style>\n",
-       "<table border=\"1\" class=\"dataframe\">\n",
-       "  <thead>\n",
-       "    <tr style=\"text-align: right;\">\n",
-       "      <th></th>\n",
-       "      <th>0</th>\n",
-       "    </tr>\n",
-       "  </thead>\n",
-       "  <tbody>\n",
-       "    <tr>\n",
-       "      <th>5342</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity1-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>5343</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>5344</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>5345</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-2\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>5346</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tDenomin...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>...</th>\n",
-       "      <td>...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>113359</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-2\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>113360</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>113361</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>113362</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "    <tr>\n",
-       "      <th>113363</th>\n",
-       "      <td>PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...</td>\n",
-       "    </tr>\n",
-       "  </tbody>\n",
-       "</table>\n",
-       "<p>997 rows × 1 columns</p>\n",
-       "</div>"
-      ],
-      "text/plain": [
-       "                                                        0\n",
-       "5342    PercentChange-0\\tNumeratorQuantity1-0\\tNumerat...\n",
-       "5343    PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "5344    PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "5345    PercentChange-0\\tNumeratorQuantity2-2\\tNumerat...\n",
-       "5346    PercentChange-0\\tNumeratorQuantity2-0\\tDenomin...\n",
-       "...                                                   ...\n",
-       "113359  PercentChange-0\\tNumeratorQuantity2-2\\tNumerat...\n",
-       "113360  PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "113361  PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "113362  PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "113363  PercentChange-0\\tNumeratorQuantity2-0\\tNumerat...\n",
-       "\n",
-       "[997 rows x 1 columns]"
-      ]
-     },
-     "execution_count": 7,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "# Load the test file and select rows based on indices\n",
-    "test = pd.read_csv(test_location, sep=',', header=None, engine='python')\n",
-    "selected_rows_df2 = test.loc[indices]\n",
-    "selected_rows_df2"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 8,
-   "id": "1d0c3d49-061f-486b-9c19-cf20945f3207",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "997"
-      ]
-     },
-     "execution_count": 8,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "graduation_groups = [\n",
-    "    'high' if idx in high_indices else 'low' for idx in selected_rows_df2.index\n",
-    "]\n",
-    "# graduation_groups\n",
-    "len(graduation_groups)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 9,
-   "id": "d2508a0f-e5ca-432e-b99b-481ea4536d4d",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "997"
-      ]
-     },
-     "execution_count": 9,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "opt_task_groups = ['opt_task1' if test_info.loc[idx, 6] == 0 else 'opt_task2' for idx in selected_rows_df2.index]\n",
-    "len(opt_task_groups)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 10,
-   "id": "ad0ce4a1-27fa-4867-8061-4054dbb340df",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "t_label=data[0]\n",
-    "p_label=data[1]"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 12,
-   "id": "a4f4a2b9-3134-42ac-871b-4e117098cd0e",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "# Step 1: Align graduation_group, t_label, and p_label\n",
-    "aligned_labels = list(zip(graduation_groups, t_label, p_label))\n",
-    "opt_task_aligned = list(zip(opt_task_groups, t_label, p_label))\n",
-    "# Step 2: Separate the labels for high and low groups\n",
-    "high_t_labels = [t for grad, t, p in aligned_labels if grad == 'high']\n",
-    "low_t_labels = [t for grad, t, p in aligned_labels if grad == 'low']\n",
-    "\n",
-    "high_p_labels = [p for grad, t, p in aligned_labels if grad == 'high']\n",
-    "low_p_labels = [p for grad, t, p in aligned_labels if grad == 'low']\n",
-    "\n",
-    "\n",
-    "opt_task1_t_labels = [t for task, t, p in opt_task_aligned if task == 'opt_task1']\n",
-    "opt_task1_p_labels = [p for task, t, p in opt_task_aligned if task == 'opt_task1']\n",
-    "\n",
-    "opt_task2_t_labels = [t for task, t, p in opt_task_aligned if task == 'opt_task2']\n",
-    "opt_task2_p_labels = [p for task, t, p in opt_task_aligned if task == 'opt_task2']\n"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 15,
-   "id": "74cda932-ce98-4ad5-9c29-a54bdc4ee086",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "opt_task1 ROC-AUC: 0.7592686234399062\n",
-      "opt_task2 ROC-AUC: 0.7268598353289777\n"
-     ]
-    }
-   ],
-   "source": [
-    "\n",
-    "opt_task1_roc_auc = roc_auc_score(opt_task1_t_labels, opt_task1_p_labels) if len(set(opt_task1_t_labels)) > 1 else None\n",
-    "opt_task2_roc_auc = roc_auc_score(opt_task2_t_labels, opt_task2_p_labels) if len(set(opt_task2_t_labels)) > 1 else None\n",
-    "\n",
-    "print(f\"opt_task1 ROC-AUC: {opt_task1_roc_auc}\")\n",
-    "print(f\"opt_task2 ROC-AUC: {opt_task2_roc_auc}\")"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 50,
-   "id": "c8e34660-83d0-46a1-a218-95d609e11729",
-   "metadata": {},
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "997"
-      ]
-     },
-     "execution_count": 50,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "len(low_t_labels)+len(high_t_labels)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 13,
-   "id": "c11050db-2636-4c50-9cd4-b9943e5cee83",
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 16,
-   "id": "e1309e93-7063-4f48-bbc7-11a0d449c34e",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "ROC-AUC Score for High Graduation Rate Group: 0.675\n",
-      "ROC-AUC Score for Low Graduation Rate Group: 0.7489795918367347\n"
-     ]
-    }
-   ],
-   "source": [
-    "high_roc_auc = roc_auc_score(high_t_labels, high_p_labels) if len(set(high_t_labels)) > 1 else None\n",
-    "low_roc_auc = roc_auc_score(low_t_labels, low_p_labels) if len(set(low_t_labels)) > 1 else None\n",
-    "\n",
-    "print(\"ROC-AUC Score for High Graduation Rate Group:\", high_roc_auc)\n",
-    "print(\"ROC-AUC Score for Low Graduation Rate Group:\", low_roc_auc)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 21,
-   "id": "a99e7812-817d-4f9f-b6fa-1a58aa3a34dc",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "Task Analysis Summary:\n",
-      "-----------------------\n",
-      "Ideal Task = OptionalTask_1:\n",
-      "  Only OptionalTask_1 done: 22501\n",
-      "  Only OptionalTask_2 done: 20014\n",
-      "  Both done: 24854\n",
-      "  None done: 38\n",
-      "Ideal Task = OptionalTask_2:\n",
-      "  Only OptionalTask_1 done: 12588\n",
-      "  Only OptionalTask_2 done: 18942\n",
-      "  Both done: 15147\n",
-      "  None done: 78\n",
-      "\n"
-     ]
-    }
-   ],
-   "source": [
-    "def analyze_row(row):\n",
-    "    # Split the row into fields\n",
-    "    fields = row.split(\"\\t\")\n",
-    "\n",
-    "    # Define tasks for OptionalTask_1, OptionalTask_2, and FinalAnswer\n",
-    "    optional_task_1_subtasks = [\"DenominatorFactor\", \"NumeratorFactor\", \"EquationAnswer\"]\n",
-    "    optional_task_2_subtasks = [\n",
-    "        \"FirstRow2:1\", \"FirstRow2:2\", \"FirstRow1:1\", \"FirstRow1:2\", \n",
-    "        \"SecondRow\", \"ThirdRow\"\n",
-    "    ]\n",
-    "\n",
-    "    # Helper function to evaluate task attempts\n",
-    "    def evaluate_tasks(fields, tasks):\n",
-    "        task_status = {}\n",
-    "        for task in tasks:\n",
-    "            relevant_attempts = [f for f in fields if task in f]\n",
-    "            if any(\"OK\" in attempt for attempt in relevant_attempts):\n",
-    "                task_status[task] = \"Attempted (Successful)\"\n",
-    "            elif any(\"ERROR\" in attempt for attempt in relevant_attempts):\n",
-    "                task_status[task] = \"Attempted (Error)\"\n",
-    "            elif any(\"JIT\" in attempt for attempt in relevant_attempts):\n",
-    "                task_status[task] = \"Attempted (JIT)\"\n",
-    "            else:\n",
-    "                task_status[task] = \"Unattempted\"\n",
-    "        return task_status\n",
-    "\n",
-    "    # Evaluate tasks for each category\n",
-    "    optional_task_1_status = evaluate_tasks(fields, optional_task_1_subtasks)\n",
-    "    optional_task_2_status = evaluate_tasks(fields, optional_task_2_subtasks)\n",
-    "\n",
-    "    # Check if tasks have any successful attempt\n",
-    "    opt1_done = any(status == \"Attempted (Successful)\" for status in optional_task_1_status.values())\n",
-    "    opt2_done = any(status == \"Attempted (Successful)\" for status in optional_task_2_status.values())\n",
-    "\n",
-    "    return opt1_done, opt2_done\n",
-    "\n",
-    "# Read data from test_info.txt\n",
-    "# Read data from test_info.txt\n",
-    "with open(test_info_location, \"r\") as file:\n",
-    "    data = file.readlines()\n",
-    "\n",
-    "# Assuming test_info[7] is a list with ideal tasks for each instance\n",
-    "ideal_tasks = test_info[6]  # A list where each element is either 1 or 2\n",
-    "\n",
-    "# Initialize counters\n",
-    "task_counts = {\n",
-    "    1: {\"only_opt1\": 0, \"only_opt2\": 0, \"both\": 0,\"none\":0},\n",
-    "    2: {\"only_opt1\": 0, \"only_opt2\": 0, \"both\": 0,\"none\":0}\n",
-    "}\n",
-    "\n",
-    "# Analyze rows\n",
-    "for i, row in enumerate(data):\n",
-    "    row = row.strip()\n",
-    "    if not row:\n",
-    "        continue\n",
-    "\n",
-    "    ideal_task = ideal_tasks[i]  # Get the ideal task for the current row\n",
-    "    opt1_done, opt2_done = analyze_row(row)\n",
-    "\n",
-    "    if ideal_task == 0:\n",
-    "        if opt1_done and not opt2_done:\n",
-    "            task_counts[1][\"only_opt1\"] += 1\n",
-    "        elif not opt1_done and opt2_done:\n",
-    "            task_counts[1][\"only_opt2\"] += 1\n",
-    "        elif opt1_done and opt2_done:\n",
-    "            task_counts[1][\"both\"] += 1\n",
-    "        else:\n",
-    "            task_counts[1][\"none\"] +=1\n",
-    "    elif ideal_task == 1:\n",
-    "        if opt1_done and not opt2_done:\n",
-    "            task_counts[2][\"only_opt1\"] += 1\n",
-    "        elif not opt1_done and opt2_done:\n",
-    "            task_counts[2][\"only_opt2\"] += 1\n",
-    "        elif opt1_done and opt2_done:\n",
-    "            task_counts[2][\"both\"] += 1\n",
-    "        else:\n",
-    "            task_counts[2][\"none\"] +=1\n",
-    "\n",
-    "# Create a string output for results\n",
-    "output_summary = \"Task Analysis Summary:\\n\"\n",
-    "output_summary += \"-----------------------\\n\"\n",
-    "\n",
-    "for ideal_task, counts in task_counts.items():\n",
-    "    output_summary += f\"Ideal Task = OptionalTask_{ideal_task}:\\n\"\n",
-    "    output_summary += f\"  Only OptionalTask_1 done: {counts['only_opt1']}\\n\"\n",
-    "    output_summary += f\"  Only OptionalTask_2 done: {counts['only_opt2']}\\n\"\n",
-    "    output_summary += f\"  Both done: {counts['both']}\\n\"\n",
-    "    output_summary += f\"  None done: {counts['none']}\\n\"\n",
-    "\n",
-    "print(output_summary)\n"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 23,
-   "id": "3630406c-859a-43ab-a569-67d577cc9bf6",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "import gradio as gr\n",
-    "from matplotlib.figure import Figure"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 28,
-   "id": "99833638-882d-4c75-bcc3-031e39cfb5a7",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "with open(\"roc_data.pkl\", \"rb\") as f:\n",
-    "        fpr, tpr, _ = pickle.load(f)\n",
-    "roc_auc = auc(fpr, tpr)\n",
-    "\n",
-    "# Create a matplotlib figure\n",
-    "fig = Figure()\n",
-    "ax = fig.add_subplot(1, 1, 1)\n",
-    "ax.plot(fpr, tpr, color='blue', lw=2, label=f'ROC curve (area = {roc_auc:.2f})')\n",
-    "ax.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')\n",
-    "ax.set(xlabel='False Positive Rate', ylabel='True Positive Rate', title=f'Receiver Operating Curve (ROC)')\n",
-    "ax.legend(loc=\"lower right\")\n",
-    "ax.grid()"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "id": "6eb3dece-5b33-4223-af9a-6b999bb2305b",
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  }
- ],
- "metadata": {
-  "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
-   "language": "python",
-   "name": "python3"
-  },
-  "language_info": {
-   "codemirror_mode": {
-    "name": "ipython",
-    "version": 3
-   },
-   "file_extension": ".py",
-   "mimetype": "text/x-python",
-   "name": "python",
-   "nbconvert_exporter": "python",
-   "pygments_lexer": "ipython3",
-   "version": "3.12.4"
-  }
- },
- "nbformat": 4,
- "nbformat_minor": 5
-}

fileHandler/result.txt

@@ -0,0 +1,7 @@
+avg_loss: 0.5841353535652161
+total_acc: 69.00702106318957
+precisions: 0.7236623191454734
+recalls: 0.6900702106318957
+f1_scores: 0.6802420656474512
+time_taken_from_start: 20.852919101715088
+auc_score: 0.7457100293916334

roc_data.pkl → fileHandler/roc_data.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7405227e70b46d1e375740f30a8abe37bf1b93c30ed20df2f60b175ff4a14d5f
-size 2042
+oid sha256:1eec496eaf0223a6c65d0367eb586c968edc655b7e4c601d35db358f8419047d
+size 9437

roc_data2.pkl → fileHandler/roc_data2.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:51efccab4a3168a512e82ca10a7917b65d9a3894b0968468f50e00c82574fcfb
-size 5651
+oid sha256:41fa9d96833c12979f8495141ee61c0ba07d4a20c5fb5bc18a7f72bf4d15e8fd
+size 28023

ratio_proportion_change3/output/IS/train_label.txt → fileHandler/test_label.txt

@@ -1,11792 +1,7111 @@
 1
+0
 1
+0
 1
-
-1
-1
-1
-
-1
+0
 1
 1
-
 1
+0
 1
+0
 1
-
 0
 0
 0
-
-1
+0
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 1
-
+0
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
 1
-
+0
 0
 1
 0
-
 1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
-0
 1
 0
-
 1
 1
 1
-
+0
 1
+0
+0
 1
+0
+0
+0
+0
+0
+0
 1
-
 1
+0
+0
+0
 1
 1
-
+0
 1
+0
 1
 1
-
 0
 1
+1
 0
-
 1
 1
+0
+1
 1
-
 1
+0
 1
+0
 1
-
+0
 1
 1
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 0
+1
+1
 0
 0
-
 1
+0
 1
 1
-
+0
 1
 1
+0
 1
-
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
 1
-
 1
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
+0
 0
 1
+0
 1
-
+0
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
 1
+0
 1
 1
-
-0
 0
 0
-
-1
-1
-1
-
 1
+0
+0
 1
+0
 1
-
 0
 0
 0
-
+0
+0
+0
 1
 1
+0
+0
+0
 1
-
 0
 0
 0
-
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
+1
+0
 1
 1
 1
-
 0
 0
 0
-
-1
-1
-1
-
 0
 0
-1
-
-1
-1
-1
-
+0
 1
 1
 0
-
+0
+0
+0
+0
+0
+0
+0
+0
 0
 0
 1
-
-1
-1
-1
-
-1
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
+0
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
+0
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 1
+0
+0
+0
 1
+0
 1
-
 1
+0
 1
 1
-
 0
 0
 0
-
 1
+0
+0
 1
+0
+0
 1
-
+0
+0
+0
+0
+0
+0
+0
+0
 1
 1
+0
+0
 1
-
+0
 0
 1
 1
-
+1
 1
 0
 1
-
 1
 0
 0
-
-1
 0
 0
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
-0
-0
-0
-
-0
 0
-0
-
 1
 1
 1
-
 0
 1
+1
+0
+0
 0
-
 1
 1
 1
-
 1
 1
+0
+1
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
 0
 1
 0
-
-1
-1
+0
 1
-
 1
+0
+0
 1
 1
-
 1
 1
 1
-
+0
+0
+0
+0
+0
 1
 1
 1
-
+0
 1
 1
 0
-
+0
+0
+0
 1
 1
 1
-
+0
+0
 1
+0
+0
+0
 1
+0
 1
-
+0
 1
+0
 1
+0
+0
 1
-
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
+0
 1
-
+0
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
+0
 1
-
+0
 1
+0
 1
 1
-
+0
+0
 0
 0
 1
-
-1
+0
+0
+0
+0
 1
 1
-
 0
 0
 0
-
-1
+0
+0
+0
+0
 1
 1
-
 1
 0
-1
-
+0
+0
 1
 1
 1
-
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+0
+0
 1
-
 1
-1
-1
-
-1
-1
-0
-
-1
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-1
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-0
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-0
-0
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-0
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-0
-0
-0
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-0
-0
-
-0
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-1
-0
-
-1
-0
-1
-
-0
-1
-1
-
-0
-1
-0
-
-1
-0
-0
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-1
-0
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-0
-0
-0
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-0
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-0
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-0
-
-0
-1
-0
-
-0
-0
-1
-
-0
-0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-0
-0
-0
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-0
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-1
-1
-1
-
-0
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-1
-
-0
-0
-0
-
-1
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-1
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
 0
 0
-
 1
 1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
-0
-0
-0
-
-0
-0
-0
-
-1
-1
-1
-
-0
-0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
-0
-
 0
 0
 0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-0
-0
-
-1
-1
-0
-
-0
-0
-0
-
-1
-1
-1
-
 0
-0
-0
-
-1
-1
 1
-
 1
-1
-1
-
-0
-0
-0
-
 1
 0
 1
-
-0
 0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
 1
 0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
 0
-
 1
 1
 1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
 0
-
 1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
 0
-
-1
-1
-1
-
 1
 0
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
 0
 0
 0
-
 1
-1
-1
-
-1
-1
-1
-
 0
 0
 0
-
-1
-1
-1
-
 1
-1
-1
-
 0
 0
-0
-
-1
-1
-1
-
-1
-1
 1
-
 1
 1
 0
-
 1
 1
-1
-
 1
 0
 1
-
-0
 0
-0
-
-1
-1
-1
-
-1
-1
 1
-
 1
-1
-1
-
 0
 0
-0
-
-1
 1
 1
-
 0
-0
-0
-
-1
-1
 1
-
 0
 1
 0
-
-0
-0
-0
-
-1
 1
-1
-
-0
 0
 0
-
-1
-1
 1
-
 0
 0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
 1
 1
-
-1
-1
-1
-
-1
-1
-1
-
-0
-0
 0
-
 0
 0
 0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
 1
-
 0
 0
 0
-
-0
-0
-0
-
-1
-0
-0
-
-1
-1
 1
-
 1
-1
-1
-
-1
-1
-1
-
-0
 0
-0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
+0
+0
 1
-
+0
+0
 1
 1
+0
 1
-
+0
+0
 1
+0
+0
 1
 1
-
+0
+0
+0
+0
+0
 1
 1
 1
-
 1
+0
 1
 1
-
 0
 0
 0
-
-1
 1
 1
-
 1
 1
 1
-
+0
+0
 1
 1
 1
-
 0
-1
 0
-
-1
 1
 1
-
-1
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
+0
 1
-
 0
 0
-1
-
 1
 1
 1
-
-1
+0
+0
+0
 1
+0
+0
 1
-
 1
 1
 1
-
 0
 0
 1
-
-1
-1
 1
-
+0
 1
+0
 1
+0
 1
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
 1
+0
+0
 1
 1
-
+0
 1
 1
+0
 1
-
+0
 1
 1
 1
-
+0
+0
+0
+0
 0
 1
+0
 1
-
 1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
+0
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
+0
+0
+0
 1
 0
+0
+0
 1
-
 1
 1
 1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 1
+0
 1
 1
-
 0
 0
 0
-
-1
-1
-1
-
-1
 1
+0
+0
+0
 1
-
 1
+0
 1
 1
-
 1
+0
+0
 1
 1
-
+0
+0
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
+0
 1
+0
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
+0
+0
 1
-
 1
+0
+0
 1
 1
-
 0
 0
 0
-
+0
+0
+0
 1
 1
+0
+0
+0
 1
-
+0
 1
+0
+0
 1
 1
-
+0
 1
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
+0
 1
+0
 1
 1
-
 1
 0
 1
-
 1
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
+0
+0
 1
 1
-
+0
 1
+0
 1
+0
 1
-
 1
+0
 1
+0
 1
-
+0
 1
 1
 1
-
 0
 0
 0
-
+0
 1
 1
 1
-
 0
 0
-0
-
 1
+0
+0
 1
 1
-
 1
 1
 1
-
+0
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
 1
-
+0
+0
 0
 1
+0
+0
+0
+0
+0
+0
+0
 1
-
+0
 1
+0
+0
 1
 1
-
 1
+0
+0
 1
 1
-
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
+0
 1
-
+0
+0
+0
+0
+0
 1
 1
 1
-
-0
 0
 0
-
 0
 0
+1
 0
-
 1
 1
+0
+0
+1
+0
+0
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
+0
+0
 1
+0
+0
 1
 1
-
+0
+0
 1
 1
+0
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
 1
+0
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
+0
+0
 1
+0
 1
-
 1
 1
 1
-
+0
+0
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
+0
 1
+0
 1
-
+0
+0
+0
+0
 1
 1
 1
-
 1
 0
-1
-
+0
 1
 1
+0
 1
-
+0
+0
+0
+0
 1
+0
+0
 1
 1
-
 1
 1
 1
-
 1
+0
+0
 1
+0
+0
+0
 1
-
 1
+0
+0
 1
 1
-
+0
+0
+0
+0
 1
+0
+0
 1
+0
 1
-
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
+0
+0
 1
+0
+0
+0
 1
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
+0
+0
+0
+0
 1
+0
+0
+0
 1
-
 1
+0
+0
 1
+0
+0
 1
-
+0
+0
+0
 1
 1
+0
 1
-
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
+0
+0
 1
-
+0
 1
 0
 0
-
-1
+0
+0
 1
 0
-
+0
 1
+0
+0
 1
 1
-
+0
+0
 1
+0
 1
+0
+0
+0
 1
-
 1
 1
+0
 1
-
+0
+0
 1
+0
 1
+0
 1
-
 1
+0
+0
 1
+0
 1
-
 0
 0
+1
 0
-
 0
 0
 0
-
 1
 1
+0
+0
 1
-
 1
+0
 1
 1
-
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
 1
+0
+0
 1
+0
 1
-
 1
 1
 0
-
 1
 1
+0
+0
 1
-
+0
+0
+0
 1
+0
 1
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 0
 1
-
 1
 1
+0
+0
 1
-
 1
+0
 1
+0
+0
 1
-
 0
 0
 0
-
+0
+0
+0
+0
+0
+0
+1
+0
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
+0
 1
-
 1
+0
 1
+0
 1
-
 1
 1
+0
+0
+0
 1
-
 1
 1
 1
-
+0
+0
+0
 1
 1
+0
+0
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
 1
-
 0
 1
+0
 1
-
 0
 0
 0
-
 1
 1
+0
+0
 1
-
+0
+0
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 0
 1
-
+0
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 1
+0
 1
 0
-
+0
+0
+1
+1
 1
 1
 1
-
+0
+0
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
+0
+0
 1
 1
 1
-
+0
+0
 0
 1
+0
+0
+0
 1
-
 0
 0
 0
-
+0
 1
 1
 1
-
 0
 0
 0
-
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 0
+1
+1
+1
 0
 0
-
 1
 1
 1
-
-1
+0
 1
 1
-
+0
+0
+0
+0
+0
+0
+0
 1
+0
 1
 1
-
 1
+0
 1
 0
-
 1
 1
 1
-
+0
+1
 1
+0
+0
 1
 1
-
 0
 0
+1
+0
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
 1
+0
+0
+0
 1
 1
-
+0
 1
+0
 1
 1
-
 0
 0
 0
-
 1
 1
 1
-
 0
 0
+1
+1
+1
+1
+1
+1
+0
 0
-
 1
 1
 1
-
+1
+0
+1
 0
+1
 0
 0
-
 1
 1
 1
-
 0
 0
 0
-
+0
+0
+0
+1
+0
+0
+1
 1
 1
 1
-
 0
 0
 0
-
 0
+1
 0
 0
-
 0
 1
 0
-
 1
+0
+0
 1
+0
 1
-
 1
+0
+0
 1
 1
-
+0
 0
 1
+1
+1
+1
+1
 0
-
+0
+1
 1
 1
+0
+1
 1
-
 1
+0
+0
 1
+0
+0
+0
+0
+0
 1
-
+0
+0
+0
+0
 1
+0
 1
+0
 1
-
 1
 1
 1
-
+0
 1
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 1
+0
 1
-
 1
+0
+0
 1
+0
 1
-
+0
 1
+0
+0
+0
+0
 1
 1
-
 0
 0
+1
 0
-
 1
 1
 1
-
+1
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
+0
 1
 1
 1
-
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
 1
+0
 1
 1
-
-0
 0
 0
-
-0
-0
-0
-
+1
 0
+1
 0
 0
-
-1
 1
+0
 1
-
 1
 0
 1
-
 0
 0
 1
-
+1
+1
+0
 0
 0
 0
-
+1
+1
 0
+1
 0
 0
-
 1
 1
 1
-
+0
 1
+0
 1
 1
-
 0
-1
 0
-
 0
 0
+1
+0
 0
-
+0
+1
 1
 1
 1
-
 1
 1
+0
+1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
 1
 1
-
+0
+0
+0
+0
+0
 1
+0
+0
 1
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
+0
+0
 1
 1
+0
 1
-
 1
+0
+0
 1
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
+0
+0
 1
+0
 1
 1
-
+0
+0
+0
 1
 1
+0
 1
-
+0
 1
 1
 1
-
+0
+0
+0
 1
 0
 0
-
 0
 0
 0
-
-1
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
 1
-
+0
+0
+0
 1
 1
+0
 1
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
 1
+0
+0
 1
+0
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
 1
-
+0
+0
+0
+0
+0
+0
 1
 1
 1
-
 1
+0
 1
 1
-
 0
 1
 0
-
-1
-1
-1
-
 0
 1
 1
-
-1
-1
-1
-
-1
-1
-1
-
+0
 0
 0
 1
-
+0
+1
 1
 1
 0
-
 1
 1
 1
-
+0
 1
 1
 1
-
 1
 1
+0
+0
 1
-
 1
+0
+0
 1
+0
 1
-
+0
 1
+0
+0
 1
 1
-
 1
+0
 1
 1
-
 0
 0
 0
-
+0
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
+0
+0
+0
 1
 1
+0
+0
+0
+0
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
+0
+0
+0
+0
 1
 0
 1
-
 1
 1
+0
 1
-
+0
+0
 1
+0
 1
 1
-
 1
+0
+0
 1
 1
-
+0
 1
+0
+0
 1
 1
-
 1
 1
 1
-
+0
+0
 1
+0
 1
 1
-
 1
 1
 0
-
+0
+0
+0
+0
+0
+0
 1
 0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
+0
 1
 1
+0
 1
-
+0
 1
 1
+0
+0
+0
+0
+0
 1
-
 1
+0
 1
 1
-
 0
 0
 1
-
-1
-1
-1
-
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
+0
 1
-
 0
 0
 0
-
-1
-1
-1
-
-1
-1
+0
+0
 1
-
 1
+0
 1
 1
-
+0
+0
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
-0
-
 1
 1
+0
+0
 1
-
 1
 1
 1
-
 1
 1
+0
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 1
 0
-0
-
-1
 1
 0
-
 0
 1
 0
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
-1
-
 0
+1
 0
 0
-
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
 1
+0
+0
 1
 1
-
+0
 1
 1
+0
 1
-
 1
+0
 1
+0
+0
 1
-
+0
+0
 1
+0
 1
 0
-
 0
 0
 0
-
 0
 0
 0
-
+0
+0
+1
+0
+0
+1
+1
+0
+0
+0
 1
+0
 1
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
+0
 1
+0
+0
+0
 1
+0
 1
-
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
+0
 1
 0
+1
 0
-
+1
 0
 1
 0
-
 1
 1
+0
+0
+0
 1
-
 1
 0
 0
-
+0
+0
+0
+0
+0
 1
 1
 1
-
+0
+0
+0
+0
+0
 0
 1
 0
-
 0
 0
+1
 0
-
 1
 1
 1
-
+0
+0
+0
 1
 1
+0
+0
+0
 1
-
+0
+0
+0
+0
 0
 0
 1
-
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
-1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
 0
 0
 0
-
+0
 1
+0
+0
 1
 1
-
+0
 1
 1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
+0
+0
 1
+0
 1
-
+0
 1
 1
 1
-
-0
 0
-0
-
 0
 0
 1
-
+0
 1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
 1
 1
+0
 1
-
 1
 1
 1
-
+0
+0
+0
+0
 1
 1
+0
 1
-
+0
 1
+0
+0
 1
+0
+0
+0
 1
-
+0
+0
+0
+0
 1
+0
 1
 1
-
 1
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
+0
+0
 0
 0
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
-0
 1
 1
-
 0
 0
 0
-
 1
+0
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
-0
-0
-
 1
 1
 1
-
 1
 0
 0
-
 1
 1
 1
-
 1
 1
 0
-
 0
 0
 0
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
-1
-1
-
-1
 0
 0
-
-1
 1
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
+0
 1
+0
 1
+0
 1
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
-1
-
 0
 1
-0
-
 1
 1
 1
-
+0
+0
 1
 1
 1
-
 1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
 0
 0
 0
-
 0
 1
 0
-
-1
-1
-1
-
+0
+0
+0
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
+0
 1
-
 0
+1
 0
+1
 0
-
 1
+0
 1
 1
-
 0
 1
 1
-
 1
+0
+0
 1
 1
-
 0
 1
 0
-
-1
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
+0
 1
-
+0
+0
+0
 1
 1
 1
-
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
 1
-
-0
 0
-0
-
 0
 0
+1
 0
-
 0
 0
+1
+1
 0
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
 0
 0
-0
-
 1
 1
 1
-
+1
+0
+0
 1
 1
 1
-
 1
 1
 1
-
+0
+1
 1
 1
+0
 1
-
 0
+1
 0
 0
-
 1
 1
 1
-
+0
 1
 0
 0
-
-1
-1
-1
-
 1
+0
+0
+0
 1
+0
+0
 1
-
+0
+0
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 0
-1
 0
-
-1
 1
 1
-
-1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 0
 0
 0
-
 0
 0
-0
-
-1
 1
 0
-
-1
-1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 0
-
-1
 0
 0
-
+0
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 1
+0
+0
+0
+0
 1
-
 0
 0
 0
-
-1
+0
+0
 1
 1
-
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 0
 0
 0
-
-1
 1
 1
-
+0
+0
 1
 1
 1
-
+0
 1
+0
 1
+0
+0
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
 1
-
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
-1
+0
+0
+0
+0
 1
 1
-
 0
-1
 0
-
-1
+0
+0
+0
+0
+0
 1
+0
 1
-
+0
 1
+0
 1
+0
 1
-
+0
 1
 1
+0
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 0
 0
-
+0
 1
+0
+0
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
 0
-
-1
-1
+0
 1
-
 0
 0
 0
-
+0
+0
 1
+0
+0
+0
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 0
-
+0
+0
+0
+0
 1
+0
+0
+0
+0
 1
 1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
+1
 0
-
 1
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
-1
+0
 1
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
+0
 1
 1
+0
 1
-
+0
 1
 1
+0
+0
 1
-
 1
+0
+0
 1
+0
+0
 1
-
+0
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 1
+1
+0
 0
-
 0
 1
 1
-
-1
-1
-1
-
 0
 1
 0
-
+1
 1
 1
 0
-
+0
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 1
+0
+0
 1
+0
+0
 1
-
 0
 0
 0
-
-1
 1
 1
-
 1
+0
+0
+0
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
+0
+0
+0
 1
+0
+0
 1
 1
-
+0
 1
 1
 1
-
 0
+1
 0
 0
-
 1
+0
+0
 1
+0
 1
-
 1
 1
+0
 1
-
 0
 1
 0
-
+0
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
+0
+0
 1
-
 0
 0
 0
-
+0
 1
+0
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
+0
+0
 1
+0
+0
 1
 1
-
 1
 0
-0
-
 1
-0
 1
-
 0
 0
 0
-
-1
-1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
 0
 0
 0
-
+0
+0
+0
+0
+0
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
+0
 1
 1
 1
-
-0
 0
+1
 0
-
 0
+1
+1
+1
 0
+1
 0
-
 1
 1
 1
-
+0
 1
 1
 1
-
-0
 0
 0
-
 1
 1
+0
 1
-
 1
 0
 1
-
 1
 1
 1
-
 1
+0
+0
 1
 1
-
 1
 1
 1
-
+0
 1
+0
+0
 1
 1
-
 0
 0
 0
-
+0
+1
+0
+1
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
 1
+0
 1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
 0
 0
 0
-
+0
+1
 0
 0
 0
-
 1
 1
 1
-
+1
+1
+0
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
+0
+0
 1
-
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
+0
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
+1
+1
 0
-
 1
+0
 1
 1
-
+0
 1
 1
+0
+0
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
+0
+0
+0
 1
-
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
-0
 0
+1
 0
-
 1
 1
 1
-
+0
+1
 1
 1
+0
+0
+0
+0
+0
 1
-
+0
+0
+0
+0
+0
+0
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 1
+0
+0
+0
 1
+0
+0
+0
 1
-
+0
+0
+0
+0
 1
+0
+0
+0
 1
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
+0
 1
+0
+0
+0
 1
 1
-
+0
 1
+0
 1
 1
-
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
 1
-
 0
-1
 0
-
 1
 1
 1
-
-1
+0
+0
+0
+0
 1
+0
 1
-
 1
 1
+0
 1
-
 1
+0
 1
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 0
 0
-
-1
 1
 1
-
 1
+0
+0
 1
 1
-
+0
 1
 1
+0
+0
+0
 1
-
 1
 0
 1
-
+0
 1
 1
 1
-
-0
-0
-0
-
-0
 0
 1
-
 0
+1
 0
 0
-
 1
 1
-0
-
 1
+0
+0
+0
 1
 1
-
 1
 0
 1
-
 1
+0
+0
 1
+0
+0
 1
-
 1
+0
+0
+0
 1
+0
+0
+0
+0
 1
-
+0
+0
+0
+0
+0
+0
+0
 1
+0
 1
 0
-
 0
 0
 0
-
+0
 1
 1
+0
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
+0
+0
 1
+0
 1
 0
-
+0
 1
 1
 1
-
 0
-1
 0
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
-1
 0
-
 1
-0
 1
-
+1
 0
 0
 0
-
-1
 1
-1
-
-1
-1
-1
-
-1
-1
-1
-
 0
 0
 0
-
 0
 0
 0
-
-1
-1
-1
-
 0
 1
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
 0
 0
 0
-
+0
+0
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
+0
 1
 1
 1
-
 1
 0
+0
+0
+0
 1
-
-1
+0
+0
 1
+0
+0
 1
-
 1
 1
 0
-
 1
 1
+0
 1
-
-1
+0
 1
+0
+0
+0
+0
 1
-
 0
 0
 0
-
 0
 0
 0
-
-1
-1
-1
-
+0
+0
+0
+0
 1
+0
 1
+0
 1
-
 1
 0
 1
-
-1
+0
 1
 1
-
+0
+0
+0
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
 1
-
+0
 1
 1
 1
-
 0
 1
 1
-
-1
+0
 1
+0
+0
+0
 1
-
+0
 1
 1
 0
-
+0
+0
+0
 1
 1
 1
-
 0
 0
 0
-
 0
 0
 0
-
-1
-1
-1
-
+0
 1
 1
+0
 1
-
 0
 0
 1
-
 0
 0
 0
-
-1
-1
+0
+0
 1
-
 1
 1
+0
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
 1
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 0
 0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+1
+0
 1
-
+0
+1
+0
 1
+0
 1
+0
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
+0
+0
 1
+0
 1
+0
 1
-
+0
+0
 1
+0
+0
 1
 0
-
 1
 1
+0
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
 1
+0
+1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
+0
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
-0
-1
-
 1
 1
 1
-
 1
+0
+0
 1
+0
+0
 1
-
 1
 1
 1
-
+0
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
+0
+0
+0
+0
 1
 1
 1
-
+0
 1
+0
 1
 0
-
 1
 1
+0
+0
+1
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 1
-0
 1
-
 0
 0
 0
-
-1
 1
 1
-
+0
 1
 1
 1
-
 0
 1
-0
-
 1
 1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
-0
 0
 0
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
 1
-
+0
+1
 1
+0
 1
+0
+0
 1
-
 1
 0
-1
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
 1
+0
+0
 1
-
 1
+0
 1
+0
+0
 1
-
 1
+0
 1
+0
 1
-
 0
+1
 0
+1
 0
-
 1
 1
 1
-
+0
 1
 0
 1
-
 1
 1
 0
-
 1
 1
+0
 1
-
 1
+0
+0
 1
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
 1
-1
-
-0
-1
-0
-
 1
 1
 1
-
 0
 0
-0
-
-1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
 1
-
 1
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 1
 1
+0
 1
-
+0
+0
+0
 1
 1
 1
-
+0
+0
+0
+0
+0
+0
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 0
-
+0
 0
 1
 0
-
 1
 1
 1
-
+1
+0
+0
+1
 1
 1
+0
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
+0
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
 1
-
 1
 0
+0
 1
-
 1
+0
+0
 1
 1
-
 1
 1
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
+0
+0
 1
+0
+0
 1
 1
-
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
+0
+0
+0
 1
 1
 1
-
 0
 0
 0
-
 1
 1
+0
+1
 1
-
 1
 1
+0
+0
+0
+0
+0
 1
-
+0
 1
 1
+0
 1
-
 0
 0
 0
-
+0
 1
 1
-0
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
 1
 1
-
 0
 1
 1
-
+0
 1
 1
+0
 1
-
+0
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
-1
-1
-1
-
+0
 1
 1
 0
-
-1
+0
 1
 1
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
 1
 1
-1
-
 0
 1
 1
-
+0
 1
 1
 0
-
 1
+0
 1
+0
 1
-
 0
 0
 0
-
-1
 1
+0
+0
 1
-
 0
 0
 0
-
-1
-1
-1
-
-1
-1
 1
-
-1
-1
-1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
-0
 0
 0
-
-1
-1
 1
-
 1
-1
-1
-
 0
 0
-1
-
 0
+1
 0
 0
-
+1
 0
 0
 0
-
-1
-1
-1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 0
 1
-
-1
+0
+0
 1
+0
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
+0
+0
 1
+0
 1
 1
-
 0
 1
-0
-
 1
 1
 1
-
-0
 0
 0
-
 1
 1
 1
-
+1
+1
 0
+1
 0
 1
-
 0
 0
 1
-
+0
+1
 0
 0
 0
-
 1
 1
 1
-
+1
 1
 0
+1
+0
+1
+1
+1
 0
-
 1
+0
 1
+0
+0
 1
-
 0
 0
+1
 0
-
 0
 0
 0
-
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
-0
-
-1
 1
 1
-
 0
 1
 1
-
 1
+0
 1
 1
-
 0
 0
+1
 0
-
 0
 1
-1
-
-0
 0
 0
-
-1
-1
 0
-
 0
-1
-1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
 1
 1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
 0
 1
 0
-
 1
 1
-1
-
-1
+0
+0
 1
 1
-
 0
 0
-0
-
-1
 1
+0
 1
-
 1
 1
 0
-
-1
 1
+0
+0
 1
-
+0
+0
 0
 0
 1
-
 0
+0
+1
 1
 1
-
+0
+0
+0
 1
 1
+0
 1
-
+0
 1
 1
+0
 1
-
+0
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
+0
 1
+0
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
+0
+0
 1
+0
 1
-
 1
 1
+0
 1
-
+0
 1
+0
 1
+0
+0
 1
-
+0
+0
+0
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
-1
-
+0
+0
 1
 1
+0
 1
-
 0
 0
 0
-
 1
+0
 1
 1
-
-1
-1
+0
+0
+0
+0
 1
-
+0
+0
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
-1
+0
 1
 1
-
+0
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
+0
+0
 1
 1
 1
-
+0
+0
+0
+0
+0
 1
 1
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
 0
 0
 1
-
 1
 1
+0
 1
-
 1
 0
-0
-
 1
 1
 1
-
-1
+0
 1
 1
-
 1
 1
+0
 1
-
 1
+0
 1
 1
-
-0
 1
 1
-
 0
 0
 0
-
-1
 1
 1
-
 1
 1
-1
-
 0
+1
 0
 0
-
 1
+0
 1
 1
-
 0
 0
 0
-
 1
 1
+0
 1
-
 0
 0
+1
+1
+1
+0
+1
 0
-
 1
 1
+0
+1
 1
-
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
 0
 0
 0
-
 1
+0
 1
 1
-
 0
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
+0
+0
 1
+0
+0
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
 1
 1
-
+0
+1
 1
 1
 1
-
+0
+0
+0
 1
+0
 1
+0
 1
-
 1
 1
 1
-
-0
 0
 0
-
-0
-1
 1
-
 1
 0
 1
-
 1
+0
+1
+0
 1
+0
+0
 1
-
 1
+0
 1
 1
-
+0
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
+0
 1
-
 1
 0
 0
-
 0
 0
 0
-
-1
-1
-1
-
-1
 0
 0
-
+0
+0
 1
+0
 1
+0
 1
-
+0
+0
+0
 1
 1
 1
-
 0
 0
 0
-
-1
-1
 1
-
 1
 1
+0
+0
 1
-
+0
 1
 1
+0
+0
+0
+0
+0
 1
-
 1
+0
 1
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
 1
 1
 1
-
+0
+0
+0
+0
 1
 1
+0
 1
-
 1
 1
-0
-
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 1
 0
-
+0
+0
 1
+0
 1
+0
 1
-
+0
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
+0
 1
+0
 1
+0
+0
 1
-
+0
 1
 1
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
 1
+0
+0
 1
-
 1
 0
-1
-
+0
+0
 1
 1
+0
 1
-
 1
+0
+0
 1
 1
-
 0
 0
 0
-
+0
 0
 1
+0
+0
+0
+0
 1
-
-1
-1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
+0
 1
 1
-
+0
+0
 1
 1
 1
-
 0
 0
 0
-
+0
 1
+0
 1
+0
+0
 1
-
+0
+0
 1
+0
 1
 1
-
 0
+1
 0
 0
-
 1
 1
-1
-
+0
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
-0
-
-1
 1
 1
-
 1
 1
+0
 1
-
-1
-1
-1
-
-1
-1
+0
 1
-
+0
 0
 1
 1
-
 1
 1
+0
+0
 1
-
 0
+1
 0
 0
-
 1
+0
 1
 1
-
 1
 1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
 1
 1
-
+0
 1
 1
 1
-
-0
 0
+1
 0
-
+1
 0
 0
 0
-
 1
 1
+0
 1
-
 1
 1
 1
-
 0
-1
 0
-
-1
 1
 1
-
 0
 0
-0
-
-1
 1
 1
-
 1
 1
-1
-
+0
+0
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
+0
+0
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
+0
 1
 1
+0
+0
 1
-
 0
 0
 0
-
 1
 1
-1
-
+0
 1
 1
 1
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 0
 1
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
-0
-0
-
 1
 1
 1
-
+0
 1
 1
 1
-
+0
+0
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
+0
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 1
 1
-
 1
 0
 1
-
+1
+0
+0
 1
 1
 1
-
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
 1
-
+0
 1
 1
+0
 1
-
+0
+0
+0
+0
 1
+0
+0
 1
+0
 1
-
+0
 1
+0
 1
 1
-
 0
 0
 0
-
+0
 1
 1
 1
-
 1
+0
+0
 1
 1
-
+0
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
 1
-
-0
 0
 0
-
 0
 0
 0
-
 1
 1
 1
-
+0
+0
+0
 1
 1
 1
-
+0
+0
 1
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
-0
-
 1
 1
+0
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
-0
 0
 0
-
-1
-1
-1
-
 1
 1
 0
-
+0
 1
 1
+0
 1
-
+0
 1
+0
+0
 1
 1
-
 0
 0
-1
-
 0
-1
 0
-
 1
 1
-1
-
+0
+0
 1
 1
 1
-
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
+0
 1
 1
 0
-
 1
+0
 1
 1
-
 1
+0
+0
 1
+0
+0
 1
-
+0
 1
+0
 1
 1
-
 1
+0
 1
+0
+0
+0
+0
 1
-
 1
+0
+0
 1
+0
 1
-
+0
+0
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
-0
-
-1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
 1
-
+0
 1
+0
+0
 1
 1
-
 1
+0
 1
 0
-
+0
+0
+1
+1
 1
 1
 1
-
 0
 1
 0
-
 1
 1
 1
-
 0
 1
 0
-
-1
+0
 1
 0
-
 1
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
+0
+0
 1
 1
 1
-
+0
 1
 1
+0
+0
 1
-
 1
 1
+0
 1
-
 1
+0
 1
 1
-
+0
 1
 1
+0
 1
-
+0
+0
 1
 1
+0
+0
 1
-
+0
 1
+0
+0
 1
+0
 1
-
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
 1
-
-0
 1
 0
-
 0
 1
 1
-
-1
-0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
+0
+0
 1
 1
-
+0
+0
 1
 1
 1
-
 0
 0
 0
-
 0
 1
 0
-
-1
-1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
+0
+0
+0
+0
 1
-
+0
 1
 1
 1
-
-0
 0
+1
 0
-
 0
 0
+1
+1
+1
+1
+1
+1
 0
-
 1
 1
 1
-
+0
+1
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
+0
 1
+0
 1
 1
-
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
+0
+0
 1
-
 0
 0
 0
-
 0
 0
 0
-
-1
 1
+0
 1
-
+0
 1
+0
 1
 1
-
+0
+0
 1
+0
+0
 1
+0
 1
-
+0
 1
 1
+0
+0
 1
-
+0
+0
+0
 1
 1
+0
 1
-
 1
+0
 1
 1
-
 1
+0
 1
+0
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 0
 0
-0
-
 0
 0
+1
 0
-
 1
+0
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
+0
+0
+0
+0
 1
+0
+0
+0
+0
+0
 1
-
+0
 1
+0
+0
 1
+0
 1
-
 1
+0
 1
 1
-
+0
 1
+0
+0
+0
+0
+0
 1
 1
-
 0
 0
-0
-
 1
 1
 1
-
+1
+0
+0
 0
 0
+1
+1
+0
 0
-
 1
 0
 0
-
+0
+0
+1
+1
 1
 0
 1
-
 1
 1
+0
+1
 1
-
+0
+0
 1
 1
+0
 1
-
+0
+0
+0
 1
+0
+0
 1
 1
-
 1
+0
+0
+0
 1
 1
-
 0
 1
-0
-
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
+0
+0
+0
+0
 1
 1
 1
-
+0
+0
 1
 1
 1
-
 1
+0
+0
 1
 1
-
 0
 0
 1
-
+0
 1
+0
 1
 1
-
 1
+0
+0
+0
+0
+0
 1
 0
-
+0
+0
+1
 1
+0
 1
 0
-
 1
+0
 1
 1
-
+0
 1
 1
 1
-
 1
+0
+0
 1
 1
-
 0
 1
 1
-
+0
 1
 1
+0
 1
-
+0
 1
+0
+0
 1
 0
-
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
 1
 1
 1
-
 1
 1
 0
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
+0
+0
 1
 1
+0
+0
 1
-
+0
+0
+0
+0
 1
+0
 1
 1
-
 1
+0
+0
 1
+0
+0
 1
-
 0
 0
 0
-
-1
-1
-1
-
+0
 1
 1
 1
-
 1
 1
+0
 1
-
 0
 0
 0
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 0
 1
 1
-
-1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
-0
-0
 0
-
 1
 1
 1
-
 1
+0
 1
 1
-
 0
 0
-1
-
+0
+0
 1
 1
 1
-
 0
 0
 1
-
 1
 1
 1
-
+0
+1
+0
 1
 1
 1
-
-0
-0
-0
-
 0
 0
 0
-
-1
-1
-1
-
-1
 1
+0
 1
-
 0
 1
 1
-
-0
 0
 0
-
-1
-1
-1
-
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
+0
 1
-
+0
 1
 1
+0
 1
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
-0
 0
-0
-
-1
 1
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
+0
+0
+0
+0
 1
-
+0
+0
 1
 1
+0
 1
-
+0
 1
+0
 1
+0
+0
 1
-
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
 1
 1
-
 0
+1
 0
 0
-
-1
-1
-1
-
-1
 1
-1
-
+0
 1
 1
 1
-
+0
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
+0
+0
 1
-
 1
 1
 1
-
+0
+0
 1
 0
 0
-
 0
 0
 0
-
+0
+0
+0
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 1
+0
 1
-
+0
+0
+0
+0
 1
+0
+0
 1
 0
-
 0
 0
 0
-
-1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
 1
 0
 1
-
 1
 1
+0
+0
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
-0
 0
-0
-
-1
 1
 1
-
 1
 1
 1
-
-1
-1
-1
-
 0
 0
 0
-
+1
+1
+0
+1
 1
 1
 1
-
 1
 1
 1
-
-0
-0
 0
-
 1
 1
 1
-
-0
 0
+1
+1
 0
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 0
 0
-
-1
 1
 1
-
+0
+0
+0
 1
 1
+0
 1
-
 1
 1
+0
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
+0
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 0
 0
 1
-
+0
+0
+0
+0
+0
 1
+0
 1
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
-0
 1
 1
-
 1
+0
+0
+0
 1
 1
-
 1
 1
 1
-
-0
-0
-0
-
 1
 1
+0
 1
-
+0
 1
 1
 1
-
 0
-1
 0
-
 1
 1
 1
-
 1
 1
+0
 1
-
+0
 1
 1
+0
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
+0
 1
-
 1
+0
+0
 1
 1
-
+0
 1
+0
+0
+0
+0
+0
 1
+0
 1
-
+0
+0
+0
+0
 1
 1
 1
-
 1
 1
+0
 1
-
+0
 1
+0
 1
 1
-
 1
+0
 1
 1
-
-0
 0
-0
-
 1
 0
-0
-
 0
 1
 0
-
+1
+1
+1
 0
 0
 0
-
-1
 1
 1
-
+0
 1
+0
 1
+0
 1
-
 0
 1
+1
 0
-
 0
 0
 0
-
 0
+1
 0
 0
-
 1
 0
 1
-
 1
 0
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 1
+0
 1
 1
-
 0
-0
-0
-
 1
 0
-0
-
 1
 1
 1
-
+1
+0
+0
 1
 1
+0
 1
-
 1
+0
+0
+1
+0
+0
 1
 1
-
 1
 1
 1
-
-0
 0
 0
-
 1
+0
 1
 1
-
 0
-1
 0
-
 1
 1
 1
-
 1
 1
 1
-
+1
 0
 0
 0
-
 1
+0
 1
 1
-
 1
 1
+0
 1
-
 1
+0
 1
+0
 1
-
 1
+0
 1
 1
-
 1
 1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
+0
 1
+0
 1
-
 1
 1
 1
-
+0
 1
+0
+0
+0
 1
 0
-
+0
+0
 1
+0
 1
+0
+0
+0
 1
-
 1
 1
+0
 1
-
 1
+0
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 1
+0
 1
 1
-
+0
 1
+0
+0
 1
 1
-
 1
 1
+0
 1
-
 1
 1
+0
+0
+0
+0
 1
-
 1
 1
 1
-
 0
 1
+0
+0
+0
 1
-
-1
-1
+0
 1
-
 1
+0
+0
 1
 1
-
+0
 0
 0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
 1
+0
 1
+0
+0
 1
-
 1
 1
+0
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
 1
 1
-
+0
 1
+0
+0
 1
+0
+0
 1
-
 1
 1
+0
+0
+0
 1
-
+0
 1
 1
+0
 1
-
 1
+0
 1
+0
 1
-
 1
 1
+0
+0
 1
-
+0
 1
 1
 1
-
 1
 1
 1
-
 0
 0
-0
-
 1
 0
-0
-
 1
 1
 1
-
+0
 1
 1
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
 1
-
+0
+0
+0
+0
 0
 1
+0
+0
+0
 1
-
 1
+0
+0
 1
+0
 1
-
 1
 1
 1
-
+0
+0
+0
 1
 1
 1
-
-0
 1
 1
-
 1
 0
 0
-
-1
 1
 1
-
 0
 0
 0
-
-1
-1
-1
-
+0
+0
 1
+0
+0
+0
+0
 1
+0
+0
+0
+0
 1
-
 1
+0
 1
 1
-
+0
+0
 1
+0
 1
+0
+0
+0
+0
+0
 1
-
 1
 1
+0
+0
 1
-
+0
+0
+0
 1
+0
+0
+0
+0
 1
 1
-
+0
+0
 1
 1
 1
-
+0
+0
 1
+0
 1
+0
+0
 1
-
 1
+0
+0
+0
+0
 1
 1
-
+0
 1
 1
 1
-
 0
 0
 0
-
-1
-1
+0
+0
+0
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
 1
 1
-
 1
+0
 1
 1
-
 1
+0
+0
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
+0
 1
 1
+0
+0
+0
+0
+0
+0
+0
+0
+0
+0
 1
-
+0
 1
+0
+0
+0
+0
+0
 1
+0
 1
-
+0
+0
 1
 1
 1
-
 1
 1
 1
-
 0
 0
 0
-
 1
 1
+0
+1
 1
-
 0
 0
 0
-
+0
+1
+0
 1
 1
 1
-
+0
+0
+0
 1
 1
 1
-
 1
 1
+0
+0
 1
-
 1
+0
+0
+0
+0
+0
+0
 1
 1
-
 1
 1
+0
+0
 1
-
 1
 1
 1
-
+0
 1
 1
+0
 1
-
 1
 1
 1
-
+0
 1
 1
 1
-
 0
 1
 0
-
-0
-0
-0
-
 1
 1
 1
-
-1
-1
+0
+0
 1
-
 1
 1
+0
+0
+0
 1
-
 1
+0
+0
+0
+0
+0
 1
+0
+0
+0
+0
 1
-
 0
 0
+1
 0
-
 1
 1
 1
-
 1
 1
 1
-
+0
 1
+0
 1
+0
 1
-
 1
 1
 1
-
 0
 1
 0
-
 1
 0
+1
 0
-
 1
 1
 1
-
 0
 0
 0
-
 1
+0
 1
 1
-
 1
 1
 1
-
 0
 1
 1
-
 1
 1
 1
-
+1
+0
+1
+1
 1
 1
+0
 1
-
+0
 1
 1
 1
-

new_test_saved_finetuned_model.py

@@ -13,8 +13,8 @@ from src.bert import BERT
 from src.seq_model import BERTSM
 from src.classifier_model import BERTForClassification, BERTForClassificationWithFeats
 # from src.new_finetuning.optim_schedule import ScheduledOptim
-import metrics, recalibration, visualization
-from recalibration import ModelWithTemperature
+import assests.metrics, assests.recalibration, assests.visualization
+from assests.recalibration import ModelWithTemperature
 import tqdm
 import sys
 import time
@@ -217,15 +217,15 @@ class BERTFineTuneTrainer:
                 "time_taken_from_start": end_time - self.start_time,
                 "auc_score":auc_score
             }
-            with open("result.txt", 'w') as file:
+            with open("fileHandler/result.txt", 'w') as file:
                 for key, value in final_msg.items():
                     file.write(f"{key}: {value}\n")
             print(final_msg)
             # print(type(plabels),type(tlabels),plabels,tlabels) 
             fpr, tpr, thresholds = roc_curve(tlabels, positive_class_probs)
-            with open("roc_data.pkl", "wb") as f:
+            with open("fileHandler/roc_data.pkl", "wb") as f:
                 pickle.dump((fpr, tpr, thresholds), f)
-            with open("roc_data2.pkl", "wb") as f:
+            with open("fileHandler/roc_data2.pkl", "wb") as f:
                 pickle.dump((tlabels,positive_class_probs), f)                
             print(final_msg)
             f.close()
@@ -441,7 +441,7 @@ class BERTFineTuneCalibratedTrainer:
                 # "predicted_labels": f"{plabels}",
                 "time_taken_from_start": end_time - self.start_time
             }
-            with open("result.txt", 'w') as file:
+            with open("fileHandler/result.txt", 'w') as file:
                 for key, value in final_msg.items():
                     file.write(f"{key}: {value}\n")
             with open("plabels.txt","w") as file:

ratio_proportion_change3/finetuning/test_in_label.txt

@@ -1,8601 +0,0 @@
-5
-4
-5
-5
-1
-1
-5
-4
-4
-5
-5
-5
-0
-0
-0
-4
-4
-3
-1
-1
-1
-4
-4
-4
-2
-5
-1
-2
-5
-2
-2
-1
-1
-0
-5
-0
-2
-4
-5
-5
-6
-5
-0
-1
-0
-5
-2
-2
-5
-5
-5
-4
-4
-5
-4
-4
-4
-2
-5
-0
-5
-5
-5
-5
-5
-5
-5
-5
-6
-1
-1
-1
-5
-1
-1
-0
-0
-0
-1
-1
-1
-4
-5
-5
-4
-4
-4
-5
-2
-5
-0
-0
-0
-4
-4
-4
-2
-5
-1
-4
-4
-4
-5
-5
-5
-0
-5
-4
-5
-5
-5
-5
-5
-5
-1
-1
-1
-0
-0
-0
-4
-4
-4
-1
-2
-1
-0
-0
-0
-5
-5
-5
-0
-4
-0
-1
-1
-1
-1
-5
-6
-4
-4
-4
-0
-0
-0
-4
-4
-4
-0
-0
-0
-4
-3
-3
-2
-0
-4
-6
-5
-5
-5
-2
-0
-0
-0
-2
-5
-5
-5
-1
-2
-2
-4
-2
-4
-5
-6
-5
-5
-1
-6
-5
-4
-2
-2
-5
-1
-5
-5
-2
-4
-4
-3
-0
-2
-0
-5
-5
-6
-5
-1
-5
-0
-5
-6
-2
-0
-1
-4
-0
-0
-1
-0
-0
-5
-5
-5
-2
-4
-2
-5
-3
-4
-2
-1
-2
-0
-0
-0
-2
-0
-0
-3
-4
-4
-0
-4
-0
-5
-4
-6
-5
-2
-5
-0
-0
-0
-4
-4
-3
-3
-4
-4
-0
-5
-2
-5
-5
-5
-3
-4
-4
-2
-1
-2
-5
-4
-4
-1
-2
-2
-5
-4
-4
-4
-4
-4
-3
-5
-3
-5
-5
-2
-2
-5
-5
-4
-3
-3
-5
-2
-5
-2
-1
-1
-2
-5
-2
-5
-4
-5
-2
-1
-2
-0
-2
-5
-4
-3
-4
-0
-0
-0
-4
-4
-4
-4
-0
-4
-4
-4
-4
-4
-4
-5
-2
-2
-2
-4
-4
-4
-5
-5
-2
-4
-4
-4
-5
-5
-5
-4
-5
-5
-4
-4
-0
-5
-2
-0
-2
-3
-4
-0
-0
-0
-4
-4
-4
-3
-2
-4
-2
-1
-1
-0
-0
-0
-4
-5
-4
-2
-1
-1
-3
-4
-3
-3
-4
-6
-5
-5
-5
-3
-4
-4
-5
-5
-5
-0
-0
-0
-0
-2
-4
-5
-5
-4
-1
-2
-1
-3
-3
-3
-3
-4
-4
-2
-5
-1
-5
-4
-5
-0
-0
-0
-4
-4
-4
-2
-1
-1
-0
-5
-0
-0
-0
-0
-3
-3
-4
-6
-6
-6
-3
-4
-3
-2
-2
-2
-4
-4
-3
-2
-2
-2
-5
-5
-5
-2
-2
-2
-0
-2
-0
-0
-1
-0
-4
-4
-4
-5
-0
-5
-4
-4
-3
-1
-2
-1
-2
-2
-2
-0
-5
-5
-0
-0
-0
-5
-5
-2
-4
-5
-5
-4
-4
-5
-5
-4
-5
-5
-5
-5
-5
-5
-5
-1
-5
-2
-2
-2
-5
-1
-5
-2
-4
-5
-4
-5
-2
-5
-5
-2
-4
-4
-4
-4
-2
-2
-1
-2
-2
-4
-2
-5
-1
-4
-4
-4
-1
-1
-1
-5
-2
-5
-1
-1
-1
-5
-5
-5
-1
-1
-1
-5
-4
-4
-4
-5
-5
-4
-5
-3
-4
-4
-4
-1
-1
-2
-1
-0
-1
-5
-5
-5
-5
-5
-5
-1
-2
-2
-4
-4
-4
-3
-1
-1
-4
-5
-5
-4
-4
-5
-3
-5
-4
-4
-4
-4
-1
-0
-1
-3
-3
-3
-5
-5
-2
-4
-4
-5
-5
-4
-4
-4
-4
-4
-2
-2
-5
-4
-4
-5
-5
-1
-2
-4
-3
-3
-5
-5
-1
-5
-6
-5
-4
-4
-4
-6
-6
-6
-3
-3
-3
-4
-4
-4
-4
-5
-4
-4
-4
-4
-4
-5
-4
-4
-5
-5
-4
-5
-3
-5
-4
-4
-0
-2
-0
-5
-6
-6
-4
-2
-2
-4
-4
-2
-2
-5
-5
-0
-0
-0
-0
-0
-0
-0
-0
-4
-1
-1
-1
-4
-4
-4
-5
-5
-5
-4
-4
-5
-1
-1
-1
-5
-5
-5
-5
-4
-5
-0
-2
-4
-5
-4
-0
-4
-5
-4
-0
-0
-0
-5
-6
-5
-5
-5
-5
-0
-0
-0
-4
-4
-4
-5
-5
-4
-1
-1
-1
-4
-5
-4
-5
-5
-1
-1
-1
-2
-0
-0
-0
-0
-1
-3
-4
-4
-4
-1
-1
-1
-4
-1
-4
-4
-4
-3
-2
-2
-5
-0
-0
-0
-4
-4
-5
-5
-2
-5
-3
-4
-3
-5
-5
-1
-4
-3
-4
-5
-5
-5
-0
-0
-0
-2
-2
-4
-2
-2
-1
-0
-0
-5
-0
-0
-0
-1
-2
-3
-2
-2
-5
-4
-3
-4
-5
-5
-5
-0
-0
-2
-2
-1
-2
-5
-2
-5
-1
-2
-5
-4
-4
-4
-5
-5
-5
-4
-4
-4
-4
-4
-4
-0
-4
-0
-0
-2
-0
-4
-4
-5
-2
-1
-2
-2
-0
-0
-5
-3
-5
-4
-4
-4
-4
-5
-5
-5
-5
-5
-0
-0
-0
-1
-1
-5
-4
-4
-4
-2
-2
-2
-4
-4
-0
-0
-0
-0
-2
-1
-2
-0
-0
-0
-4
-4
-4
-5
-5
-5
-1
-2
-0
-5
-4
-4
-5
-1
-2
-5
-2
-5
-4
-4
-4
-5
-5
-5
-4
-4
-4
-5
-5
-5
-2
-0
-2
-2
-1
-1
-4
-4
-4
-4
-4
-4
-1
-1
-5
-0
-0
-0
-5
-4
-5
-0
-4
-4
-1
-5
-2
-5
-1
-5
-5
-4
-4
-5
-4
-4
-4
-2
-1
-5
-2
-1
-5
-0
-5
-4
-4
-4
-2
-1
-2
-4
-5
-4
-6
-6
-6
-4
-4
-4
-5
-4
-4
-2
-0
-2
-6
-6
-5
-5
-5
-6
-4
-3
-3
-4
-5
-5
-3
-3
-3
-0
-0
-0
-1
-6
-3
-3
-1
-3
-4
-5
-5
-4
-4
-4
-5
-5
-5
-0
-0
-0
-4
-3
-4
-5
-5
-6
-0
-0
-0
-4
-5
-4
-0
-4
-4
-0
-0
-0
-5
-5
-5
-4
-4
-4
-5
-5
-1
-3
-5
-3
-0
-0
-0
-2
-2
-1
-4
-4
-3
-4
-4
-0
-3
-5
-4
-5
-2
-1
-4
-4
-4
-5
-5
-5
-4
-4
-4
-4
-4
-4
-4
-4
-4
-4
-5
-3
-3
-4
-4
-5
-6
-4
-5
-5
-5
-4
-5
-5
-4
-4
-3
-3
-4
-4
-5
-2
-5
-0
-4
-5
-5
-5
-5
-5
-1
-0
-1
-1
-1
-4
-4
-4
-4
-4
-4
-2
-1
-1
-4
-4
-4
-4
-4
-4
-0
-4
-0
-0
-0
-0
-2
-0
-2
-5
-5
-5
-5
-5
-5
-2
-0
-0
-0
-0
-0
-1
-5
-2
-5
-5
-5
-0
-2
-0
-1
-5
-1
-1
-2
-2
-0
-0
-0
-1
-1
-1
-0
-2
-0
-0
-1
-5
-1
-1
-1
-5
-5
-5
-5
-2
-5
-1
-1
-1
-1
-2
-2
-2
-2
-2
-4
-1
-1
-2
-2
-1
-1
-6
-1
-1
-2
-5
-2
-1
-2
-2
-1
-5
-5
-5
-5
-2
-2
-1
-3
-4
-5
-5
-5
-5
-4
-4
-4
-4
-5
-5
-4
-5
-4
-0
-0
-0
-0
-4
-0
-4
-3
-5
-5
-1
-5
-3
-4
-3
-0
-0
-0
-4
-1
-2
-5
-5
-4
-4
-5
-4
-0
-0
-0
-5
-5
-5
-4
-3
-3
-3
-3
-4
-3
-4
-4
-2
-5
-5
-5
-4
-4
-1
-1
-1
-2
-2
-2
-4
-4
-4
-0
-0
-0
-4
-3
-0
-0
-0
-0
-4
-4
-4
-5
-5
-5
-2
-5
-5
-2
-4
-2
-1
-2
-2
-2
-4
-4
-5
-4
-4
-1
-1
-2
-4
-3
-4
-5
-5
-5
-5
-5
-6
-3
-4
-3
-5
-2
-5
-6
-5
-6
-5
-5
-5
-0
-0
-0
-6
-5
-5
-1
-2
-1
-1
-2
-2
-0
-0
-4
-5
-2
-5
-4
-4
-4
-3
-5
-3
-1
-2
-2
-6
-5
-5
-5
-5
-5
-4
-5
-5
-2
-0
-0
-4
-0
-4
-5
-2
-5
-4
-4
-4
-2
-5
-1
-4
-5
-4
-2
-5
-2
-0
-0
-0
-2
-1
-1
-5
-5
-5
-5
-2
-1
-4
-4
-4
-5
-5
-5
-3
-6
-4
-4
-5
-4
-4
-4
-4
-2
-4
-5
-2
-1
-2
-4
-4
-4
-2
-1
-1
-2
-1
-1
-4
-0
-5
-4
-5
-5
-5
-5
-5
-2
-5
-5
-5
-5
-5
-5
-2
-5
-5
-2
-5
-5
-5
-5
-0
-0
-0
-5
-6
-5
-5
-3
-4
-0
-2
-2
-4
-5
-4
-4
-3
-4
-4
-4
-3
-5
-3
-5
-4
-4
-4
-1
-2
-2
-4
-4
-4
-5
-4
-0
-4
-4
-4
-3
-4
-4
-4
-4
-4
-1
-2
-2
-0
-0
-2
-2
-1
-6
-4
-5
-5
-3
-3
-4
-5
-5
-5
-1
-5
-2
-1
-1
-2
-5
-5
-5
-4
-4
-4
-1
-2
-5
-0
-0
-0
-4
-5
-4
-2
-1
-1
-2
-1
-1
-4
-3
-4
-2
-4
-4
-0
-0
-4
-5
-0
-0
-2
-2
-2
-0
-5
-2
-1
-1
-1
-5
-5
-5
-4
-4
-4
-5
-4
-5
-5
-5
-5
-3
-1
-5
-2
-5
-3
-2
-2
-1
-5
-2
-5
-5
-5
-5
-3
-4
-3
-1
-2
-1
-0
-5
-0
-0
-0
-0
-4
-4
-3
-4
-4
-4
-5
-5
-5
-5
-6
-6
-4
-4
-4
-4
-4
-4
-0
-5
-2
-1
-1
-5
-1
-2
-1
-1
-2
-2
-5
-5
-4
-5
-2
-1
-4
-5
-1
-2
-5
-2
-4
-3
-4
-2
-2
-5
-3
-4
-4
-5
-6
-5
-1
-0
-2
-2
-1
-1
-6
-5
-6
-4
-4
-4
-0
-5
-2
-5
-3
-2
-4
-3
-4
-4
-5
-4
-1
-5
-2
-4
-4
-4
-5
-5
-5
-5
-3
-3
-1
-1
-1
-0
-0
-0
-1
-1
-1
-2
-1
-1
-2
-0
-0
-6
-5
-6
-2
-1
-1
-5
-5
-4
-0
-2
-4
-5
-6
-6
-0
-0
-0
-4
-2
-2
-5
-5
-5
-0
-0
-0
-4
-0
-4
-5
-5
-1
-1
-5
-1
-1
-0
-5
-4
-0
-3
-2
-5
-1
-4
-6
-6
-2
-1
-2
-0
-2
-0
-4
-3
-4
-5
-4
-4
-4
-4
-0
-5
-5
-4
-5
-5
-5
-5
-0
-5
-5
-5
-5
-4
-4
-4
-1
-5
-0
-2
-2
-1
-4
-4
-4
-4
-5
-4
-5
-2
-2
-0
-2
-0
-3
-3
-3
-4
-4
-4
-0
-0
-0
-5
-5
-5
-0
-0
-0
-4
-4
-4
-4
-4
-4
-2
-1
-1
-2
-0
-0
-5
-5
-2
-3
-4
-3
-5
-3
-5
-1
-1
-0
-0
-0
-0
-5
-2
-3
-5
-5
-5
-0
-0
-0
-6
-6
-5
-3
-5
-0
-0
-0
-0
-2
-5
-2
-4
-4
-3
-4
-3
-4
-4
-0
-0
-5
-5
-5
-3
-3
-4
-1
-2
-1
-2
-2
-1
-4
-4
-4
-0
-2
-4
-4
-0
-4
-5
-5
-5
-0
-0
-2
-4
-2
-2
-5
-5
-5
-5
-5
-5
-3
-0
-3
-0
-2
-2
-5
-5
-5
-0
-0
-0
-5
-1
-5
-4
-5
-4
-5
-1
-2
-3
-5
-5
-4
-4
-4
-1
-5
-2
-4
-4
-4
-1
-5
-1
-5
-5
-5
-2
-2
-1
-4
-4
-4
-4
-3
-4
-4
-4
-4
-0
-3
-0
-0
-2
-0
-3
-6
-6
-4
-4
-4
-2
-0
-5
-2
-1
-2
-5
-5
-5
-5
-5
-4
-0
-5
-4
-5
-5
-5
-0
-0
-0
-2
-5
-2
-5
-5
-4
-2
-0
-0
-2
-5
-4
-5
-4
-5
-2
-2
-2
-0
-2
-0
-3
-3
-4
-5
-5
-4
-4
-4
-4
-0
-0
-0
-5
-2
-0
-5
-5
-5
-2
-1
-1
-0
-0
-0
-4
-3
-4
-5
-5
-5
-1
-5
-5
-1
-1
-1
-0
-2
-2
-5
-5
-5
-5
-4
-6
-1
-5
-5
-1
-2
-2
-4
-4
-4
-5
-5
-5
-2
-5
-5
-3
-4
-5
-2
-4
-2
-4
-5
-3
-4
-5
-5
-5
-1
-1
-2
-2
-1
-5
-5
-5
-5
-3
-1
-0
-0
-0
-4
-2
-4
-4
-4
-4
-4
-4
-4
-2
-2
-5
-5
-3
-5
-2
-0
-0
-5
-5
-5
-5
-6
-2
-5
-5
-5
-6
-5
-6
-5
-1
-2
-2
-1
-1
-5
-5
-5
-0
-0
-0
-4
-4
-1
-4
-4
-5
-5
-2
-5
-5
-5
-5
-5
-4
-4
-3
-4
-3
-1
-2
-0
-0
-0
-0
-0
-4
-2
-1
-2
-2
-1
-1
-1
-4
-4
-5
-4
-4
-5
-5
-3
-3
-4
-5
-5
-0
-0
-0
-4
-4
-5
-2
-0
-4
-2
-0
-5
-4
-5
-3
-5
-5
-5
-0
-0
-0
-3
-4
-4
-3
-3
-3
-2
-2
-1
-5
-5
-5
-0
-0
-0
-4
-3
-3
-2
-2
-5
-1
-1
-2
-2
-0
-2
-4
-4
-5
-4
-4
-5
-4
-5
-3
-4
-3
-4
-4
-4
-4
-0
-0
-2
-0
-4
-0
-4
-5
-4
-0
-0
-4
-5
-1
-2
-5
-1
-5
-0
-4
-5
-3
-3
-3
-5
-5
-4
-2
-2
-1
-5
-4
-4
-4
-4
-5
-2
-5
-2
-5
-4
-0
-5
-5
-5
-0
-2
-0
-3
-3
-3
-0
-0
-5
-0
-1
-0
-4
-4
-4
-4
-0
-4
-5
-3
-3
-5
-5
-0
-1
-5
-5
-2
-4
-5
-5
-5
-5
-4
-0
-0
-5
-5
-1
-5
-5
-6
-4
-2
-2
-0
-1
-0
-5
-5
-5
-0
-0
-0
-1
-2
-1
-5
-5
-5
-3
-2
-4
-0
-2
-2
-0
-0
-0
-4
-2
-0
-2
-2
-2
-1
-1
-2
-4
-5
-5
-5
-2
-4
-5
-5
-5
-4
-4
-4
-0
-0
-0
-5
-4
-4
-4
-5
-4
-1
-2
-2
-0
-0
-0
-3
-4
-3
-2
-1
-5
-5
-5
-5
-6
-5
-5
-2
-2
-4
-5
-0
-2
-4
-4
-4
-0
-0
-0
-0
-5
-0
-4
-0
-3
-0
-5
-2
-0
-4
-0
-2
-4
-0
-0
-4
-2
-0
-0
-0
-5
-5
-5
-5
-3
-4
-5
-0
-5
-0
-2
-0
-4
-0
-0
-1
-5
-5
-4
-4
-4
-4
-4
-4
-4
-4
-3
-5
-5
-5
-1
-2
-2
-0
-5
-0
-5
-5
-5
-4
-4
-4
-5
-5
-5
-5
-5
-5
-5
-0
-1
-4
-2
-5
-0
-5
-2
-2
-1
-2
-2
-2
-3
-3
-1
-1
-1
-2
-1
-5
-5
-5
-5
-4
-5
-2
-3
-4
-5
-6
-5
-0
-0
-5
-0
-0
-0
-2
-2
-5
-4
-2
-4
-0
-0
-0
-5
-1
-5
-5
-5
-5
-5
-2
-2
-4
-4
-4
-5
-4
-4
-0
-0
-3
-5
-4
-3
-2
-5
-2
-6
-6
-6
-4
-4
-4
-5
-4
-4
-5
-1
-5
-2
-5
-2
-1
-2
-2
-5
-5
-5
-2
-0
-0
-4
-3
-4
-5
-5
-5
-5
-3
-5
-4
-4
-5
-4
-5
-5
-4
-3
-3
-0
-0
-0
-4
-4
-4
-4
-4
-4
-0
-1
-0
-1
-1
-1
-2
-5
-2
-5
-4
-5
-5
-1
-2
-0
-0
-4
-0
-0
-0
-4
-3
-3
-4
-4
-5
-1
-5
-1
-4
-0
-0
-4
-4
-4
-1
-1
-1
-0
-0
-0
-4
-3
-4
-5
-2
-2
-4
-4
-4
-4
-4
-2
-4
-4
-4
-6
-5
-5
-5
-2
-4
-1
-2
-1
-2
-2
-1
-5
-5
-5
-4
-4
-4
-2
-2
-5
-2
-0
-2
-4
-5
-4
-5
-1
-1
-5
-5
-5
-1
-2
-1
-5
-5
-5
-3
-4
-3
-4
-4
-4
-3
-3
-4
-4
-4
-0
-3
-4
-3
-1
-2
-1
-3
-2
-4
-5
-5
-5
-5
-4
-4
-5
-5
-5
-5
-5
-5
-5
-4
-5
-2
-2
-1
-2
-2
-2
-0
-0
-2
-2
-1
-2
-4
-4
-4
-3
-5
-4
-4
-4
-5
-3
-3
-0
-5
-6
-5
-5
-4
-4
-4
-4
-4
-4
-4
-4
-2
-2
-2
-2
-5
-5
-1
-5
-5
-2
-2
-2
-4
-4
-4
-5
-5
-5
-1
-2
-2
-5
-5
-2
-1
-4
-5
-3
-3
-3
-5
-5
-5
-2
-2
-1
-5
-5
-5
-4
-5
-1
-0
-0
-0
-0
-4
-0
-2
-2
-2
-0
-2
-5
-2
-4
-4
-5
-4
-4
-3
-3
-3
-0
-0
-4
-2
-1
-2
-5
-3
-3
-5
-5
-3
-1
-1
-1
-5
-5
-5
-2
-1
-5
-5
-5
-5
-5
-5
-5
-4
-5
-4
-2
-5
-2
-5
-5
-5
-4
-4
-4
-5
-2
-2
-5
-2
-1
-4
-4
-4
-4
-3
-5
-0
-0
-0
-5
-5
-5
-0
-0
-0
-2
-2
-5
-0
-2
-4
-5
-5
-5
-5
-4
-4
-2
-1
-5
-2
-2
-1
-5
-4
-4
-3
-5
-4
-5
-5
-5
-5
-5
-5
-2
-2
-1
-0
-0
-0
-0
-0
-0
-1
-1
-1
-4
-3
-4
-2
-0
-0
-5
-2
-2
-0
-0
-0
-2
-2
-2
-0
-0
-0
-2
-1
-0
-5
-5
-5
-5
-2
-5
-5
-4
-4
-0
-2
-0
-2
-2
-1
-3
-5
-4
-4
-4
-4
-4
-4
-4
-5
-5
-5
-4
-4
-4
-5
-4
-4
-0
-0
-2
-5
-4
-4
-2
-2
-2
-5
-2
-3
-4
-4
-4
-2
-5
-6
-5
-5
-5
-1
-5
-1
-0
-0
-0
-5
-5
-5
-5
-5
-5
-4
-4
-4
-6
-6
-5
-5
-4
-5
-1
-2
-2
-3
-4
-4
-4
-0
-0
-4
-0
-4
-2
-1
-5
-1
-2
-2
-1
-5
-0
-5
-5
-5
-5
-4
-4
-5
-3
-3
-5
-4
-3
-1
-2
-1
-5
-5
-5
-5
-4
-4
-0
-0
-0
-2
-2
-1
-5
-5
-5
-5
-1
-2
-5
-1
-1
-0
-0
-0
-2
-5
-4
-1
-5
-2
-5
-5
-5
-0
-0
-0
-4
-4
-3
-4
-4
-5
-5
-3
-5
-4
-4
-4
-4
-4
-4
-4
-4
-4
-3
-3
-5
-5
-0
-1
-2
-1
-2
-5
-3
-4
-5
-4
-5
-0
-0
-0
-0
-2
-0
-4
-4
-4
-4
-4
-4
-2
-2
-1
-6
-5
-5
-2
-0
-2
-3
-0
-0
-1
-1
-1
-2
-2
-1
-1
-1
-1
-2
-5
-5
-4
-5
-4
-2
-5
-1
-0
-0
-5
-0
-0
-4
-4
-4
-4
-6
-6
-3
-1
-1
-0
-0
-0
-2
-2
-1
-1
-5
-0
-4
-1
-1
-1
-2
-2
-2
-3
-0
-2
-2
-2
-2
-2
-2
-2
-4
-4
-4
-3
-5
-4
-5
-2
-5
-5
-4
-4
-5
-4
-4
-0
-0
-0
-5
-4
-4
-0
-2
-0
-5
-5
-5
-0
-0
-0
-0
-0
-0
-5
-1
-1
-2
-1
-1
-5
-5
-6
-3
-5
-4
-5
-2
-6
-2
-2
-0
-5
-3
-5
-4
-4
-4
-2
-0
-0
-4
-4
-4
-0
-4
-0
-5
-2
-2
-0
-0
-0
-0
-0
-0
-4
-2
-2
-5
-5
-5
-0
-0
-4
-2
-0
-6
-3
-4
-3
-1
-5
-5
-2
-2
-2
-5
-5
-5
-4
-0
-4
-2
-5
-4
-4
-5
-4
-5
-5
-3
-6
-5
-5
-5
-4
-4
-5
-0
-2
-0
-0
-0
-4
-5
-0
-0
-0
-0
-5
-5
-5
-5
-5
-5
-2
-2
-4
-0
-2
-0
-0
-0
-0
-1
-1
-1
-4
-4
-4
-4
-4
-4
-1
-2
-1
-4
-0
-4
-4
-4
-4
-3
-3
-1
-5
-5
-5
-5
-5
-5
-3
-3
-4
-0
-1
-0
-4
-4
-4
-5
-5
-5
-4
-4
-6
-0
-0
-0
-5
-5
-5
-5
-3
-4
-4
-4
-4
-2
-2
-2
-0
-2
-0
-5
-5
-5
-6
-4
-3
-5
-2
-4
-1
-2
-0
-0
-0
-0
-5
-3
-5
-5
-5
-5
-5
-5
-5
-0
-0
-2
-2
-2
-1
-2
-2
-1
-1
-2
-2
-3
-1
-2
-5
-4
-5
-0
-4
-5
-4
-5
-4
-0
-0
-0
-5
-5
-0
-2
-0
-0
-2
-2
-5
-4
-4
-4
-2
-1
-2
-1
-5
-2
-3
-4
-4
-4
-0
-0
-2
-0
-0
-4
-0
-4
-3
-3
-3
-5
-4
-4
-1
-2
-2
-4
-5
-2
-5
-1
-5
-4
-4
-3
-3
-3
-3
-4
-4
-5
-4
-3
-4
-4
-4
-1
-1
-1
-4
-4
-4
-4
-4
-4
-0
-5
-5
-4
-5
-5
-5
-5
-5
-5
-2
-0
-0
-1
-1
-1
-4
-3
-4
-6
-5
-6
-1
-5
-1
-2
-5
-5
-1
-2
-2
-6
-5
-5
-4
-3
-3
-3
-5
-4
-4
-3
-4
-5
-5
-5
-2
-0
-0
-5
-5
-6
-1
-1
-2
-5
-5
-5
-0
-0
-0
-2
-5
-5
-4
-4
-4
-4
-4
-4
-5
-5
-5
-4
-4
-5
-2
-2
-0
-5
-0
-0
-1
-2
-1
-4
-4
-4
-5
-5
-5
-1
-2
-0
-5
-5
-4
-4
-4
-5
-5
-5
-5
-0
-0
-2
-2
-2
-0
-5
-4
-4
-3
-4
-4
-4
-3
-4
-5
-5
-5
-4
-4
-4
-5
-0
-4
-5
-5
-5
-5
-6
-5
-0
-4
-0
-2
-2
-2
-0
-3
-0
-0
-0
-0
-5
-4
-4
-2
-1
-1
-3
-4
-3
-2
-2
-2
-5
-2
-2
-5
-5
-5
-4
-2
-4
-1
-2
-5
-2
-1
-5
-5
-2
-5
-3
-3
-4
-3
-4
-4
-5
-2
-2
-2
-1
-1
-0
-4
-0
-4
-4
-1
-0
-3
-0
-0
-3
-0
-0
-0
-4
-0
-0
-2
-5
-5
-2
-2
-0
-0
-5
-5
-5
-5
-4
-5
-3
-2
-5
-4
-4
-5
-6
-5
-6
-1
-1
-1
-0
-0
-0
-0
-0
-0
-1
-2
-1
-2
-5
-2
-5
-5
-5
-5
-4
-5
-4
-5
-5
-2
-2
-2
-2
-1
-2
-2
-2
-2
-5
-0
-2
-0
-2
-0
-4
-5
-2
-5
-4
-5
-3
-4
-4
-1
-1
-0
-2
-2
-1
-0
-0
-4
-4
-4
-4
-1
-1
-5
-5
-4
-4
-3
-2
-0
-0
-0
-0
-4
-4
-5
-0
-4
-0
-5
-5
-1
-4
-4
-4
-5
-5
-5
-0
-1
-2
-0
-5
-0
-5
-5
-5
-5
-4
-4
-1
-1
-2
-1
-5
-1
-4
-4
-5
-6
-6
-5
-4
-5
-5
-5
-5
-5
-0
-0
-0
-1
-2
-5
-0
-5
-3
-4
-5
-4
-5
-3
-3
-4
-4
-4
-1
-2
-2
-1
-1
-2
-4
-2
-0
-3
-4
-4
-1
-1
-1
-3
-4
-3
-5
-5
-2
-6
-6
-6
-5
-6
-2
-4
-3
-3
-1
-2
-1
-4
-4
-5
-4
-4
-4
-1
-0
-5
-4
-3
-5
-4
-4
-3
-0
-0
-0
-1
-1
-2
-5
-4
-4
-0
-0
-2
-5
-5
-5
-4
-4
-4
-4
-2
-4
-2
-2
-2
-4
-4
-4
-4
-4
-4
-1
-0
-1
-0
-0
-0
-3
-0
-0
-5
-5
-5
-6
-6
-5
-4
-5
-5
-4
-3
-3
-5
-4
-4
-0
-1
-0
-2
-1
-1
-4
-2
-1
-5
-5
-5
-4
-3
-3
-5
-5
-0
-0
-0
-0
-1
-2
-2
-0
-0
-0
-2
-5
-5
-5
-5
-4
-4
-4
-4
-5
-4
-4
-4
-4
-1
-5
-4
-4
-2
-2
-5
-0
-0
-0
-3
-4
-5
-5
-5
-5
-4
-5
-5
-0
-0
-0
-0
-0
-0
-5
-5
-5
-0
-2
-0
-4
-5
-4
-5
-5
-5
-3
-3
-3
-5
-5
-5
-5
-5
-5
-5
-2
-5
-1
-2
-1
-0
-0
-2
-2
-0
-0
-0
-0
-0
-5
-5
-5
-0
-0
-0
-1
-3
-4
-5
-5
-4
-2
-0
-2
-1
-5
-1
-2
-1
-1
-5
-5
-5
-4
-5
-4
-5
-0
-0
-4
-5
-0
-2
-0
-0
-5
-5
-5
-0
-2
-0
-5
-3
-5
-1
-1
-1
-2
-0
-0
-1
-0
-1
-0
-0
-4
-5
-4
-5
-5
-6
-6
-1
-1
-1
-1
-2
-1
-5
-5
-4
-4
-4
-4
-1
-5
-0
-4
-3
-4
-3
-3
-5
-3
-3
-3
-0
-2
-0
-1
-2
-1
-3
-3
-3
-4
-4
-4
-5
-5
-5
-2
-2
-2
-2
-2
-2
-5
-5
-2
-5
-2
-5
-5
-2
-5
-4
-4
-4
-6
-6
-6
-4
-3
-3
-0
-0
-0
-3
-3
-4
-1
-1
-5
-0
-0
-0
-1
-5
-2
-4
-4
-4
-0
-2
-0
-4
-4
-4
-4
-3
-3
-2
-4
-0
-5
-6
-2
-5
-0
-2
-0
-0
-0
-3
-4
-3
-5
-4
-5
-1
-2
-2
-4
-0
-0
-4
-4
-3
-2
-0
-4
-5
-5
-6
-0
-5
-0
-0
-0
-0
-1
-1
-1
-0
-0
-0
-4
-4
-4
-0
-0
-0
-5
-5
-5
-1
-5
-1
-1
-4
-5
-6
-5
-5
-4
-5
-5
-2
-0
-0
-2
-2
-2
-5
-5
-6
-1
-1
-1
-4
-4
-4
-0
-0
-0
-0
-0
-0
-2
-0
-0
-2
-2
-2
-1
-1
-2
-3
-4
-5
-0
-0
-0
-5
-5
-6
-5
-6
-5
-4
-4
-3
-1
-1
-2
-3
-5
-4
-5
-1
-4
-4
-4
-4
-2
-1
-1
-3
-5
-3
-5
-5
-5
-2
-0
-2
-4
-4
-5
-4
-6
-4
-1
-5
-2
-0
-2
-0
-5
-4
-5
-5
-2
-1
-0
-0
-4
-1
-2
-2
-2
-5
-2
-2
-1
-1
-0
-0
-1
-5
-2
-5
-5
-5
-5
-1
-2
-2
-2
-2
-1
-1
-1
-1
-4
-5
-4
-5
-5
-5
-4
-4
-4
-4
-4
-4
-2
-5
-1
-4
-4
-4
-2
-2
-5
-2
-5
-1
-4
-4
-5
-0
-0
-2
-2
-2
-1
-2
-1
-2
-4
-4
-2
-1
-0
-2
-5
-6
-6
-5
-5
-5
-1
-2
-1
-6
-6
-6
-0
-0
-0
-5
-5
-5
-1
-2
-1
-5
-5
-5
-2
-1
-5
-4
-4
-4
-6
-5
-5
-2
-2
-2
-4
-4
-4
-1
-1
-2
-0
-0
-2
-4
-4
-4
-4
-4
-5
-5
-4
-5
-4
-4
-3
-6
-0
-5
-3
-5
-5
-5
-4
-5
-5
-5
-5
-4
-4
-3
-4
-5
-1
-6
-5
-6
-5
-5
-5
-0
-0
-0
-4
-2
-4
-0
-0
-0
-4
-4
-4
-5
-3
-3
-6
-6
-5
-4
-5
-4
-2
-4
-4
-4
-3
-5
-1
-1
-1
-5
-5
-4
-0
-2
-2
-0
-2
-0
-4
-4
-4
-4
-2
-0
-5
-4
-4
-3
-1
-4
-4
-4
-4
-5
-5
-4
-4
-4
-5
-5
-2
-2
-5
-1
-2
-4
-5
-5
-5
-5
-5
-2
-1
-1
-5
-5
-2
-4
-5
-4
-1
-1
-1
-2
-5
-1
-5
-5
-5
-6
-6
-6
-1
-1
-1
-4
-4
-3
-4
-4
-5
-4
-5
-5
-5
-5
-2
-5
-5
-5
-2
-5
-2
-4
-5
-4
-4
-4
-4
-5
-2
-5
-4
-4
-4
-2
-2
-2
-4
-3
-5
-5
-4
-5
-4
-2
-0
-4
-4
-2
-5
-5
-5
-5
-5
-4
-4
-5
-4
-4
-4
-4
-3
-2
-4
-0
-0
-0
-3
-5
-5
-5
-4
-4
-6
-5
-5
-5
-4
-5
-2
-2
-2
-4
-3
-3
-3
-3
-3
-4
-2
-5
-5
-2
-2
-2
-2
-5
-2
-2
-5
-0
-0
-0
-4
-4
-3
-5
-5
-4
-2
-2
-2
-4
-2
-4
-6
-4
-5
-2
-2
-2
-2
-2
-1
-5
-5
-5
-1
-3
-2
-2
-1
-2
-0
-0
-0
-2
-6
-6
-5
-5
-5
-5
-5
-5
-4
-0
-4
-5
-5
-4
-4
-4
-5
-5
-5
-3
-4
-4
-4
-3
-5
-5
-1
-4
-1
-5
-5
-4
-5
-5
-2
-5
-5
-5
-4
-4
-4
-4
-4
-4
-0
-4
-4
-5
-2
-1
-0
-0
-0
-3
-5
-1
-2
-1
-1
-0
-0
-2
-4
-4
-4
-3
-5
-5
-3
-4
-5
-4
-4
-2
-5
-5
-5
-5
-2
-2
-0
-0
-2
-3
-3
-3
-5
-4
-2
-2
-2
-4
-4
-4
-4
-5
-5
-4
-0
-0
-2
-2
-1
-5
-0
-0
-0
-4
-2
-1
-0
-0
-2
-4
-4
-4
-0
-0
-4
-5
-4
-4
-0
-0
-0
-0
-0
-0
-0
-2
-0
-2
-2
-5
-4
-2
-2
-0
-4
-0
-2
-5
-2
-1
-5
-2
-1
-1
-2
-4
-3
-1
-4
-2
-2
-5
-5
-4
-2
-1
-2
-5
-1
-2
-5
-5
-5
-4
-4
-4
-0
-0
-4
-2
-1
-5
-5
-5
-5
-5
-5
-5
-0
-0
-0
-4
-4
-4
-5
-5
-5
-5
-2
-1
-5
-4
-4
-4
-0
-2
-0
-2
-0
-0
-0
-0
-4
-4
-3
-2
-2
-1
-0
-0
-5
-0
-0
-0
-0
-0
-2
-1
-1
-2
-5
-4
-4
-0
-5
-0
-0
-0
-0
-4
-4
-4
-5
-5
-5
-5
-5
-4
-4
-3
-6
-4
-4
-5
-2
-2
-1
-3
-4
-4
-4
-4
-4
-2
-2
-1
-5
-4
-1
-1
-1
-2
-5
-5
-5
-4
-4
-3
-2
-5
-4
-2
-2
-5
-4
-0
-0
-0
-0
-0
-1
-1
-5
-1
-4
-3
-5
-6
-5
-6
-6
-5
-1
-6
-5
-5
-1
-5
-4
-5
-4
-2
-2
-2
-4
-3
-4
-0
-4
-2
-2
-5
-2
-0
-1
-2
-5
-5
-5
-3
-3
-3
-0
-0
-5
-4
-5
-0
-4
-3
-4
-1
-1
-2
-5
-5
-5
-4
-4
-4
-5
-5
-3
-1
-2
-1
-0
-0
-2
-2
-1
-1
-1
-5
-2
-5
-2
-3
-3
-4
-4
-4
-0
-4
-5
-2
-1
-5
-5
-5
-1
-1
-1
-2
-2
-2
-5
-5
-5
-2
-2
-1
-4
-0
-4
-5
-4
-5
-4
-4
-4
-4
-4
-4
-5
-5
-5
-6
-1
-2
-4
-4
-4
-5
-5
-2
-5
-4
-4
-0
-0
-4
-5
-5
-5
-4
-4
-4
-4
-4
-4
-5
-5
-5
-1
-1
-1
-4
-4
-5
-2
-0
-0
-2
-2
-1
-6
-5
-5
-5
-5
-5
-5
-5
-5
-3
-3
-3
-0
-0
-0
-3
-3
-5
-5
-5
-6
-3
-4
-5
-4
-4
-4
-4
-4
-5
-4
-4
-0
-5
-5
-4
-4
-4
-4
-5
-5
-5
-3
-3
-3
-2
-1
-5
-4
-0
-0
-2
-1
-5
-0
-2
-0
-5
-4
-5
-0
-0
-0
-4
-4
-3
-0
-4
-0
-4
-4
-4
-5
-5
-5
-5
-4
-4
-3
-4
-4
-5
-5
-5
-5
-5
-4
-5
-4
-4
-1
-1
-1
-2
-4
-2
-0
-0
-0
-0
-0
-0
-1
-1
-1
-5
-5
-5
-2
-6
-1
-5
-5
-5
-4
-4
-4
-5
-5
-5
-4
-4
-4
-4
-0
-0
-0
-1
-0
-5
-5
-2
-4
-0
-0
-5
-5
-5
-0
-1
-0
-0
-0
-0
-5
-5
-5
-3
-5
-5
-5
-0
-6
-3
-3
-3
-3
-4
-4
-0
-0
-0
-4
-4
-4
-5
-5
-5
-5
-5
-5
-5
-1
-5
-0
-0
-0
-4
-4
-5
-2
-2
-2
-4
-4
-3
-5
-5
-4
-3
-5
-1
-0
-0
-0
-0
-0
-5
-2
-4
-4
-5
-5
-5
-2
-2
-5
-0
-0
-0
-4
-4
-5
-4
-5
-5
-2
-2
-2
-2
-2
-2
-1
-4
-1
-4
-6
-6
-0
-0
-1
-4
-4
-2
-5
-5
-5
-4
-5
-4
-4
-5
-5
-2
-2
-5
-0
-0
-2
-1
-2
-1
-1
-1
-2
-2
-1
-2
-0
-0
-0
-3
-3
-3
-4
-0
-0
-2
-2
-2
-0
-0
-0
-5
-5
-5
-4
-4
-4
-2
-1
-2
-6
-5
-5
-2
-0
-0
-4
-4
-5
-2
-2
-2
-5
-5
-4
-5
-5
-5
-3
-4
-4
-0
-0
-0
-4
-5
-2
-5
-1
-5
-2
-2
-2
-5
-5
-4
-5
-5
-5
-2
-0
-0
-2
-3
-0
-4
-4
-4
-6
-5
-5
-5
-1
-2
-5
-4
-5
-0
-0
-0
-4
-4
-4
-2
-4
-2
-4
-4
-4
-0
-2
-0
-5
-3
-6
-4
-4
-4
-4
-3
-5
-5
-5
-4
-4
-4
-3
-0
-0
-0
-0
-0
-0
-0
-4
-4
-1
-5
-5
-4
-4
-4
-0
-0
-0
-0
-2
-0
-2
-5
-2
-2
-4
-3
-4
-4
-4
-5
-5
-5
-0
-0
-0
-5
-5
-5
-4
-0
-0
-5
-5
-5
-4
-1
-5
-5
-5
-5
-5
-2
-2
-2
-4
-3
-0
-4
-0
-2
-5
-1
-5
-5
-5
-1
-1
-5
-5
-5
-5
-5
-5
-5
-3
-4
-3
-0
-0
-0
-0
-0
-2
-3
-2
-0
-2
-5
-5
-5
-5
-4
-2
-2
-0
-2
-0
-0
-1
-2
-1
-5
-4
-4
-1
-1
-1
-6
-5
-1
-4
-5
-5
-4
-4
-4
-5
-5
-5
-5
-5
-5
-5
-5
-6
-2
-4
-4
-5
-2
-1
-0
-0
-4
-2
-2
-2
-5
-5
-5
-1
-5
-1
-5
-5
-5
-5
-5
-5
-5
-5
-5
-1
-5
-1
-0
-0
-2
-1
-2
-1
-2
-2
-2
-1
-2
-1
-5
-5
-6
-4
-4
-5
-4
-4
-4
-6
-4
-5
-5
-0
-0
-5
-5
-5
-4
-2
-2
-4
-5
-3
-0
-0
-4
-4
-4
-4
-5
-5
-5
-2
-2
-0
-5
-5
-5
-2
-5
-1
-2
-5
-2
-0
-0
-0
-2
-2
-2
-2
-2
-1
-5
-1
-2
-2
-0
-0
-3
-1
-3
-4
-4
-3
-4
-4
-4
-4
-4
-4
-4
-4
-4
-4
-4
-4
-5
-5
-5
-5
-5
-5
-1
-1
-1
-4
-5
-4
-0
-5
-4
-0
-4
-5
-2
-2
-5
-2
-4
-0
-1
-1
-0
-2
-2
-1
-5
-5
-5
-5
-5
-5
-2
-2
-0
-1
-1
-3
-2
-2
-2
-5
-5
-5
-1
-2
-2
-5
-5
-5
-2
-1
-5
-4
-4
-3
-6
-5
-4
-4
-5
-5
-5
-5
-6
-1
-1
-2
-0
-0
-0
-2
-2
-1
-0
-4
-0
-5
-5
-5
-4
-5
-4
-2
-3
-4
-0
-0
-0
-3
-3
-3
-5
-6
-5
-1
-1
-1
-4
-0
-0
-4
-0
-4
-2
-0
-0
-4
-5
-4
-5
-4
-2
-0
-0
-0
-5
-4
-3
-3
-4
-4
-5
-5
-5
-0
-0
-0
-0
-0
-2
-5
-4
-5
-3
-3
-3
-2
-0
-4
-4
-5
-5
-3
-0
-4
-3
-4
-3
-5
-5
-5
-5
-5
-5
-0
-0
-0
-1
-1
-2
-4
-2
-2
-2
-2
-2
-4
-5
-4
-5
-4
-5
-5
-4
-4
-5
-5
-5
-5
-2
-2
-1
-4
-2
-0
-0
-0
-0
-2
-0
-5
-5
-5
-5
-5
-5
-5
-2
-1
-6
-6
-5
-5
-4
-4
-2
-5
-2
-1
-1
-1
-5
-5
-5
-1
-5
-5
-0
-0
-0
-2
-2
-2
-2
-1
-1
-5
-5
-5
-2
-4
-4
-2
-2
-1
-5
-5
-5
-5
-5
-4
-4
-4
-4
-1
-2
-2
-0
-0
-0
-2
-1
-1
-4
-5
-5
-2
-5
-4
-2
-3
-2
-2
-1
-1
-3
-3
-4
-4
-5
-4
-1
-1
-1
-4
-5
-5
-5
-5
-5
-3
-1
-3
-4
-4
-4
-0
-2
-0
-5
-6
-6
-1
-1
-2
-5
-2
-2
-6
-4
-3
-1
-2
-2
-4
-0
-0
-4
-4
-4
-2
-1
-1
-4
-4
-4
-5
-2
-5
-5
-1
-2
-0
-2
-0
-2
-0
-1
-0
-0
-0
-4
-4
-2
-5
-5
-5
-2
-2
-2
-4
-4
-4
-4
-4
-5
-1
-1
-0
-0
-0
-0
-5
-5
-3
-2
-1
-2
-4
-0
-2
-5
-5
-5
-5
-4
-4
-2
-2
-0
-1
-1
-5
-0
-6
-0
-4
-4
-4
-6
-6
-5
-6
-5
-6
-0
-5
-0
-3
-0
-3
-0
-0
-0
-5
-5
-5
-4
-4
-5
-3
-3
-3
-0
-0
-4
-0
-0
-2
-5
-5
-5
-2
-2
-4
-0
-2
-0
-6
-6
-5
-5
-3
-4
-0
-0
-0
-5
-2
-4
-1
-1
-1
-5
-4
-4
-4
-2
-4
-4
-4
-4
-2
-1
-0
-2
-2
-2
-4
-3
-4
-0
-4
-4
-0
-0
-0
-2
-5
-2
-3
-3
-4
-5
-0
-5
-4
-4
-4
-4
-4
-4
-5
-1
-5
-1
-5
-5
-5
-5
-1
-0
-6
-5
-1
-2
-1
-2
-5
-0
-4
-4
-4
-0
-0
-2
-0
-0
-0
-5
-5
-5
-4
-4
-4
-2
-0
-4
-0
-0
-0
-4
-4
-4
-4
-4
-5
-1
-4
-2
-4
-4
-4
-2
-1
-5
-0
-0
-0
-5
-5
-1
-2
-1
-1
-1
-1
-2
-2
-0
-4
-1
-1
-2
-5
-2
-4
-1
-1
-1
-1
-1
-5
-4
-4
-2
-4
-4
-4
-1
-1
-0
-4
-4
-4
-0
-0
-0
-5
-5
-5
-2
-1
-5
-2
-5
-5
-4
-3
-4
-1
-2
-5
-1
-2
-2
-0
-0
-5
-3
-5
-4
-4
-4
-4
-5
-5
-5
-6
-1
-1
-5
-4
-4
-3
-4
-5
-6
-6
-2
-2
-5
-4
-1
-2
-4
-4
-4
-4
-2
-4
-2
-2
-0
-0
-5
-5
-6
-1
-3
-2
-0
-5
-0
-2
-2
-2
-5
-5
-5
-4
-3
-5
-0
-0
-0
-5
-5
-5
-4
-5
-5
-6
-2
-5
-1
-0
-5
-5
-5
-3
-4
-4
-4
-5
-4
-4
-1
-1
-2
-5
-5
-5
-5
-2
-2
-3
-3
-3
-5
-5
-5
-5
-4
-4
-1
-2
-2
-1
-1
-1
-0
-0
-0
-5
-5
-5
-1
-2
-2
-2
-5
-2
-5
-5
-5
-4
-4
-5
-4
-0
-0
-4
-5
-5
-1
-1
-2
-0
-5
-0
-4
-4
-5
-0
-0
-0
-1
-5
-4
-5
-5
-6
-4
-4
-4
-5
-5
-4
-5
-5
-5
-5
-5
-5
-5
-1
-1
-5
-5
-5
-4
-1
-1
-2
-2
-2
-1
-2
-0
-0
-5
-2
-5
-5
-5
-2
-4
-2
-5
-6
-5
-1
-1
-1
-4
-5
-1
-2
-1
-2
-3
-3
-4
-4
-4
-4
-4
-4
-4
-5
-2
-2
-5
-4
-4
-4
-0
-4
-4
-4
-5
-5
-5
-4
-4
-4
-4
-5
-5
-5
-5
-5
-2
-4
-3
-5
-5
-2
-5
-5
-6
-2
-5
-5
-3
-0
-2
-0
-5
-5
-5
-2
-1
-2
-2
-0
-0
-4
-4
-0
-2
-1
-4
-5
-6
-5
-5
-4
-5
-0
-2
-1
-5
-6
-5
-4
-3
-5
-3
-5
-4
-2
-2
-1
-2
-0
-0
-2
-1
-2
-5
-2
-4
-4
-4
-5
-2
-2
-5
-0
-0
-0
-4
-4
-3
-2
-2
-5
-0
-0
-4
-1
-2
-2
-0
-2
-4
-1
-2
-0
-6
-5
-6
-0
-0
-0
-2
-5
-5
-0
-0
-0
-4
-4
-5
-4
-4
-3
-4
-4
-4
-4
-4
-4
-4
-4
-4
-0
-0
-0
-3
-4
-4
-1
-1
-1
-0
-0
-5
-0
-4
-0
-0
-0
-0
-3
-3
-5
-4
-4
-4
-5
-4
-4
-5
-5
-5
-5
-2
-4
-4
-4
-4
-4
-4
-4
-2
-2
-2
-0
-2
-2
-3
-4
-4
-0
-4
-0
-3
-3
-3
-0
-0
-1
-4
-4
-4
-5
-2
-2
-5
-5
-5
-4
-0
-0
-4
-4
-3
-0
-0
-0
-0
-0
-0
-5
-4
-5
-5
-5
-6
-0
-0
-2
-4
-4
-4
-2
-2
-4
-1
-2
-2
-0
-0
-0
-5
-2
-5
-0
-2
-0
-1
-1
-0
-0
-5
-4
-4
-4
-5
-2
-2
-2
-4
-4
-3
-1
-2
-2
-2
-4
-0
-2
-1
-4
-4
-4
-4
-0
-0
-0
-6
-5
-5
-5
-2
-0
-6
-5
-5
-2
-2
-5
-2
-2
-2
-5
-1
-5
-6
-5
-1
-4
-3
-5
-4
-5
-4
-2
-5
-2
-4
-4
-4
-5
-5
-6
-1
-2
-1
-5
-5
-5
-3
-4
-4
-2
-5
-2
-5
-5
-5
-1
-6
-6
-5
-5
-5
-4
-5
-4
-4
-4
-4
-3
-5
-4
-4
-5
-5
-2
-2
-1
-4
-4
-4
-4
-5
-5
-0
-0
-4
-5
-5
-5
-0
-0
-0
-5
-3
-4
-5
-2
-1
-5
-5
-5
-4
-2
-2
-5
-5
-5
-4
-1
-1
-4
-4
-4
-0
-0
-0
-3
-4
-4
-2
-2
-1
-4
-4
-4
-4
-5
-4
-5
-6
-6
-5
-5
-5
-4
-4
-4
-0
-0
-0
-2
-1
-1
-2
-2
-5
-5
-5
-5
-0
-0
-5
-1
-5
-5
-5
-0
-0
-1
-5
-2
-1
-2
-3
-4
-2
-5
-2
-2
-2
-0
-5
-5
-2
-4
-2
-5
-2
-2
-4
-4
-4
-0
-0
-0
-4
-4
-4
-0
-0
-0
-2
-2
-1
-0
-0
-0
-4
-5
-5
-1
-1
-1
-0
-0
-0
-2
-2
-2
-0
-5
-5
-4
-3
-5
-4
-4
-2
-1
-1
-1
-5
-5
-6
-0
-0
-0
-4
-5
-2
-4
-4
-4
-5
-5
-2
-4
-5
-4
-0
-0
-0
-0
-5
-4
-4
-4
-4
-2
-4
-4
-4
-4
-4
-4
-4
-4
-4
-4
-3
-1
-2
-2
-4
-0
-0
-0
-0
-0
-6
-6
-5
-5
-2
-0
-5
-4
-5
-4
-5
-5
-0
-0
-0
-5
-5
-5
-5
-5
-4
-5
-5
-4
-5
-1
-2
-5
-4
-5
-2
-5
-1
-4
-3
-0
-6
-6
-5
-4
-4
-4
-0
-5
-0
-1
-5
-1
-2
-1
-2
-4
-5
-5
-5
-4
-4
-5
-5
-5
-2
-5
-2
-4
-0
-5
-4
-4
-5
-1
-2
-1
-0
-0
-0
-0
-1
-1
-2
-2
-2
-1
-2
-2
-4
-3
-4
-5
-2
-1
-2
-0
-0
-2
-5
-4
-4
-3
-5
-0
-0
-0
-2
-2
-5
-5
-5
-5
-5
-5
-4
-4
-5
-4
-2
-5
-5
-4
-4
-5
-0
-0
-0
-4
-4
-4
-5
-4
-3
-1
-1
-2
-1
-1
-1
-0
-1
-1
-5
-5
-4
-0
-0
-0
-4
-4
-4
-1
-5
-5
-6
-6
-5
-2
-1
-2
-5
-2
-5
-4
-2
-4
-5
-5
-4
-5
-4
-4
-1
-1
-5
-2
-5
-4
-0
-0
-0
-0
-0
-0
-5
-3
-5
-5
-5
-5
-0
-5
-2
-5
-5
-1
-2
-0
-0
-4
-4
-4
-5
-5
-5
-2
-5
-5
-2
-1
-1
-6
-6
-5
-5
-5
-5
-1
-2
-1
-1
-2
-2
-0
-0
-0
-4
-5
-5
-5
-2
-4
-1
-4
-2
-5
-6
-5
-1
-5
-5
-2
-4
-2
-3
-5
-4
-4
-4
-4
-4
-5
-4
-5
-0
-4
-5
-4
-5
-5
-4
-5
-5
-5
-5
-5
-6
-5
-5
-4
-4
-4
-4
-4
-5
-0
-2
-5
-4
-4
-4
-4
-4
-1
-5
-1
-4
-4
-4
-2
-2
-5
-0
-2
-0
-1
-1
-4
-4
-3
-4
-1
-1
-1
-6
-6
-5
-0
-0
-0
-0
-0
-0
-1
-2
-2
-5
-5
-5
-5
-4
-3
-5
-5
-4
-5
-4
-4
-5
-2
-0
-5
-5
-5
-4
-5
-4
-5
-5
-5
-0
-2
-0
-3
-2
-2
-1
-2
-0
-4
-4
-3
-1
-5
-1
-0
-0
-4
-0
-5
-0
-2
-1
-2
-5
-6
-5
-1
-1
-5
-4
-4
-5
-2
-1
-5
-5
-5
-5
-6
-5
-5
-5
-5
-4
-5
-5
-2
-1
-1
-1
-0
-0
-0
-4
-5
-5
-4
-5
-4
-3
-3
-4
-5
-5
-5
-4
-2
-4
-4
-4
-4
-4
-4
-0
-4
-4
-3
-0
-5
-0
-4
-4
-0
-1
-5
-2
-2
-5
-4
-5
-5
-5
-5
-4
-4
-1
-5
-4
-3
-4
-5
-5
-5
-5
-3
-5
-5
-5
-2
-5
-5
-2
-5
-1
-4
-2
-0
-5
-0
-2
-5
-4
-5
-0
-5
-2
-1
-2
-5
-5
-5
-6
-5
-5
-4
-5
-4
-0
-0
-0
-0
-4
-0
-5
-5
-5
-4
-4
-5
-5
-1
-2
-4
-4
-4
-0
-0
-0
-0
-0
-0
-4
-4
-4
-4
-3
-4
-4
-5
-5
-1
-4
-5
-5
-2
-5
-2
-2
-2
-6
-5
-5
-4
-5
-5
-0
-0
-0
-0
-0
-0
-3
-5
-4
-5
-5
-5
-4
-4
-4
-3
-4
-4
-5
-4
-5
-6
-3
-5
-4
-4
-5
-1
-4
-5
-1
-1
-1
-0
-2
-0
-0
-0
-0
-5
-5
-4
-4
-3
-4
-2
-1
-2
-2
-2
-1
-4
-3
-3
-4
-1
-4
-0
-0
-0
-3
-5
-3
-0
-0
-0
-5
-2
-0
-2
-0
-2
-1
-1
-1
-5
-3
-4
-4
-5
-5
-4
-4
-5
-0
-4
-0
-5
-3
-1
-2
-2
-1
-0
-0
-0
-1
-2
-1
-5
-5
-1
-5
-5
-5
-0
-0
-4
-5
-2
-0
-2
-2
-0
-4
-3
-4
-5
-5
-5
-6
-6
-5
-0
-5
-5
-5
-1
-1
-2
-4
-5
-4
-4
-4
-5
-5
-5
-5
-5
-5
-4
-4
-4
-3
-5
-0
-4
-5
-5
-2
-2
-2
-4
-4
-4
-1
-1
-1
-5
-2
-5
-2
-5
-5
-4
-4
-4
-2
-5
-4
-0
-0
-0
-1
-5
-1
-4
-5
-5
-2
-2
-5
-0
-0
-0
-5
-5
-5
-5
-5
-5
-5
-5
-4
-5
-5
-5
-2
-2
-2
-1
-2
-1
-4
-4
-4
-5
-5
-5
-5
-5
-4
-4
-5
-4
-4
-4
-4
-0
-0
-0
-4
-4
-4
-4
-4
-5
-2
-4
-4
-4
-2
-2
-0
-0
-3
-4
-4
-4
-3
-3
-3
-0
-2
-0
-0
-0
-0
-4
-4
-4
-5
-4
-4
-5
-5
-5
-0
-2
-0
-3
-5
-4
-4
-4
-4
-5
-2
-2
-4
-4
-4
-1
-2
-5
-5
-6
-6
-5
-5
-5
-2
-0
-0
-5
-5
-4
-5
-1
-2
-2
-1
-4
-1
-5
-2
-5
-1
-1
-4
-4
-4
-4
-4
-5
-5
-5
-5
-5
-4
-2
-3
-4
-3
-0
-0
-0
-4
-4
-4
-1
-1
-2
-5
-5
-5
-5
-5
-5
-2
-2
-2
-4
-0
-2
-2
-2
-0
-4
-3
-3
-4
-5
-4
-2
-5
-1
-5
-4
-2
-0
-0
-0
-6
-6
-6
-4
-5
-3
-4
-2
-5
-4
-4
-5
-1
-1
-2
-4
-4
-4
-0
-0
-0
-2
-2
-2
-5
-5
-5
-0
-0
-0
-4
-4
-4
-3
-3
-3
-0
-2
-0
-5
-4
-4
-0
-0
-0
-5
-5
-5
-5
-2
-5
-4
-0
-0
-5
-5
-5
-4
-3
-5
-5
-5
-4
-5
-4
-5
-5
-6
-5
-5
-5
-4
-4
-4
-4
-5
-1
-1
-4
-0
-2
-3
-4
-3
-5
-1
-5
-4
-4
-5
-4
-4
-5
-5
-5
-5
-4
-3
-4
-0
-0
-0
-5
-1
-5
-4
-4
-5
-5
-5
-5
-1
-1
-2
-5
-5
-5
-2
-2
-2
-5
-4
-4
-2
-2
-1
-4
-5
-5
-4
-4
-4
-5
-4
-4
-4
-4
-4
-0
-0
-0
-5
-5
-0
-0
-5
-2
-0
-0
-0
-3
-3
-3
-1
-1
-2
-0
-2
-0
-2
-0
-0
-1
-2
-5
-1
-0
-1
-1
-1
-1
-4
-4
-3
-5
-2
-0
-5
-0
-0
-5
-5
-5
-5
-4
-4
-4
-4
-4
-5
-5
-5
-0
-0
-0
-5
-4
-2
-0
-3
-0
-4
-4
-4
-5
-5
-5
-0
-0
-0
-3
-6
-5
-5
-5
-5
-5
-1
-3
-3
-4
-4
-3
-5
-3
-4
-4
-5
-4
-5
-4
-5
-4
-4
-4
-4
-2
-4
-4
-5
-5
-5
-2
-2
-2
-2
-4
-3
-4
-4
-5
-4
-1
-2
-1
-4
-4
-5
-5
-4
-5
-0
-2
-2
-5
-5
-1
-3
-3
-5
-0
-0
-5
-3
-3
-3
-4
-4
-4
-5
-1
-5
-6
-5
-6
-5
-4
-4
-4
-2
-2
-5
-1
-5
-4
-4
-3
-3
-5
-5
-4
-4
-3
-5
-5
-5
-5
-4
-4
-2
-0
-4
-4
-2
-0
-1
-1
-1
-2
-2
-2
-5
-5
-3
-2
-1
-1
-3
-3
-3
-5
-2
-1
-3
-3
-3
-4
-4
-5
-5
-5
-5
-4
-4
-2
-4
-4
-4
-2
-1
-1
-2
-1
-1
-5
-5
-2
-5
-5
-5
-2
-1
-1
-4
-5
-5
-4
-4
-4
-2
-1
-2
-3
-3
-3
-0
-0
-0
-5
-5
-5
-5
-5
-5
-4
-4
-4
-4
-4
-3
-5
-5
-5
-2
-1
-2
-4
-4
-4
-1
-1
-3
-5
-5
-1
-5
-4
-3
-1
-2
-2
-0
-0
-0
-2
-4
-4
-0
-0
-0
-5
-6
-5
-4
-4
-4
-3
-3
-3
-4
-5
-3
-2
-2
-2
-1
-2
-2
-3
-5
-5
-4
-2
-5
-5
-5
-5
-0
-2
-2
-0
-2
-2
-4
-2
-1
-5
-5
-5
-2
-1
-2
-1
-5
-5
-0
-0
-2
-4
-4
-4
-2
-5
-2
-5
-5
-5
-1
-2
-1
-0
-2
-0
-4
-4
-0
-3
-3
-3
-0
-0
-0
-1
-1
-2
-2
-2
-5
-0
-6
-5
-5
-5
-5
-6
-5
-5
-3
-4
-3

ratio_proportion_change3/finetuning/train_in_label.txt

@@ -1,8601 +0,0 @@
-5
-5
-5
-5
-5
-1
-4
-4
-4
-1
-5
-6
-6
-6
-5
-1
-5
-5
-5
-1
-2
-2
-5
-5
-2
-5
-5
-2
-5
-2
-2
-2
-1
-5
-1
-5
-2
-1
-4
-6
-5
-6
-5
-2
-1
-5
-2
-5
-5
-5
-5
-5
-5
-5
-5
-5
-5
-2
-0
-0
-5
-5
-5
-5
-5
-6
-1
-5
-5
-1
-5
-5
-1
-1
-1
-1
-0
-4
-1
-6
-6
-2
-5
-1
-1
-4
-3
-2
-2
-5
-2
-0
-4
-5
-5
-6
-5
-1
-5
-1
-1
-1
-5
-5
-5
-5
-4
-0
-5
-6
-5
-5
-5
-5
-1
-5
-5
-5
-5
-5
-3
-6
-4
-1
-5
-1
-2
-0
-0
-5
-5
-5
-0
-1
-0
-1
-2
-5
-6
-5
-5
-5
-2
-2
-1
-5
-0
-6
-5
-4
-2
-0
-0
-3
-5
-4
-4
-5
-2
-6
-5
-5
-1
-2
-2
-5
-4
-4
-1
-6
-5
-1
-2
-5
-2
-5
-5
-5
-6
-6
-1
-5
-1
-5
-2
-5
-2
-2
-1
-5
-5
-5
-1
-6
-5
-5
-6
-5
-2
-5
-5
-5
-2
-1
-6
-0
-5
-1
-6
-6
-5
-5
-5
-0
-0
-0
-2
-5
-5
-6
-2
-2
-1
-1
-5
-2
-2
-1
-0
-0
-0
-0
-5
-2
-3
-3
-3
-5
-5
-0
-5
-5
-6
-1
-1
-2
-4
-4
-3
-6
-3
-5
-2
-6
-5
-6
-6
-5
-1
-5
-5
-4
-3
-5
-5
-1
-5
-4
-5
-5
-5
-5
-5
-1
-5
-6
-5
-5
-5
-1
-5
-3
-5
-5
-3
-2
-2
-5
-6
-4
-5
-1
-2
-2
-1
-1
-5
-5
-5
-5
-1
-5
-6
-5
-5
-5
-0
-2
-2
-5
-5
-5
-6
-6
-6
-4
-5
-5
-5
-0
-2
-2
-5
-2
-5
-5
-4
-5
-5
-6
-4
-4
-5
-5
-4
-5
-5
-6
-3
-5
-6
-5
-5
-5
-5
-5
-5
-2
-5
-5
-6
-6
-5
-1
-6
-5
-5
-5
-5
-6
-5
-4
-3
-6
-6
-6
-6
-2
-0
-1
-4
-4
-6
-6
-6
-5
-5
-6
-5
-5
-6
-5
-5
-5
-1
-5
-1
-5
-6
-5
-0
-0
-0
-0
-0
-2
-6
-6
-5
-5
-1
-1
-3
-3
-5
-1
-1
-1
-6
-6
-6
-6
-5
-6
-5
-2
-0
-4
-2
-0
-6
-5
-2
-2
-1
-1
-0
-0
-1
-5
-5
-1
-5
-6
-5
-5
-6
-4
-5
-5
-2
-6
-5
-5
-1
-6
-0
-5
-5
-5
-1
-5
-5
-1
-5
-0
-1
-0
-1
-2
-5
-5
-0
-0
-6
-4
-3
-4
-5
-2
-1
-2
-5
-5
-1
-5
-5
-2
-2
-4
-5
-5
-5
-1
-2
-1
-5
-5
-5
-1
-6
-3
-2
-6
-6
-1
-5
-5
-5
-5
-5
-5
-2
-2
-4
-4
-5
-5
-5
-5
-5
-5
-5
-5
-4
-5
-3
-3
-5
-5
-1
-5
-5
-5
-5
-1
-1
-1
-2
-2
-5
-1
-2
-5
-1
-1
-3
-6
-6
-6
-5
-5
-5
-1
-1
-1
-1
-5
-6
-5
-6
-4
-1
-4
-5
-5
-5
-5
-5
-1
-5
-2
-1
-5
-2
-6
-5
-6
-5
-5
-2
-5
-2
-3
-4
-4
-2
-2
-2
-2
-5
-5
-6
-4
-5
-1
-3
-3
-2
-6
-5
-0
-3
-0
-5
-1
-6
-2
-2
-0
-1
-5
-2
-1
-2
-4
-5
-4
-5
-2
-5
-2
-4
-3
-5
-2
-2
-5
-1
-1
-1
-5
-5
-2
-5
-5
-5
-1
-1
-6
-1
-6
-5
-6
-6
-5
-5
-4
-4
-5
-5
-5
-2
-5
-5
-4
-4
-5
-5
-5
-5
-5
-5
-2
-1
-3
-5
-5
-2
-5
-3
-5
-6
-2
-5
-5
-5
-5
-2
-6
-6
-0
-1
-5
-5
-0
-0
-0
-5
-5
-2
-1
-6
-1
-5
-5
-4
-2
-6
-5
-1
-2
-1
-0
-5
-2
-5
-5
-5
-1
-5
-1
-2
-5
-2
-0
-5
-2
-6
-0
-1
-0
-4
-0
-5
-5
-5
-5
-5
-5
-0
-0
-0
-0
-5
-0
-5
-3
-5
-5
-5
-5
-1
-5
-5
-1
-1
-1
-5
-0
-2
-2
-0
-0
-6
-3
-3
-6
-4
-4
-2
-6
-5
-5
-5
-1
-3
-5
-4
-1
-2
-5
-2
-1
-2
-3
-3
-6
-5
-5
-5
-3
-6
-4
-5
-1
-1
-1
-1
-2
-5
-6
-6
-0
-0
-1
-5
-4
-1
-2
-5
-5
-5
-4
-4
-0
-0
-0
-5
-6
-5
-5
-5
-4
-2
-1
-1
-5
-4
-5
-5
-5
-5
-5
-5
-5
-0
-2
-5
-5
-5
-5
-2
-1
-5
-5
-4
-5
-0
-1
-5
-1
-2
-5
-5
-5
-5
-5
-5
-5
-4
-5
-5
-1
-3
-3
-2
-0
-2
-4
-5
-2
-5
-5
-5
-2
-5
-2
-5
-5
-5
-0
-0
-0
-1
-0
-0
-3
-3
-3
-5
-5
-5
-5
-2
-2
-1
-6
-5
-1
-2
-5
-0
-0
-4
-4
-5
-4
-5
-5
-6
-5
-6
-6
-5
-5
-5
-1
-5
-5
-1
-2
-6
-5
-1
-2
-5
-5
-5
-1
-3
-5
-2
-5
-5
-5
-4
-5
-1
-5
-4
-1
-1
-1
-4
-4
-4
-5
-5
-1
-0
-2
-0
-5
-5
-5
-1
-1
-1
-2
-5
-2
-6
-5
-6
-5
-5
-5
-4
-4
-5
-5
-1
-2
-5
-2
-5
-0
-0
-5
-1
-5
-5
-1
-6
-5
-3
-6
-5
-6
-5
-5
-1
-5
-5
-1
-1
-5
-1
-6
-6
-6
-5
-6
-1
-1
-5
-4
-5
-3
-0
-2
-1
-6
-6
-5
-6
-6
-6
-1
-1
-5
-3
-6
-6
-1
-5
-6
-1
-4
-5
-5
-5
-5
-0
-0
-0
-2
-5
-6
-5
-6
-5
-0
-2
-4
-2
-5
-2
-4
-2
-2
-2
-0
-0
-5
-5
-5
-3
-5
-5
-1
-2
-5
-5
-1
-4
-0
-5
-2
-5
-2
-2
-3
-1
-5
-0
-0
-0
-1
-0
-5
-5
-5
-5
-4
-4
-5
-5
-5
-6
-3
-5
-3
-5
-5
-4
-4
-4
-5
-1
-6
-3
-5
-4
-4
-1
-6
-6
-5
-5
-5
-5
-5
-1
-5
-5
-5
-4
-4
-3
-2
-1
-2
-0
-5
-0
-1
-6
-5
-0
-0
-2
-1
-1
-1
-5
-1
-1
-3
-4
-2
-2
-5
-3
-4
-5
-3
-2
-5
-4
-2
-2
-5
-5
-5
-5
-2
-2
-2
-5
-5
-5
-5
-5
-5
-6
-5
-6
-1
-0
-0
-5
-5
-5
-5
-5
-2
-0
-5
-2
-5
-1
-1
-5
-5
-2
-0
-0
-0
-5
-5
-1
-2
-0
-5
-0
-5
-5
-1
-5
-5
-0
-5
-0
-1
-5
-6
-1
-5
-3
-1
-1
-2
-5
-0
-5
-4
-6
-5
-2
-5
-5
-6
-5
-1
-1
-1
-5
-2
-2
-2
-5
-5
-5
-2
-5
-1
-1
-1
-5
-5
-4
-6
-1
-5
-5
-2
-1
-5
-1
-2
-1
-5
-5
-5
-4
-5
-5
-0
-0
-2
-1
-2
-5
-1
-5
-6
-6
-6
-6
-1
-5
-3
-5
-2
-5
-1
-5
-4
-5
-1
-1
-0
-0
-0
-6
-6
-0
-5
-5
-5
-6
-5
-6
-6
-1
-5
-2
-2
-1
-4
-3
-4
-0
-6
-5
-1
-4
-5
-4
-3
-3
-1
-3
-4
-5
-6
-2
-0
-4
-0
-5
-4
-4
-5
-5
-5
-5
-5
-5
-4
-2
-5
-5
-5
-5
-5
-5
-4
-5
-5
-4
-1
-2
-5
-5
-3
-6
-5
-5
-5
-1
-5
-5
-5
-5
-3
-5
-1
-1
-5
-3
-6
-6
-5
-5
-5
-5
-5
-6
-6
-5
-6
-6
-6
-5
-5
-5
-5
-5
-5
-1
-2
-0
-1
-5
-5
-1
-1
-1
-2
-5
-2
-5
-5
-0
-1
-5
-6
-5
-6
-5
-5
-5
-5
-1
-6
-1
-2
-5
-5
-5
-5
-6
-5
-1
-1
-3
-3
-3
-1
-1
-1
-0
-0
-3
-5
-5
-6
-5
-5
-6
-5
-2
-1
-4
-4
-5
-5
-6
-6
-1
-1
-5
-2
-6
-5
-4
-3
-5
-2
-5
-5
-2
-1
-2
-3
-4
-5
-1
-2
-1
-3
-2
-1
-3
-1
-1
-5
-6
-4
-5
-5
-6
-1
-5
-1
-1
-5
-5
-5
-1
-5
-5
-5
-5
-6
-5
-6
-5
-5
-4
-2
-5
-5
-5
-6
-2
-5
-2
-5
-5
-5
-5
-4
-5
-2
-3
-5
-4
-3
-5
-4
-1
-5
-4
-1
-5
-1
-5
-3
-3
-2
-1
-5
-4
-1
-3
-2
-1
-1
-1
-5
-5
-2
-5
-1
-0
-5
-0
-1
-5
-5
-5
-5
-4
-3
-4
-5
-5
-5
-5
-1
-5
-2
-5
-6
-6
-5
-5
-5
-1
-6
-3
-2
-5
-5
-2
-5
-0
-6
-5
-5
-5
-6
-6
-1
-1
-6
-4
-3
-5
-2
-5
-4
-1
-2
-5
-1
-6
-6
-5
-5
-5
-1
-6
-5
-1
-1
-1
-6
-5
-6
-3
-0
-0
-5
-5
-4
-5
-5
-5
-1
-2
-5
-5
-3
-5
-1
-2
-2
-2
-5
-6
-6
-5
-5
-3
-3
-5
-1
-2
-2
-6
-5
-5
-0
-0
-0
-5
-6
-3
-4
-5
-5
-5
-5
-5
-5
-6
-6
-5
-5
-3
-5
-4
-4
-0
-1
-0
-1
-5
-1
-5
-1
-6
-2
-5
-2
-3
-5
-5
-2
-6
-6
-3
-3
-2
-1
-5
-2
-6
-5
-6
-1
-2
-1
-5
-5
-5
-1
-6
-6
-0
-0
-1
-1
-1
-1
-5
-6
-6
-1
-1
-1
-1
-5
-6
-1
-1
-2
-3
-3
-3
-4
-4
-5
-4
-5
-6
-1
-1
-1
-5
-5
-5
-3
-5
-3
-6
-1
-6
-1
-1
-1
-1
-5
-3
-4
-5
-1
-0
-0
-0
-5
-6
-6
-1
-1
-1
-5
-5
-1
-6
-5
-0
-5
-5
-5
-2
-1
-5
-2
-0
-0
-5
-5
-5
-0
-0
-0
-2
-4
-5
-5
-5
-5
-4
-5
-1
-5
-1
-1
-3
-5
-5
-5
-5
-2
-3
-6
-5
-1
-2
-5
-5
-2
-5
-5
-5
-5
-2
-1
-5
-5
-5
-4
-2
-5
-5
-5
-5
-6
-1
-5
-1
-5
-5
-5
-4
-6
-5
-1
-0
-5
-1
-1
-1
-4
-4
-4
-2
-1
-4
-2
-2
-5
-0
-2
-0
-5
-3
-3
-4
-3
-5
-0
-0
-0
-1
-1
-2
-5
-0
-0
-3
-5
-3
-4
-4
-3
-6
-5
-5
-6
-5
-2
-2
-2
-5
-1
-1
-4
-6
-5
-6
-1
-0
-1
-6
-5
-5
-1
-5
-2
-5
-6
-6
-1
-4
-2
-5
-6
-5
-5
-2
-4
-2
-0
-0
-5
-1
-5
-1
-6
-6
-4
-3
-5
-0
-0
-5
-5
-5
-6
-5
-6
-4
-5
-6
-6
-1
-2
-2
-5
-5
-5
-0
-0
-0
-5
-1
-5
-5
-5
-6
-4
-5
-4
-2
-2
-2
-1
-6
-6
-1
-5
-5
-5
-5
-5
-2
-0
-0
-1
-5
-2
-0
-0
-1
-2
-5
-2
-2
-4
-4
-5
-6
-2
-3
-5
-5
-1
-3
-6
-4
-0
-6
-5
-1
-1
-1
-1
-1
-5
-6
-5
-5
-5
-5
-2
-5
-5
-5
-4
-6
-5
-6
-6
-6
-5
-6
-0
-5
-0
-5
-5
-6
-5
-0
-2
-2
-2
-2
-5
-5
-5
-2
-5
-5
-4
-4
-4
-2
-5
-5
-5
-5
-5
-4
-0
-3
-1
-5
-5
-5
-5
-5
-0
-5
-0
-5
-5
-3
-5
-1
-4
-1
-2
-1
-1
-1
-1
-1
-5
-6
-5
-5
-5
-4
-4
-4
-2
-2
-4
-5
-6
-5
-5
-5
-6
-5
-1
-2
-5
-3
-0
-1
-5
-1
-5
-5
-6
-5
-6
-5
-5
-1
-2
-2
-4
-5
-5
-5
-5
-5
-5
-5
-5
-5
-5
-1
-2
-1
-4
-5
-6
-5
-5
-2
-5
-5
-6
-1
-5
-5
-5
-1
-5
-5
-3
-5
-1
-5
-4
-6
-6
-6
-4
-4
-4
-1
-5
-5
-3
-3
-3
-4
-5
-4
-2
-5
-5
-5
-5
-6
-4
-5
-4
-2
-3
-5
-3
-2
-5
-0
-0
-0
-6
-5
-5
-2
-1
-5
-0
-5
-5
-1
-6
-6
-5
-5
-1
-1
-6
-5
-6
-5
-5
-1
-6
-0
-5
-1
-1
-2
-5
-5
-5
-1
-6
-5
-5
-5
-5
-5
-5
-6
-3
-4
-1
-0
-1
-0
-5
-4
-2
-0
-2
-2
-5
-1
-5
-2
-1
-2
-5
-4
-5
-5
-5
-3
-4
-5
-5
-4
-4
-0
-2
-2
-1
-5
-6
-0
-5
-2
-5
-3
-2
-5
-5
-5
-5
-5
-5
-0
-0
-0
-1
-5
-3
-6
-6
-6
-3
-4
-4
-5
-6
-6
-5
-0
-4
-1
-1
-1
-1
-5
-5
-3
-4
-5
-0
-0
-2
-2
-3
-2
-1
-1
-6
-1
-5
-1
-5
-5
-5
-5
-5
-5
-6
-4
-5
-2
-5
-5
-0
-3
-5
-1
-6
-0
-5
-3
-5
-5
-1
-6
-0
-0
-5
-3
-4
-5
-1
-3
-5
-2
-5
-2
-4
-4
-5
-3
-3
-1
-1
-1
-1
-5
-4
-0
-1
-6
-5
-5
-5
-5
-4
-3
-5
-3
-0
-0
-0
-0
-2
-1
-1
-1
-1
-5
-2
-5
-3
-3
-2
-0
-5
-6
-2
-5
-1
-4
-5
-1
-2
-5
-1
-3
-5
-5
-3
-3
-5
-6
-6
-1
-5
-5
-1
-5
-1
-5
-5
-6
-1
-5
-2
-0
-0
-0
-6
-5
-6
-4
-3
-6
-1
-0
-4
-1
-1
-0
-1
-0
-0
-5
-2
-2
-5
-4
-2
-6
-5
-6
-5
-1
-5
-6
-0
-0
-1
-6
-5
-0
-6
-0
-5
-5
-5
-2
-5
-5
-1
-1
-2
-2
-0
-2
-5
-5
-2
-1
-5
-1
-5
-6
-5
-1
-1
-1
-1
-5
-4
-5
-5
-5
-5
-6
-5
-1
-0
-2
-2
-5
-2
-6
-6
-3
-2
-5
-5
-4
-5
-5
-6
-6
-5
-2
-0
-5
-0
-5
-0
-5
-5
-5
-3
-4
-3
-4
-4
-4
-4
-0
-0
-0
-0
-0
-2
-5
-5
-4
-5
-4
-6
-5
-5
-5
-3
-4
-5
-6
-5
-5
-2
-2
-1
-5
-0
-5
-5
-5
-4
-4
-4
-2
-6
-6
-6
-5
-6
-1
-2
-2
-3
-5
-5
-5
-5
-5
-6
-6
-6
-2
-5
-1
-6
-5
-1
-2
-5
-1
-2
-5
-1
-2
-5
-5
-5
-2
-5
-5
-6
-6
-2
-5
-5
-0
-0
-0
-2
-2
-2
-1
-5
-5
-1
-0
-0
-5
-5
-5
-5
-5
-5
-5
-5
-5
-4
-4
-3
-5
-5
-5
-1
-5
-5
-6
-5
-6
-2
-2
-6
-6
-6
-6
-1
-1
-1
-4
-4
-4
-5
-5
-5
-2
-2
-5
-1
-2
-1
-5
-5
-5
-0
-5
-5
-5
-3
-5
-1
-5
-5
-1
-3
-5
-5
-5
-5
-3
-5
-2
-1
-3
-4
-2
-1
-1
-4
-4
-4
-2
-5
-6
-2
-1
-1
-1
-2
-1
-5
-6
-5
-5
-6
-4
-5
-5
-5
-1
-5
-2
-2
-5
-5
-0
-5
-0
-0
-0
-0
-6
-1
-2
-5
-0
-0
-1
-5
-4
-1
-1
-6
-2
-0
-2
-5
-2
-5
-1
-3
-2
-2
-5
-5
-4
-6
-4
-5
-5
-4
-1
-6
-5
-5
-1
-5
-1
-1
-2
-1
-2
-2
-5
-6
-4
-1
-1
-6
-5
-5
-5
-5
-0
-0
-1
-5
-1
-1
-5
-5
-5
-2
-0
-5
-5
-5
-1
-1
-3
-1
-1
-1
-5
-2
-4
-4
-5
-6
-0
-5
-2
-5
-4
-1
-2
-5
-1
-3
-3
-4
-1
-1
-1
-2
-5
-6
-5
-6
-5
-1
-6
-6
-5
-5
-5
-5
-5
-5
-2
-2
-2
-2
-5
-2
-2
-5
-1
-5
-3
-3
-1
-3
-5
-5
-5
-5
-5
-5
-5
-5
-6
-5
-5
-5
-5
-4
-1
-5
-4
-4
-6
-5
-5
-3
-3
-4
-3
-5
-4
-5
-2
-2
-2
-4
-4
-5
-5
-5
-5
-1
-1
-5
-2
-5
-5
-2
-5
-4
-4
-3
-5
-6
-5
-5
-2
-1
-1
-1
-6
-5
-0
-2
-3
-0
-0
-0
-0
-0
-0
-2
-1
-5
-0
-2
-0
-2
-2
-5
-5
-5
-5
-3
-3
-6
-5
-0
-4
-1
-2
-5
-5
-5
-5
-5
-5
-5
-5
-5
-1
-5
-5
-5
-2
-1
-5
-2
-1
-1
-2
-5
-0
-5
-5
-5
-1
-5
-6
-1
-5
-5
-5
-5
-5
-5
-5
-5
-1
-1
-1
-1
-1
-6
-5
-4
-3
-4
-0
-0
-5
-5
-5
-0
-0
-0
-1
-5
-1
-2
-5
-0
-2
-0
-0
-1
-1
-5
-5
-5
-5
-5
-1
-1
-5
-4
-4
-1
-3
-5
-6
-5
-6
-5
-6
-6
-2
-1
-2
-6
-5
-5
-4
-2
-0
-1
-1
-1
-3
-3
-4
-1
-1
-1
-5
-6
-5
-1
-0
-0
-2
-2
-5
-0
-4
-0
-2
-0
-0
-5
-5
-5
-0
-5
-5
-5
-4
-4
-5
-6
-2
-1
-1
-2
-5
-5
-5
-1
-6
-1
-4
-1
-5
-2
-6
-5
-4
-4
-5
-5
-6
-4
-0
-0
-4
-1
-5
-6
-1
-1
-2
-2
-5
-5
-1
-5
-4
-2
-6
-5
-1
-5
-5
-1
-1
-1
-5
-4
-1
-2
-5
-5
-6
-5
-6
-4
-4
-3
-5
-5
-5
-6
-6
-5
-5
-5
-5
-5
-5
-5
-1
-1
-1
-0
-0
-2
-1
-2
-5
-5
-5
-6
-5
-2
-5
-3
-5
-3
-3
-5
-3
-1
-1
-5
-0
-5
-6
-1
-5
-1
-1
-5
-2
-6
-5
-5
-0
-0
-0
-1
-1
-1
-1
-1
-1
-1
-5
-5
-1
-1
-2
-0
-0
-2
-5
-2
-5
-0
-5
-2
-5
-5
-5
-1
-2
-2
-3
-5
-3
-1
-1
-1
-4
-6
-5
-4
-4
-3
-1
-1
-5
-1
-5
-6
-4
-5
-4
-2
-5
-0
-1
-5
-5
-5
-4
-4
-5
-5
-5
-2
-0
-0
-5
-0
-3
-4
-4
-4
-4
-4
-3
-5
-5
-1
-6
-5
-6
-4
-2
-4
-0
-0
-1
-5
-6
-6
-5
-1
-5
-1
-1
-1
-2
-5
-2
-3
-5
-4
-5
-2
-2
-1
-2
-2
-5
-5
-4
-6
-5
-4
-6
-5
-5
-1
-5
-1
-1
-5
-1
-5
-3
-5
-3
-5
-4
-1
-1
-1
-5
-1
-5
-0
-2
-5
-5
-5
-5
-5
-6
-6
-4
-4
-5
-6
-4
-3
-5
-1
-1
-5
-5
-4
-5
-6
-5
-2
-5
-5
-5
-4
-6
-6
-5
-6
-1
-5
-1
-4
-0
-0
-0
-0
-0
-1
-2
-1
-1
-5
-1
-5
-5
-5
-6
-3
-5
-5
-1
-5
-1
-5
-5
-0
-5
-3
-6
-1
-2
-0
-0
-0
-5
-4
-4
-5
-5
-0
-1
-5
-5
-1
-5
-5
-2
-0
-0
-2
-2
-5
-5
-5
-5
-0
-0
-0
-6
-5
-5
-5
-5
-1
-2
-0
-0
-5
-5
-4
-5
-5
-6
-5
-3
-4
-5
-5
-5
-5
-5
-5
-1
-5
-1
-1
-5
-5
-1
-5
-5
-5
-3
-5
-1
-1
-5
-5
-5
-5
-5
-2
-5
-5
-6
-5
-2
-5
-5
-2
-5
-5
-1
-5
-5
-2
-2
-5
-1
-2
-1
-6
-5
-6
-4
-5
-5
-1
-1
-1
-4
-2
-0
-5
-2
-5
-6
-5
-5
-2
-1
-4
-5
-5
-6
-3
-3
-5
-0
-0
-1
-4
-4
-5
-5
-6
-5
-5
-5
-5
-0
-4
-1
-5
-5
-5
-4
-4
-5
-2
-5
-4
-6
-5
-6
-4
-0
-5
-5
-5
-5
-5
-4
-5
-1
-2
-5
-2
-1
-2
-5
-4
-5
-1
-5
-5
-5
-5
-5
-1
-6
-5
-0
-0
-0
-2
-1
-2
-5
-1
-1
-6
-5
-5
-1
-1
-5
-4
-5
-5
-0
-1
-1
-3
-4
-4
-5
-5
-5
-5
-6
-5
-2
-0
-5
-2
-4
-1
-5
-6
-6
-2
-3
-1
-1
-1
-5
-3
-1
-5
-2
-5
-0
-0
-0
-5
-4
-2
-6
-5
-5
-1
-2
-6
-5
-1
-2
-1
-0
-4
-5
-1
-5
-6
-5
-5
-6
-5
-6
-3
-2
-5
-2
-5
-6
-5
-5
-5
-5
-2
-4
-4
-5
-5
-5
-1
-0
-3
-2
-2
-2
-1
-5
-6
-5
-5
-5
-0
-0
-0
-1
-1
-2
-4
-3
-4
-1
-6
-5
-2
-4
-4
-2
-5
-5
-1
-2
-1
-5
-5
-5
-1
-5
-1
-5
-5
-6
-3
-3
-4
-2
-5
-6
-0
-0
-5
-5
-6
-6
-2
-5
-2
-5
-5
-5
-2
-2
-1
-1
-6
-1
-4
-5
-4
-6
-3
-4
-1
-5
-6
-4
-5
-5
-1
-5
-5
-5
-5
-5
-4
-2
-5
-4
-5
-4
-1
-5
-6
-5
-5
-5
-5
-3
-3
-3
-4
-5
-1
-6
-3
-1
-3
-3
-0
-2
-2
-5
-6
-5
-1
-5
-3
-4
-3
-3
-5
-6
-5
-3
-4
-5
-5
-2
-4
-1
-5
-5
-1
-5
-5
-0
-0
-0
-2
-5
-5
-5
-0
-0
-5
-5
-5
-5
-5
-5
-1
-1
-1
-5
-3
-4
-5
-2
-2
-2
-4
-1
-5
-5
-6
-1
-2
-5
-1
-6
-6
-1
-5
-5
-2
-2
-5
-6
-5
-3
-3
-6
-4
-2
-1
-2
-2
-1
-1
-1
-6
-5
-5
-5
-5
-4
-0
-3
-6
-6
-5
-0
-0
-0
-5
-6
-5
-5
-5
-5
-4
-0
-0
-5
-5
-1
-2
-2
-1
-2
-3
-1
-2
-5
-5
-1
-1
-5
-1
-2
-5
-1
-0
-0
-5
-1
-1
-1
-6
-5
-5
-5
-5
-2
-2
-2
-5
-3
-5
-6
-5
-5
-2
-2
-1
-5
-5
-1
-1
-6
-2
-5
-6
-5
-5
-0
-5
-2
-0
-2
-4
-4
-5
-5
-5
-6
-1
-1
-2
-5
-5
-5
-1
-1
-4
-4
-4
-4
-1
-1
-1
-5
-3
-5
-1
-1
-2
-0
-0
-0
-5
-5
-5
-5
-0
-2
-4
-4
-5
-5
-5
-5
-5
-5
-5
-6
-6
-6
-0
-0
-0
-5
-6
-5
-5
-5
-5
-5
-1
-1
-1
-1
-5
-5
-6
-5
-1
-6
-6
-5
-5
-4
-5
-5
-5
-1
-1
-1
-2
-2
-2
-1
-5
-6
-0
-2
-5
-1
-6
-5
-4
-5
-5
-5
-5
-1
-2
-5
-6
-5
-2
-1
-3
-3
-3
-1
-5
-5
-5
-1
-5
-5
-5
-5
-6
-3
-5
-1
-6
-5
-2
-2
-5
-6
-5
-5
-5
-5
-5
-5
-5
-4
-1
-3
-0
-1
-3
-5
-1
-1
-5
-2
-5
-0
-2
-2
-5
-1
-3
-5
-0
-0
-0
-3
-6
-5
-6
-6
-5
-4
-5
-5
-2
-5
-5
-1
-5
-5
-1
-1
-6
-1
-1
-1
-0
-0
-0
-0
-5
-2
-5
-5
-5
-1
-6
-5
-5
-5
-4
-5
-5
-6
-1
-5
-4
-0
-2
-0
-5
-5
-5
-2
-1
-5
-5
-5
-5
-5
-3
-1
-6
-0
-0
-2
-0
-0
-1
-1
-5
-5
-0
-6
-1
-5
-5
-5
-6
-6
-1
-5
-6
-1
-5
-5
-1
-1
-5
-4
-5
-5
-1
-5
-5
-5
-5
-5
-5
-6
-5
-2
-5
-4
-1
-4
-4
-1
-5
-4
-0
-0
-0
-5
-5
-5
-5
-5
-5
-5
-5
-5
-1
-5
-3
-4
-2
-4
-5
-5
-5
-5
-5
-5
-6
-5
-6
-2
-6
-5
-0
-2
-0
-0
-0
-2
-5
-5
-5
-6
-6
-6
-2
-2
-5
-1
-6
-2
-1
-5
-4
-5
-1
-0
-5
-6
-6
-2
-1
-5
-6
-6
-5
-4
-4
-5
-5
-5
-5
-1
-2
-5
-0
-2
-5
-6
-5
-5
-4
-0
-2
-5
-4
-3
-1
-1
-1
-0
-0
-0
-3
-5
-5
-5
-2
-2
-5
-1
-5
-5
-5
-5
-1
-1
-5
-5
-1
-2
-2
-5
-5
-2
-2
-5
-5
-1
-1
-1
-1
-1
-1
-6
-6
-2
-5
-1
-2
-6
-5
-2
-5
-5
-6
-6
-5
-2
-0
-0
-1
-5
-5
-1
-6
-6
-2
-3
-4
-6
-5
-5
-5
-5
-5
-5
-5
-2
-5
-5
-6
-5
-0
-6
-1
-5
-5
-0
-5
-2
-1
-6
-3
-2
-1
-6
-6
-6
-6
-5
-4
-5
-1
-5
-5
-0
-5
-5
-6
-5
-6
-5
-5
-3
-4
-0
-1
-1
-5
-5
-1
-5
-5
-5
-0
-0
-3
-3
-3
-6
-5
-5
-1
-1
-1
-0
-5
-2
-1
-5
-4
-5
-5
-5
-6
-6
-6
-2
-5
-4
-0
-0
-0
-2
-1
-5
-1
-5
-0
-4
-4
-4
-0
-4
-0
-2
-5
-5
-6
-5
-5
-1
-3
-3
-5
-5
-6
-4
-4
-5
-5
-0
-6
-2
-2
-2
-5
-6
-6
-1
-6
-1
-1
-5
-6
-1
-2
-0
-0
-0
-2
-0
-0
-2
-1
-1
-5
-2
-1
-1
-1
-3
-4
-0
-0
-5
-5
-5
-5
-5
-2
-1
-6
-4
-5
-1
-1
-2
-4
-4
-3
-4
-3
-5
-6
-5
-6
-4
-3
-5
-5
-5
-5
-5
-6
-5
-0
-0
-5
-1
-4
-5
-1
-5
-3
-6
-5
-5
-2
-2
-2
-5
-5
-5
-5
-2
-5
-2
-2
-4
-5
-1
-5
-5
-3
-5
-5
-6
-5
-1
-5
-6
-1
-5
-2
-5
-5
-6
-1
-1
-6
-5
-0
-0
-1
-6
-1
-1
-6
-5
-5
-5
-2
-4
-4
-5
-1
-5
-1
-2
-6
-5
-1
-5
-5
-5
-1
-1
-2
-2
-2
-5
-3
-5
-0
-1
-5
-1
-1
-2
-1
-2
-5
-5
-4
-2
-5
-0
-1
-1
-6
-5
-2
-5
-6
-1
-2
-1
-1
-5
-4
-0
-0
-0
-5
-6
-5
-1
-5
-2
-1
-6
-3
-6
-3
-3
-5
-3
-3
-6
-5
-5
-2
-5
-2
-1
-6
-3
-1
-5
-5
-5
-5
-0
-6
-5
-4
-3
-4
-3
-2
-2
-2
-3
-4
-5
-2
-2
-0
-3
-5
-5
-4
-4
-4
-6
-6
-6
-2
-5
-6
-2
-2
-2
-6
-6
-6
-6
-6
-5
-5
-5
-2
-1
-4
-5
-0
-1
-6
-4
-4
-5
-5
-5
-0
-5
-5
-6
-1
-1
-1
-2
-2
-2
-6
-3
-3
-1
-5
-1
-5
-5
-5
-2
-0
-0
-5
-2
-0
-1
-4
-5
-1
-5
-6
-5
-6
-5
-1
-6
-1
-1
-1
-4
-1
-5
-5
-3
-4
-5
-1
-2
-2
-1
-6
-1
-4
-4
-5
-2
-5
-5
-5
-1
-5
-5
-3
-5
-6
-2
-5
-1
-2
-2
-2
-4
-2
-3
-1
-4
-5
-6
-6
-1
-2
-5
-1
-6
-6
-5
-5
-5
-5
-1
-1
-1
-5
-5
-5
-5
-6
-1
-2
-2
-2
-1
-5
-5
-4
-3
-1
-4
-5
-2
-5
-4
-1
-5
-1
-3
-5
-5
-5
-5
-5
-5
-5
-1
-4
-2
-4
-4
-5
-5
-5
-5
-6
-5
-5
-5
-4
-4
-4
-5
-5
-5
-2
-0
-0
-1
-1
-5
-3
-3
-3
-6
-6
-6
-5
-5
-4
-2
-2
-2
-1
-3
-3
-1
-3
-5
-0
-2
-1
-5
-6
-5
-5
-2
-5
-5
-1
-5
-1
-2
-4
-5
-4
-3
-5
-5
-2
-1
-1
-4
-2
-5
-1
-1
-5
-5
-2
-2
-5
-5
-1
-2
-2
-2
-5
-5
-5
-1
-1
-5
-5
-5
-5
-4
-6
-6
-6
-5
-5
-4
-5
-5
-5
-1
-0
-5
-5
-5
-4
-3
-5
-4
-1
-6
-6
-4
-5
-5
-6
-4
-5
-1
-1
-2
-1
-0
-5
-1
-5
-5
-2
-6
-6
-4
-4
-5
-6
-5
-5
-0
-5
-5
-5
-5
-5
-2
-0
-0
-1
-5
-1
-2
-1
-6
-5
-2
-0
-5
-5
-5
-3
-4
-5
-2
-4
-6
-3
-4
-3
-5
-5
-6
-2
-2
-1
-0
-1
-2
-1
-1
-2
-2
-5
-1
-1
-2
-5
-4
-4
-4
-1
-5
-6
-6
-5
-5
-5
-0
-0
-4
-0
-0
-5
-5
-1
-1
-1
-2
-4
-4
-4
-5
-5
-5
-5
-5
-5
-5
-0
-1
-5
-5
-4
-0
-0
-5
-2
-1
-2
-5
-5
-5
-2
-2
-0
-5
-1
-5
-1
-5
-2
-1
-4
-2
-1
-5
-5
-2
-2
-5
-1
-4
-4
-1
-1
-1
-6
-5
-6
-1
-6
-6
-1
-2
-5
-4
-5
-0
-5
-1
-2
-1
-5
-2
-5
-5
-5
-5
-2
-0
-4
-6
-5
-5
-5
-5
-1
-5
-6
-5
-6
-5
-0
-5
-4
-0
-0
-5
-1
-2
-6
-3
-5
-3
-1
-1
-3
-0
-0
-1
-5
-5
-5
-0
-0
-0
-5
-1
-5
-2
-5
-5
-6
-0
-0
-1
-0
-0
-4
-5
-5
-1
-0
-1
-1
-3
-4
-5
-1
-1
-5
-6
-6
-1
-1
-2
-4
-4
-3
-1
-3
-3
-1
-1
-5
-4
-5
-5
-6
-6
-6
-5
-5
-5
-4
-3
-3
-2
-5
-2
-1
-2
-2
-5
-5
-5
-6
-0
-2
-2
-5
-1
-1
-1
-5
-5
-5
-5
-6
-6
-6
-5
-5
-6
-5
-5
-5
-4
-4
-5
-0
-2
-5
-4
-1
-4
-1
-6
-6
-4
-4
-4
-1
-2
-5
-1
-6
-5
-4
-3
-3
-1
-1
-1
-5
-4
-4
-5
-4
-5
-1
-1
-3
-5
-6
-5
-1
-1
-1
-5
-5
-5
-1
-6
-2
-5
-0
-5
-1
-2
-5
-3
-1
-3
-0
-0
-0
-1
-6
-1
-5
-5
-5
-5
-5
-2
-5
-5
-5
-5
-2
-6
-5
-5
-2
-5
-6
-5
-1
-5
-1
-4
-4
-4
-5
-5
-3
-5
-5
-5
-5
-6
-5
-6
-5
-5
-1
-2
-1
-5
-3
-4
-1
-2
-1
-4
-4
-4
-1
-1
-2
-5
-5
-5
-5
-4
-0
-1
-3
-1
-5
-5
-5
-5
-1
-6
-1
-5
-5
-2
-5
-0
-5
-1
-2
-6
-5
-0
-5
-5
-2
-4
-4
-5
-1
-5
-2
-4
-0
-0
-3
-5
-3
-1
-5
-5
-5
-6
-6
-1
-6
-5
-5
-5
-2
-5
-0
-2
-5
-4
-4
-1
-1
-5
-1
-5
-5
-1
-5
-1
-6
-6
-5
-1
-1
-3
-5
-5
-5
-5
-6
-6
-5
-5
-5
-3
-4
-3
-5
-5
-5
-1
-5
-1
-5
-5
-5
-5
-6
-5
-5
-5
-5
-6
-5
-5
-6
-5
-5
-4
-5
-3
-6
-5
-6
-1
-1
-1
-0
-0
-0
-1
-2
-1
-0
-5
-2
-1
-3
-4
-2
-3
-1
-1
-5
-6
-5
-5
-5
-2
-5
-5
-5
-3
-5
-3
-4
-5
-1
-0
-5
-5
-5
-6
-5
-5
-5
-1
-2
-0
-5
-5
-5
-1
-5
-2
-5
-0
-5
-1
-2
-5
-1
-1
-5
-1
-5
-6
-6
-4
-3
-5
-3
-3
-4
-5
-1
-5
-4
-2
-2
-6
-5
-6
-6
-6
-5
-5
-5
-0
-0
-0
-3
-5
-5
-5
-5
-5
-1
-3
-5
-5
-5
-5
-3
-3
-5
-2
-0
-0
-5
-5
-5
-1
-4
-2
-6
-5
-6
-2
-1
-2
-4
-5
-5
-5
-1
-5
-5
-6
-5
-5
-5
-5
-2
-1
-5
-5
-4
-6
-1
-5
-5
-2
-5
-5
-2
-2
-5
-5
-5
-5
-5
-5
-5
-4
-3
-4
-1
-5
-5
-4
-4
-0
-1
-1
-1
-1
-5
-1
-1
-2
-5
-0
-0
-2
-5
-5
-5
-2
-4
-4
-1
-5
-2
-1
-1
-2
-1
-2
-5
-5
-4
-3
-2
-5
-5
-1
-6
-6
-5
-0
-2
-4
-4
-4
-4
-4
-4
-2
-0
-6
-1
-1
-3
-4
-4
-5
-0
-0
-0
-5
-5
-2
-5
-6
-0
-2
-3
-1
-2
-5
-5
-6
-5
-6
-5
-6
-5
-3
-5
-5
-4
-4
-5
-6
-6
-5
-6
-6
-5
-1
-5
-5
-5
-0
-5
-1
-5
-1
-2
-2
-4
-5
-4
-5
-5
-0
-0
-1
-6
-6
-3
-3
-3
-2
-5
-5
-5
-5
-5
-5
-5
-6
-0
-0
-0
-1
-5
-6
-4
-2
-2
-1
-4
-5
-1
-1
-3
-0
-0
-0
-3
-3
-4
-5
-2
-5
-2
-2
-5
-1
-1
-5
-5
-5
-6
-0
-0
-0
-6
-6
-5
-0
-1
-0
-5
-5
-5
-1
-5
-1
-5
-5
-6
-2
-5
-5
-1
-1
-1
-0
-0
-0
-1
-5
-5
-5
-5
-5
-1
-1
-1
-5
-6
-6
-1
-5
-4
-5
-5
-5
-1
-5
-0
-0
-5
-4
-4
-4
-4
-2
-1
-5
-2
-2
-2
-2
-1
-0
-4
-2
-4
-5
-2
-2
-1
-5
-5
-5
-6
-5
-6
-5
-6
-5
-5
-1
-5
-6
-6
-5
-5
-5
-4
-5
-4
-5
-6
-5
-1
-5
-1
-5
-5
-5
-4
-0
-0
-0
-1
-0
-5
-6
-6
-1
-1
-1
-6
-5
-5
-2
-0
-0
-5
-6
-6
-5
-5
-6
-5
-5
-0
-5
-5
-5
-5
-2
-5
-1
-2
-2
-5
-6
-5
-5
-2
-4
-5
-5
-6
-5
-5
-5
-5
-0
-0
-5
-5
-6
-4
-5
-5
-1
-1
-1
-3
-1
-4
-6
-5
-5
-1
-5
-4
-1
-5
-5
-2
-5
-1
-5
-5
-5
-1
-1
-1
-0
-0
-0
-5
-5
-6
-1
-1
-5
-1
-2
-5
-2
-0
-1
-5
-1
-3
-1
-5
-5
-3
-0
-3
-5
-4
-4
-4
-4
-3
-3
-3
-3
-1
-5
-6
-6
-5
-5
-2
-0
-5
-4
-0
-3
-2
-3
-0
-2
-4
-4
-2
-2
-5
-1
-5
-5
-6
-6
-6
-2
-2
-1
-5
-5
-5
-5
-5
-5
-0
-4
-2
-1
-6
-3
-1
-1
-5
-5
-5
-5
-2
-2
-1
-1
-5
-1
-1
-5
-5
-5
-5
-6
-5
-5
-5
-1
-5
-6
-6
-5
-5
-1
-5
-1
-2
-3
-4
-5
-5
-6
-5
-6
-6
-5
-6
-5
-4
-3
-4
-2
-6
-6
-2
-3
-4
-3
-3
-4
-5
-5
-6
-5
-5
-5
-5
-2
-2
-3
-3
-3
-2
-0
-0
-6
-6
-6
-2
-2
-2
-0
-6
-0
-3
-2
-2
-5
-1
-1
-4
-5
-5
-6
-6
-0
-6
-6
-6
-5
-5
-1
-1
-1
-6
-2
-3
-3
-5
-1
-2
-4
-4
-4
-4
-3
-3
-5
-5
-5
-1
-1
-5
-0
-0
-0
-2
-5
-2
-1
-5
-5
-1
-1
-1
-5
-2
-6
-5
-5
-5
-1
-5
-5
-1
-5
-1
-5
-6
-6
-4
-5
-4
-0
-0
-0
-0
-0
-5
-5
-5
-5
-2
-5
-3
-6
-5
-2
-2
-3
-5
-4
-4
-5
-1
-5
-1
-2
-6
-5
-2
-5
-5
-4
-2
-5
-2
-1
-0
-2
-2
-4
-5
-1
-5
-2
-5
-5
-4
-5
-5
-1
-1
-5
-5
-5
-5
-4
-5
-4
-4
-2
-5
-1
-6
-1
-5
-0
-0
-2
-5
-2
-1
-5
-4
-4
-5
-1
-5
-0
-5
-5
-5
-5
-6
-1
-5
-1
-5
-1
-2
-2
-2
-1
-3
-1
-5
-5
-6
-1
-5
-1
-5
-6
-3
-2
-1
-3
-6
-6
-6
-1
-6
-5
-1
-1
-2
-5
-5
-1
-1
-2
-6
-2
-1
-5
-5
-1
-3
-5
-5
-5
-1
-1
-4
-1
-4
-5
-5
-2
-5
-2
-5
-5
-5
-6
-6
-0
-0
-0
-1
-5
-2
-1
-5
-5
-4
-0
-5
-2
-5
-5
-2
-5
-5
-1
-1
-1
-0
-2
-0
-5
-5
-5
-1
-5
-6
-5
-5
-1
-2
-2
-1
-2
-5
-5
-2
-5
-2
-1
-5
-5
-0
-1
-0
-1
-4
-5
-6
-6
-6
-6
-6
-6
-1
-0
-0
-3
-4
-4
-5
-0
-0
-5
-5
-6
-1
-5
-5
-3
-5
-5
-0
-5
-4
-5
-1
-0
-6
-6
-6
-2
-5
-2
-6
-2
-5
-5
-6
-6
-1
-5
-6
-5
-1
-1
-4
-4
-4
-1
-1
-1
-5
-5
-5
-5
-4
-4
-6
-3
-4
-2
-2
-1
-5
-1
-1
-4
-4
-3
-5
-5
-6
-5
-5
-1
-5
-5
-5
-1
-6
-6
-1
-6
-5
-1
-5
-5
-2
-5
-5
-1
-0
-5
-1
-1
-5
-1
-5
-5
-6
-5
-6
-6
-5
-5
-1
-1
-1
-3
-3
-4
-0
-5
-0
-3
-0
-0
-5
-5
-6
-3
-3
-5
-2
-0
-0
-0
-0
-0
-5
-5
-2
-5
-5
-3
-4
-2
-3
-5
-5
-5
-1
-1
-0
-0
-1
-2
-5
-6
-6
-5
-5
-1
-2
-2
-1
-2
-0
-0
-2
-5
-2
-0
-2
-5
-5
-1
-1
-5
-5
-1
-5
-6
-1
-5
-5
-5
-6
-6
-6
-5
-5
-5
-0
-0
-0
-0
-5
-0
-1
-6
-6
-2
-1
-1
-4
-4
-1
-1
-5
-6
-1
-2
-1
-5
-0
-5
-5
-3
-3
-5
-5
-5
-2
-1
-6
-1
-5
-1
-5
-5
-5
-1
-5
-5
-1
-6
-6
-2
-3
-2
-5
-1
-5
-4
-5
-4
-5
-2
-2
-0
-0
-0
-6
-6
-6
-2
-1
-5
-1
-6
-6
-2
-1
-1
-5
-5
-4
-6
-6
-5
-3
-5
-6
-1
-5
-6
-4
-5
-5
-2
-4
-6
-5
-5
-5
-1
-1
-1
-2
-0
-4
-2
-2
-1
-5
-5
-5
-5
-5
-5
-1
-2
-5
-1
-3
-3
-5
-5
-5
-2
-6
-5
-1
-1
-1
-3
-3
-3
-5
-0
-2
-5
-5
-5
-5
-5
-2
-5
-2
-5
-5
-5
-5
-5
-1
-4
-4
-5
-0
-4
-5
-0
-1
-5
-5
-5
-3
-6
-5
-5
-5
-2
-1
-5
-5
-5
-2
-1
-5
-6
-5
-1
-1
-3
-3
-5
-5
-5
-5
-6
-6
-6
-5
-5
-1
-6
-1
-6
-1
-5
-5
-2
-5
-5
-5
-2
-1
-4
-0
-5
-2
-2
-2
-2
-1
-5
-5
-6
-5
-2
-5
-5
-1
-5
-1
-2
-2
-5
-5
-1
-1
-4
-3
-3
-1
-6
-6
-2
-2
-2
-1
-5
-6
-3
-6
-6
-1
-5
-6
-1
-5
-3
-5
-6
-5
-5
-5
-5
-5
-6
-6
-1
-5
-6
-2
-5
-5
-0
-6
-5
-1
-5
-6
-2
-4
-0
-3
-5
-5
-5
-1
-5
-0
-0
-0
-1
-1
-1
-2
-1
-1
-1
-5
-5
-5
-5
-5
-2
-6
-6
-6
-5
-5
-3
-3
-5
-6
-3
-3
-2
-2
-5
-1
-5
-6
-1
-2
-6
-2
-5
-2
-5
-5
-4
-5
-6
-6
-1
-6
-5
-1
-5
-2
-1
-2
-2
-5
-5
-5
-1
-6
-5
-2
-5
-2
-0
-0
-2
-6
-5
-5
-1
-5
-5
-2
-6
-2
-1
-0
-0
-2
-5
-5
-6
-4
-5
-2
-1
-1
-3
-3
-5
-5
-3
-4
-6
-6
-6
-4
-4
-3
-1
-1
-1
-5
-5
-3
-0
-0
-0
-6
-0
-0
-6
-3
-5
-5
-1
-5
-5
-4
-5
-2
-2
-0
-2
-2
-2
-4
-5
-3
-4
-4
-5
-4
-4
-2
-2
-2
-2
-5
-3
-5
-0
-1
-4
-3
-3
-5
-2
-5
-1
-5
-1
-5
-1
-5
-5
-4
-4
-4
-0
-2
-0
-1
-4
-5
-0
-5
-2
-2
-0
-1
-5
-5
-5
-2
-5
-6
-0
-5
-4
-0
-5
-5
-0
-2
-2
-2
-5
-5
-0
-0
-0
-1
-1
-1
-0
-0
-0
-1
-1
-1
-6
-5
-5
-1
-2
-1
-1
-1
-1
-5
-5
-4
-5
-5
-2
-6
-5
-6
-1
-4
-3
-5
-5
-5
-1
-1
-6
-6
-6
-6
-1
-2
-6
-1
-5
-5
-0
-0
-0
-2
-5
-1
-5
-6
-5
-6
-5
-5
-5
-6
-5
-1
-5
-5
-1
-5
-6
-1
-1
-5
-5
-6
-5
-2
-6
-5
-6
-6
-5
-1
-1
-6
-2
-5
-1
-5
-6
-6
-1
-2
-6
-2
-5
-2
-3
-4
-2
-5
-3
-3
-5
-5
-5
-6
-5
-5
-1
-2
-3
-6
-5
-3
-1
-6
-1
-5
-6
-5
-5
-5
-6
-2
-0
-5
-1
-1
-0
-2
-0
-0
-5
-5
-5
-4
-4
-4
-6
-5
-5
-2
-6
-6
-5
-5
-5
-1
-5
-5
-2
-4
-5
-5
-5
-5
-5
-5
-2
-5
-4
-6
-1
-5
-5
-1
-5
-5
-2
-2
-3
-0
-0
-1
-2
-5
-1
-2
-1
-2
-1
-6
-6
-1
-1
-6
-1
-1
-5
-1
-2
-5
-5
-0
-6
-1
-5
-5
-5
-5
-6
-1
-5
-5
-5
-1
-5
-4
-2
-2
-2
-1
-2
-1
-3
-1
-5
-4
-5
-5
-5
-5
-5
-0
-0
-4
-5
-4
-1
-0
-6
-1
-5
-4
-1
-1
-2
-2
-0
-2
-5
-2
-5
-5
-0
-5
-1
-5
-6
-2
-5
-5
-1
-5
-1
-5
-5
-6
-4
-5
-5
-5
-2
-4
-5
-5
-5
-2
-5
-3
-1
-4
-4
-0
-0
-0
-1
-3
-3
-5
-3
-3
-5
-2
-5
-5
-1
-5
-4
-5
-5
-1
-1
-2
-1
-5
-1
-3
-0
-0
-1
-0
-5
-4
-5
-5
-2
-0
-0
-1
-5
-5
-5
-5
-5
-0
-1
-0
-6
-6
-6
-5
-1
-2
-4
-5
-5
-6
-5
-5
-5
-5
-5
-1
-1
-5
-2
-4
-0
-5
-6
-5
-1
-3
-5
-6
-5
-6
-1
-1
-1
-1
-6
-5
-5
-6
-5
-1
-5
-5
-5
-6
-5
-2
-5
-2
-5
-0
-2
-1
-6
-5
-6
-6
-5
-5
-2
-5
-2
-1
-5
-4
-2
-4
-2
-1
-5
-2
-5
-5
-5
-5
-5
-0
-3
-0
-5
-5
-5
-6
-1
-1
-5
-5
-5
-5
-1
-3
-6
-5
-5
-1
-5
-5
-5
-6
-4
-5
-5
-5
-4
-4
-5
-2
-1
-2
-6
-6
-2
-5
-3
-4
-1
-1
-6
-1
-1
-1
-5
-1
-1
-3
-3
-5
-0
-6
-0
-5
-5
-1
-5
-5
-1
-5
-5
-5
-1
-5
-6
-2
-1
-1
-5
-2
-5
-5
-5
-5
-5
-5
-5
-6
-5
-5
-1
-1
-1
-0
-0
-0
-0
-0
-0
-5
-5
-5
-6
-6
-5
-5
-5
-5
-2
-2
-5
-1
-4
-3
-1
-3
-5
-6
-6
-6
-1
-5
-5
-3
-1
-6
-5
-6
-5
-6
-5
-6
-1
-5
-5
-1
-5
-1
-1
-2
-6
-5
-6
-6
-2
-1
-2
-4
-6
-1
-6
-5
-6
-1
-5
-6
-2
-0
-5
-5
-5
-1
-5
-4
-4
-3
-5
-6
-5
-4
-5
-5
-4
-5
-1
-5
-5
-6
-5
-5
-1
-1
-6
-6
-5
-5
-4
-4
-5
-0
-0
-5
-4
-4
-4
-5
-4
-4
-2
-1
-1
-4
-4
-4
-0
-0
-6
-0
-0
-0
-5
-1
-1
-5
-1
-1
-5
-5
-6
-3
-5
-5
-1
-1
-3
-1
-1
-0
-5
-5
-2
-5
-6
-6
-3
-3
-3
-5
-5
-5
-4
-4
-5
-2
-3
-2
-2
-4
-5
-2
-5
-2
-5
-6
-5
-2
-1
-5
-1
-2
-1
-1
-5
-1
-5
-5
-6
-5
-5
-5
-4
-5
-4
-2
-2
-6
-1
-2
-5
-6
-6
-6
-5
-3
-5
-3
-5
-3
-5
-5
-5
-1
-6
-1
-1
-6
-6
-4
-3
-3
-2
-2
-2
-1
-5
-5
-5
-6
-5
-4
-3
-3
-1
-5
-1
-4
-4
-4
-1
-6
-6
-5
-5
-5
-2
-5
-0
-4
-0
-0
-5
-3
-3
-0
-0
-1
-1
-5
-0
-1
-4
-5
-2
-4
-2
-5
-6
-6
-3
-4
-5
-5
-4
-4
-1
-5
-5
-1
-6
-6
-1
-1
-2
-2
-5
-5
-1
-5
-1
-4
-4
-5
-1
-6
-6
-5
-5
-5
-5
-5
-4
-2
-5
-2
-5
-5
-5
-5
-5
-5
-4
-4
-5
-3
-4
-3
-5
-0
-0
-5
-5
-5
-0
-5
-5
-1
-6
-1
-5
-2
-5
-4
-0
-0
-0
-0
-0
-5
-4
-4
-2
-1
-3
-1
-1
-6
-5
-3
-6
-5
-5
-6
-1
-2
-1
-5
-0
-5
-1
-3
-6
-0
-0
-0
-0
-0
-2
-6
-5
-5
-2
-6
-5
-4
-4
-4
-6
-5
-6
-5
-5
-5
-6
-5
-3
-2
-1
-1
-5
-5
-6
-1
-1
-1
-5
-1
-1
-5
-0
-0
-3
-3
-3
-1
-3
-5
-6
-1
-1
-2
-5
-2
-5
-6
-6
-5
-5
-6
-0
-0
-5
-5
-4
-4
-0
-5
-4
-2
-4
-4
-6
-0
-1
-1
-5
-1
-1
-5
-4
-1
-5
-4
-5
-5
-5
-0
-0
-0
-5
-5
-5
-2
-1
-5
-5
-5
-5
-5
-4
-4
-5
-6
-5
-1
-1
-6
-1
-5
-1
-5
-5
-2
-2
-2
-1
-5
-5
-2
-1
-5
-5
-1
-5
-5
-5
-5
-5
-1
-3
-3
-1
-1
-2
-4
-4
-4
-1
-5
-5
-1
-6
-6
-4
-4
-5
-5
-6
-5
-4
-5
-4
-1
-5
-6
-2
-5
-5
-3
-5
-4
-1
-4
-5
-1
-5
-5
-4
-4
-4
-5
-1
-5
-0
-0
-0
-5
-1
-5
-5
-5
-5
-2
-3
-2
-5
-6
-6
-5
-6
-5
-2
-5
-1
-1
-5
-5
-5
-5
-5
-1
-1
-1
-2
-5
-2
-1
-5
-2
-1
-5
-5
-5
-5
-1
-5
-4
-4
-5
-4
-5
-0
-4
-0
-5
-4
-4
-6
-5
-1
-5
-4
-4
-5
-2
-5
-1
-0
-6
-5
-3
-3
-5
-1
-5
-5
-6
-1
-2
-0
-2
-2
-2
-1
-4
-5
-4
-5
-6
-6
-2
-5
-1
-6
-3
-5
-2
-1
-5
-5
-2
-5
-1
-5
-4
-1
-2
-5
-6
-6
-3
-5
-5
-5
-0
-0
-0
-5
-5
-6
-1
-2
-1
-1
-1
-1
-5
-5
-6
-1
-1
-1
-4
-4
-5
-5
-4
-4
-5
-5
-6
-1
-2
-4
-3
-3
-3
-5
-5
-5
-1
-4
-4
-1
-5
-1
-1
-5
-5
-5
-5
-5
-5
-4
-4
-0
-0
-0
-0
-0
-0
-6
-3
-4
-2
-5
-5
-1
-1
-1
-0
-0
-0
-0
-0
-0
-6
-5
-6
-1
-5
-5
-5
-4
-5
-5
-3
-4
-5
-3
-5
-1
-6
-5
-0
-0
-1
-5
-4
-4
-5
-5
-5
-1
-5
-1
-5
-5
-4
-1
-3
-5
-0
-0
-0
-5
-5
-5
-5
-0
-5
-5
-5
-5
-1
-1
-5
-5
-0
-2
-6
-5
-5
-5
-5
-4
-1
-5
-6
-1
-5
-5
-1
-6
-6
-1
-5
-6
-6
-5
-3
-5
-2
-5
-5
-5
-6
-0
-0
-1
-0
-5
-1
-6
-5
-5
-5
-5
-5
-1
-6
-5
-1
-3
-6
-0
-4
-0
-1
-1
-5
-4
-5
-5
-5
-5
-5
-2
-5
-1
-5
-5
-5
-1
-1
-2
-5
-5
-2
-1
-5
-1
-4
-4
-5
-5
-4
-5
-5
-4
-3
-6
-5
-4
-0
-0
-4
-1
-5
-6
-5
-5
-5
-0
-0
-0
-5
-5
-3
-2
-2
-1
-2
-2
-2
-2
-2
-2
-1
-6
-5
-2
-5
-5
-1
-1
-0
-1
-1
-2
-5
-3
-3
-5
-5
-5
-1
-6
-5
-2
-5
-5
-4
-3
-4
-5
-5
-5
-1
-5
-0
-2
-6
-1
-5
-0
-0
-4
-4
-0
-1
-6
-1
-5
-4
-4
-1
-6
-5
-1
-5
-5
-1
-5
-5
-6
-1
-1
-1
-5
-1
-5
-5
-5
-3
-4
-4
-4
-5
-5
-5
-5
-2
-5
-6
-5
-6
-5
-5
-1
-1
-5
-5
-5
-6
-5
-4
-5
-5
-2
-2
-5
-5
-5
-2
-1
-5
-2
-4
-5
-1
-5
-5
-3
-3
-3
-5
-6
-5
-1
-3
-1
-2
-5
-5
-1
-1
-5
-1
-1
-6
-2
-5
-4
-5
-6
-5
-5
-6
-6
-4
-5
-4
-5
-5
-5
-5
-4
-4
-1
-6
-5
-5
-3
-3
-2
-4
-4
-4
-4
-4
-1
-1
-5
-1
-5
-5
-1
-3
-6
-5
-6
-5
-5
-3
-5
-2
-2
-5
-1
-3
-6
-4
-4
-4
-5
-5
-6
-5
-5
-6
-5
-4
-5
-1
-5
-1
-1
-1
-1
-5
-4
-2
-6
-6
-5
-1
-5
-6
-4
-5
-3
-6
-4
-3
-5
-5
-5
-5
-6
-5
-1
-0
-1
-1
-5
-5
-5
-5
-5
-2
-3
-5
-6
-1
-5
-5
-6
-1
-5
-5
-5
-5
-3
-5
-1
-6
-1
-1
-1
-1
-4
-4
-3
-5
-5
-1
-5
-0
-5
-5
-0
-1
-2
-0
-2
-6
-6
-6
-4
-3
-5
-1
-6
-6
-5
-5
-3
-6
-6
-5
-5
-5
-5
-1
-2
-5
-1
-2
-2
-5
-5
-6
-1
-5
-5
-5
-5
-5
-6
-1
-2
-1
-5
-1
-1
-2
-2
-5
-6
-5
-1
-5
-5
-2
-5
-1
-2
-2
-1
-5
-5
-5
-0
-5
-1
-1
-0
-2
-5
-4
-4
-3
-5
-4
-6
-5
-6
-1
-1
-1
-5
-5
-2
-6
-5
-0
-6
-5
-5
-5
-6
-5
-5
-5
-5

ratio_proportion_change3/finetuning/train_label.txt

@@ -1,4466 +0,0 @@
-4
-5
-5
-3
-2
-1
-5
-2
-2
-2
-4
-5
-2
-5
-5
-4
-5
-5
-4
-4
-5
-4
-2
-5
-0
-2
-6
-5
-5
-6
-5
-6
-2
-1
-5
-2
-5
-0
-3
-3
-4
-5
-4
-3
-4
-5
-5
-4
-4
-4
-1
-5
-5
-5
-1
-5
-4
-4
-4
-1
-1
-2
-2
-5
-6
-5
-6
-5
-1
-5
-4
-3
-3
-4
-4
-6
-3
-1
-2
-2
-4
-2
-6
-1
-5
-1
-2
-2
-1
-5
-5
-5
-5
-6
-5
-1
-5
-4
-0
-0
-0
-0
-5
-6
-4
-5
-1
-0
-0
-0
-0
-5
-3
-6
-0
-5
-5
-5
-4
-5
-3
-5
-5
-5
-5
-5
-4
-2
-1
-2
-5
-5
-2
-4
-5
-3
-5
-5
-5
-6
-4
-3
-5
-2
-2
-2
-5
-3
-5
-3
-2
-5
-1
-5
-2
-2
-2
-4
-5
-2
-4
-4
-4
-4
-4
-4
-2
-5
-2
-5
-5
-3
-5
-4
-3
-5
-5
-5
-5
-5
-5
-5
-5
-4
-5
-5
-5
-5
-5
-4
-4
-4
-6
-2
-2
-5
-5
-5
-5
-5
-4
-5
-0
-0
-2
-5
-6
-1
-3
-4
-4
-4
-0
-5
-0
-0
-2
-1
-5
-5
-2
-1
-2
-3
-1
-6
-2
-1
-3
-5
-5
-4
-2
-2
-4
-6
-3
-1
-5
-2
-5
-5
-0
-5
-1
-5
-5
-5
-3
-1
-2
-6
-6
-5
-5
-4
-5
-1
-5
-2
-2
-2
-4
-4
-5
-5
-5
-3
-4
-4
-5
-2
-5
-5
-5
-6
-2
-1
-1
-2
-1
-4
-5
-5
-5
-5
-4
-6
-4
-5
-4
-4
-4
-1
-0
-5
-5
-4
-2
-5
-5
-5
-4
-3
-4
-5
-1
-6
-1
-5
-0
-4
-2
-5
-5
-5
-4
-6
-1
-2
-3
-5
-5
-5
-6
-5
-5
-1
-4
-5
-6
-5
-3
-3
-4
-5
-4
-4
-5
-5
-4
-5
-4
-4
-4
-4
-4
-5
-2
-3
-3
-6
-5
-2
-2
-5
-4
-5
-5
-0
-0
-1
-1
-1
-5
-5
-4
-3
-4
-5
-5
-5
-2
-0
-3
-0
-1
-0
-0
-6
-5
-6
-6
-5
-5
-4
-6
-4
-5
-5
-1
-1
-1
-0
-1
-4
-5
-1
-4
-2
-0
-5
-5
-4
-4
-6
-3
-4
-4
-5
-0
-0
-0
-2
-4
-1
-5
-2
-0
-0
-0
-4
-5
-3
-5
-5
-4
-5
-5
-1
-2
-2
-5
-4
-2
-5
-4
-5
-4
-5
-1
-4
-4
-5
-2
-4
-3
-3
-5
-5
-2
-5
-4
-0
-0
-0
-2
-2
-4
-4
-4
-4
-2
-1
-2
-5
-4
-4
-4
-5
-5
-5
-6
-5
-5
-6
-0
-4
-5
-2
-5
-5
-5
-5
-5
-5
-4
-4
-5
-5
-1
-1
-3
-4
-1
-0
-2
-1
-1
-5
-4
-2
-1
-2
-2
-0
-5
-2
-5
-5
-6
-5
-5
-5
-0
-5
-6
-5
-4
-5
-6
-0
-4
-1
-3
-1
-3
-5
-4
-4
-0
-0
-0
-5
-4
-6
-0
-0
-5
-0
-0
-0
-5
-5
-3
-5
-1
-0
-5
-5
-5
-2
-1
-4
-4
-0
-0
-0
-1
-2
-3
-4
-4
-4
-4
-5
-5
-5
-5
-4
-4
-5
-3
-4
-1
-3
-5
-4
-3
-4
-5
-5
-5
-4
-3
-5
-5
-6
-4
-5
-5
-1
-4
-5
-5
-1
-2
-4
-4
-5
-3
-4
-4
-5
-4
-5
-5
-5
-0
-0
-0
-0
-5
-5
-0
-1
-2
-1
-2
-2
-0
-0
-1
-2
-2
-0
-0
-1
-1
-1
-5
-5
-0
-0
-5
-4
-5
-5
-1
-5
-2
-1
-1
-5
-5
-1
-4
-6
-2
-5
-5
-5
-5
-1
-2
-5
-5
-4
-0
-0
-4
-3
-1
-2
-5
-4
-4
-4
-6
-6
-0
-2
-4
-5
-5
-4
-4
-1
-0
-0
-3
-5
-6
-4
-2
-2
-4
-1
-4
-4
-4
-4
-3
-5
-5
-4
-3
-5
-2
-5
-2
-5
-2
-5
-4
-4
-1
-1
-4
-5
-5
-5
-6
-4
-3
-5
-5
-5
-2
-4
-5
-5
-5
-2
-5
-4
-2
-1
-2
-1
-5
-5
-4
-5
-5
-5
-1
-4
-5
-2
-6
-1
-4
-2
-4
-5
-1
-1
-5
-5
-1
-2
-5
-4
-6
-1
-6
-6
-6
-6
-2
-4
-4
-6
-5
-5
-4
-4
-5
-2
-5
-2
-4
-4
-1
-5
-5
-5
-5
-5
-5
-5
-5
-5
-5
-5
-5
-2
-1
-5
-5
-2
-5
-5
-5
-4
-4
-4
-5
-3
-4
-4
-2
-4
-5
-3
-0
-1
-4
-4
-5
-5
-4
-2
-0
-6
-5
-4
-4
-4
-5
-4
-1
-5
-6
-5
-6
-5
-5
-3
-0
-2
-0
-0
-5
-0
-0
-0
-5
-3
-3
-6
-5
-5
-1
-2
-1
-5
-2
-6
-6
-2
-5
-2
-0
-6
-4
-0
-4
-5
-5
-3
-1
-2
-2
-6
-5
-1
-5
-5
-5
-5
-5
-0
-0
-3
-4
-5
-5
-5
-1
-6
-6
-6
-5
-5
-4
-4
-4
-5
-1
-5
-5
-3
-3
-3
-3
-3
-5
-6
-1
-4
-5
-5
-6
-5
-3
-4
-5
-1
-2
-2
-5
-4
-5
-4
-6
-4
-5
-5
-4
-1
-1
-5
-2
-0
-6
-5
-1
-1
-4
-5
-5
-5
-5
-5
-5
-6
-2
-2
-5
-5
-5
-2
-4
-1
-5
-5
-0
-2
-5
-2
-0
-4
-5
-4
-2
-5
-0
-4
-5
-6
-5
-5
-5
-1
-5
-0
-5
-1
-1
-2
-4
-2
-1
-2
-5
-5
-2
-2
-4
-0
-4
-4
-3
-3
-5
-5
-2
-1
-6
-5
-0
-5
-5
-5
-5
-5
-6
-6
-5
-4
-2
-0
-0
-0
-2
-2
-2
-5
-4
-4
-0
-5
-5
-4
-3
-0
-3
-2
-6
-5
-1
-2
-2
-2
-5
-4
-0
-4
-5
-5
-0
-2
-6
-5
-5
-2
-3
-2
-0
-4
-1
-5
-5
-4
-1
-3
-3
-4
-4
-4
-4
-2
-5
-5
-6
-5
-4
-3
-4
-6
-4
-3
-0
-5
-4
-4
-5
-3
-5
-5
-4
-5
-5
-5
-3
-5
-5
-5
-5
-0
-4
-4
-4
-5
-2
-2
-1
-5
-5
-5
-5
-5
-6
-5
-5
-1
-5
-0
-5
-4
-4
-6
-5
-5
-6
-5
-1
-2
-5
-5
-5
-5
-1
-1
-6
-4
-5
-2
-2
-5
-5
-2
-5
-5
-2
-5
-3
-3
-3
-3
-0
-2
-4
-3
-1
-5
-2
-0
-5
-5
-1
-5
-6
-6
-6
-5
-2
-5
-1
-6
-5
-6
-5
-5
-0
-0
-0
-5
-5
-6
-5
-5
-5
-5
-4
-4
-4
-1
-5
-2
-2
-5
-2
-4
-5
-5
-5
-5
-5
-3
-5
-5
-4
-5
-0
-2
-0
-4
-4
-3
-5
-3
-5
-0
-0
-0
-3
-6
-6
-3
-5
-5
-5
-0
-3
-4
-3
-5
-2
-5
-5
-3
-3
-1
-3
-4
-6
-4
-5
-4
-6
-0
-4
-5
-4
-5
-4
-5
-4
-5
-5
-4
-5
-1
-5
-5
-5
-6
-3
-5
-4
-5
-4
-4
-2
-6
-5
-5
-3
-1
-0
-0
-0
-4
-3
-3
-5
-2
-0
-2
-4
-5
-5
-5
-4
-0
-3
-0
-6
-1
-4
-1
-0
-1
-4
-0
-0
-2
-0
-5
-1
-2
-2
-5
-5
-5
-5
-5
-5
-6
-0
-1
-4
-0
-0
-0
-5
-5
-0
-3
-1
-5
-5
-4
-5
-5
-5
-3
-1
-0
-0
-2
-4
-5
-0
-4
-4
-5
-2
-0
-5
-5
-4
-4
-4
-0
-2
-1
-4
-6
-3
-3
-4
-5
-5
-1
-4
-4
-5
-5
-5
-5
-5
-1
-5
-1
-5
-6
-1
-2
-1
-1
-1
-2
-5
-5
-4
-2
-3
-5
-4
-0
-2
-2
-2
-1
-4
-5
-5
-0
-4
-6
-5
-2
-5
-4
-4
-0
-4
-4
-4
-3
-2
-5
-1
-2
-2
-5
-5
-5
-6
-6
-5
-1
-1
-5
-0
-4
-4
-4
-4
-4
-5
-5
-0
-4
-2
-1
-5
-3
-5
-0
-0
-6
-0
-5
-3
-5
-0
-2
-3
-5
-5
-0
-0
-4
-5
-0
-4
-2
-5
-4
-5
-5
-5
-0
-4
-4
-5
-5
-1
-1
-1
-1
-2
-5
-5
-4
-5
-5
-1
-2
-5
-0
-0
-0
-2
-5
-1
-5
-5
-2
-1
-5
-5
-6
-5
-4
-5
-3
-4
-0
-2
-3
-3
-3
-5
-1
-3
-4
-4
-1
-5
-2
-2
-5
-5
-6
-5
-5
-4
-5
-1
-2
-3
-3
-5
-5
-3
-4
-4
-2
-1
-4
-2
-1
-4
-4
-1
-1
-2
-5
-5
-5
-2
-1
-5
-4
-5
-5
-5
-5
-5
-1
-1
-1
-0
-0
-0
-0
-0
-2
-2
-2
-0
-0
-2
-4
-4
-5
-5
-5
-3
-4
-5
-5
-5
-5
-2
-1
-1
-2
-5
-5
-4
-2
-5
-4
-5
-5
-4
-6
-1
-1
-4
-0
-0
-5
-5
-0
-4
-2
-5
-2
-5
-5
-0
-4
-1
-5
-5
-4
-5
-5
-5
-5
-1
-1
-2
-4
-3
-4
-4
-5
-5
-6
-5
-0
-0
-0
-1
-1
-3
-4
-1
-1
-2
-4
-4
-1
-0
-2
-2
-4
-1
-5
-5
-5
-2
-0
-0
-2
-2
-3
-3
-6
-5
-5
-5
-4
-0
-3
-5
-3
-4
-4
-5
-5
-1
-1
-5
-1
-2
-5
-5
-5
-6
-5
-1
-4
-5
-1
-5
-2
-2
-0
-2
-5
-0
-1
-5
-1
-5
-5
-3
-6
-3
-3
-4
-0
-5
-5
-2
-5
-1
-0
-1
-5
-5
-1
-1
-0
-2
-2
-2
-0
-5
-5
-2
-4
-3
-1
-4
-1
-5
-5
-3
-5
-3
-4
-1
-4
-6
-4
-1
-5
-6
-5
-6
-5
-4
-4
-4
-2
-0
-2
-1
-5
-5
-4
-1
-2
-5
-0
-0
-2
-0
-4
-4
-4
-4
-1
-2
-1
-3
-6
-6
-2
-3
-0
-5
-1
-3
-1
-1
-1
-5
-2
-2
-5
-4
-2
-2
-4
-4
-4
-4
-0
-0
-2
-2
-4
-5
-5
-4
-1
-2
-0
-4
-2
-2
-5
-4
-3
-3
-6
-5
-2
-5
-5
-4
-5
-4
-0
-1
-2
-2
-1
-1
-1
-5
-6
-4
-5
-3
-1
-3
-1
-2
-3
-3
-4
-5
-0
-2
-0
-5
-2
-2
-0
-5
-0
-5
-3
-4
-1
-6
-5
-5
-5
-5
-4
-4
-1
-4
-4
-5
-5
-4
-6
-5
-6
-3
-4
-0
-3
-0
-0
-5
-0
-0
-4
-0
-5
-5
-5
-5
-5
-0
-0
-2
-2
-2
-5
-0
-0
-4
-6
-1
-4
-2
-2
-4
-4
-5
-2
-5
-5
-5
-4
-0
-5
-5
-5
-3
-5
-2
-6
-3
-2
-5
-6
-4
-3
-1
-2
-0
-5
-0
-4
-5
-5
-5
-2
-2
-1
-1
-5
-1
-5
-0
-0
-4
-0
-0
-5
-0
-5
-5
-0
-4
-2
-4
-4
-5
-2
-5
-1
-2
-5
-0
-0
-0
-5
-3
-3
-4
-1
-5
-5
-5
-5
-5
-4
-3
-1
-4
-5
-5
-6
-5
-4
-5
-5
-5
-4
-4
-5
-2
-4
-5
-5
-5
-6
-5
-5
-5
-2
-5
-4
-5
-3
-3
-2
-1
-2
-5
-5
-5
-4
-5
-5
-6
-5
-5
-0
-6
-2
-5
-1
-4
-5
-5
-4
-5
-4
-4
-4
-5
-6
-4
-1
-5
-1
-3
-2
-0
-4
-1
-3
-5
-6
-5
-4
-0
-2
-2
-4
-5
-4
-4
-6
-4
-4
-5
-5
-0
-3
-4
-5
-5
-0
-1
-1
-5
-1
-3
-1
-3
-5
-5
-5
-3
-5
-5
-2
-2
-5
-0
-5
-0
-6
-0
-2
-5
-0
-5
-6
-5
-5
-4
-5
-6
-5
-6
-6
-2
-0
-0
-0
-0
-1
-1
-1
-1
-5
-2
-3
-5
-5
-2
-1
-2
-2
-5
-5
-4
-2
-4
-5
-3
-4
-4
-1
-1
-0
-4
-1
-5
-1
-0
-4
-0
-0
-5
-4
-4
-2
-5
-6
-5
-0
-5
-5
-3
-5
-4
-1
-5
-5
-5
-5
-5
-5
-1
-0
-0
-1
-5
-5
-5
-3
-4
-3
-4
-0
-3
-3
-3
-5
-5
-5
-4
-5
-6
-6
-3
-6
-1
-6
-6
-6
-2
-1
-3
-1
-5
-3
-5
-5
-3
-4
-0
-3
-3
-4
-4
-0
-0
-2
-3
-0
-5
-2
-2
-5
-4
-4
-4
-4
-4
-4
-4
-1
-0
-3
-0
-5
-1
-4
-5
-5
-4
-0
-1
-1
-5
-4
-5
-6
-5
-5
-5
-5
-0
-0
-5
-5
-0
-0
-0
-0
-3
-4
-1
-5
-4
-4
-4
-5
-5
-5
-4
-5
-4
-4
-0
-0
-5
-5
-5
-4
-2
-5
-5
-5
-4
-2
-5
-5
-0
-2
-0
-2
-5
-0
-0
-6
-3
-5
-5
-1
-1
-5
-4
-4
-0
-5
-1
-6
-5
-6
-5
-5
-4
-2
-4
-5
-6
-5
-6
-5
-1
-1
-1
-0
-0
-0
-5
-1
-1
-2
-0
-3
-5
-5
-5
-5
-1
-1
-3
-1
-6
-5
-5
-5
-6
-5
-1
-1
-5
-1
-5
-3
-5
-5
-6
-5
-5
-5
-5
-5
-2
-2
-5
-6
-6
-3
-3
-0
-0
-0
-5
-5
-5
-5
-5
-5
-5
-5
-5
-4
-5
-6
-6
-0
-5
-3
-3
-1
-4
-4
-0
-2
-2
-1
-0
-4
-0
-2
-5
-5
-3
-1
-5
-3
-5
-5
-5
-4
-5
-4
-0
-4
-6
-1
-1
-4
-2
-0
-0
-2
-1
-2
-1
-2
-2
-5
-3
-4
-1
-1
-5
-5
-5
-5
-2
-6
-2
-5
-2
-4
-4
-4
-3
-4
-1
-5
-5
-4
-1
-1
-4
-4
-5
-0
-0
-4
-5
-3
-5
-1
-2
-0
-1
-5
-4
-5
-2
-2
-0
-2
-2
-0
-0
-1
-2
-1
-2
-5
-2
-5
-1
-2
-5
-5
-5
-5
-4
-4
-4
-5
-4
-4
-5
-5
-4
-2
-5
-4
-5
-2
-2
-2
-5
-5
-5
-1
-1
-6
-6
-6
-0
-0
-5
-5
-5
-5
-5
-1
-2
-4
-5
-5
-4
-4
-3
-4
-6
-5
-2
-2
-1
-5
-2
-4
-5
-4
-5
-4
-3
-5
-0
-0
-4
-4
-5
-5
-2
-5
-6
-6
-6
-0
-5
-0
-0
-4
-4
-3
-5
-5
-6
-2
-5
-2
-4
-4
-1
-5
-4
-2
-5
-5
-2
-2
-4
-0
-0
-5
-4
-2
-2
-2
-1
-2
-4
-5
-5
-1
-2
-5
-1
-1
-5
-6
-0
-4
-2
-1
-1
-5
-5
-6
-1
-3
-5
-4
-5
-5
-2
-5
-4
-5
-4
-4
-4
-1
-5
-1
-5
-2
-2
-5
-5
-5
-5
-5
-4
-4
-2
-5
-5
-5
-5
-5
-5
-5
-2
-2
-1
-4
-3
-6
-6
-3
-6
-5
-2
-2
-2
-3
-3
-4
-4
-5
-2
-5
-1
-1
-0
-2
-4
-5
-4
-2
-1
-1
-3
-5
-4
-3
-5
-4
-4
-4
-3
-3
-3
-1
-5
-5
-5
-5
-3
-6
-4
-3
-4
-5
-5
-1
-5
-0
-2
-5
-1
-1
-1
-2
-1
-2
-1
-0
-4
-4
-2
-2
-4
-4
-5
-6
-2
-1
-1
-0
-0
-2
-0
-0
-4
-2
-4
-3
-4
-0
-0
-0
-0
-5
-5
-1
-5
-2
-5
-5
-3
-4
-5
-2
-2
-3
-1
-2
-2
-2
-1
-5
-5
-6
-5
-1
-5
-5
-2
-2
-2
-2
-5
-1
-0
-4
-0
-5
-5
-5
-5
-0
-0
-3
-0
-0
-1
-1
-2
-5
-5
-0
-5
-2
-5
-0
-5
-2
-4
-4
-5
-1
-1
-1
-4
-4
-2
-5
-6
-5
-5
-5
-5
-4
-3
-4
-2
-2
-1
-1
-2
-2
-5
-5
-2
-5
-5
-5
-5
-6
-5
-4
-3
-3
-4
-5
-5
-4
-5
-5
-5
-4
-1
-0
-0
-4
-5
-5
-5
-6
-1
-4
-5
-4
-3
-6
-2
-2
-1
-1
-5
-5
-3
-4
-6
-6
-5
-4
-4
-5
-5
-5
-3
-2
-5
-5
-5
-0
-5
-3
-5
-1
-5
-1
-4
-5
-4
-5
-5
-1
-4
-5
-4
-0
-1
-6
-6
-5
-5
-3
-3
-0
-5
-6
-4
-5
-5
-4
-5
-5
-1
-4
-4
-6
-5
-0
-0
-5
-3
-6
-4
-3
-2
-2
-0
-5
-6
-0
-6
-5
-5
-5
-4
-5
-3
-5
-5
-0
-5
-4
-5
-5
-5
-5
-3
-5
-4
-1
-1
-0
-2
-0
-1
-3
-2
-5
-5
-5
-5
-4
-0
-0
-0
-0
-1
-5
-1
-4
-0
-5
-5
-5
-5
-0
-0
-5
-6
-1
-5
-5
-3
-3
-3
-4
-0
-0
-5
-5
-5
-6
-5
-5
-5
-0
-0
-1
-0
-4
-5
-5
-5
-1
-5
-5
-5
-5
-4
-4
-4
-1
-5
-5
-4
-5
-5
-6
-1
-2
-5
-5
-5
-5
-1
-1
-2
-1
-1
-2
-1
-1
-2
-2
-1
-4
-3
-1
-1
-5
-1
-4
-4
-4
-2
-5
-1
-1
-1
-5
-4
-1
-6
-2
-3
-1
-1
-5
-0
-6
-5
-6
-5
-3
-3
-5
-5
-5
-4
-0
-3
-0
-0
-6
-4
-4
-5
-5
-4
-3
-0
-5
-3
-5
-4
-0
-5
-2
-2
-4
-5
-0
-2
-5
-5
-5
-0
-5
-5
-5
-1
-6
-5
-5
-2
-0
-2
-5
-1
-5
-1
-5
-0
-0
-4
-4
-5
-5
-2
-0
-2
-5
-5
-6
-5
-4
-5
-4
-6
-5
-5
-5
-5
-1
-1
-2
-1
-5
-1
-6
-5
-5
-0
-0
-5
-1
-2
-1
-1
-2
-2
-4
-2
-1
-1
-5
-5
-5
-5
-5
-4
-4
-6
-5
-0
-0
-5
-5
-5
-5
-2
-3
-3
-5
-1
-5
-5
-6
-4
-5
-0
-0
-5
-5
-5
-5
-5
-5
-5
-2
-5
-1
-1
-4
-4
-1
-1
-4
-4
-4
-4
-4
-4
-4
-4
-5
-5
-0
-0
-1
-5
-0
-1
-5
-0
-0
-4
-4
-5
-6
-5
-2
-1
-2
-1
-5
-5
-5
-5
-5
-5
-5
-1
-3
-2
-6
-3
-5
-1
-2
-2
-1
-2
-2
-5
-5
-0
-4
-6
-0
-5
-1
-1
-6
-4
-4
-3
-5
-4
-4
-4
-4
-6
-4
-5
-5
-0
-0
-0
-4
-1
-3
-5
-4
-3
-5
-5
-5
-0
-0
-0
-4
-5
-4
-5
-3
-2
-6
-1
-3
-5
-4
-4
-3
-5
-5
-5
-2
-0
-5
-1
-2
-5
-5
-5
-4
-5
-6
-5
-5
-6
-4
-4
-3
-0
-0
-0
-2
-4
-4
-5
-6
-6
-4
-2
-5
-2
-5
-0
-0
-2
-2
-5
-5
-2
-5
-5
-4
-4
-1
-2
-5
-4
-4
-2
-4
-6
-0
-0
-2
-1
-5
-5
-3
-2
-3
-3
-1
-4
-5
-5
-5
-5
-1
-5
-3
-3
-4
-0
-5
-6
-6
-1
-6
-1
-2
-5
-1
-3
-3
-5
-4
-0
-2
-5
-2
-2
-0
-6
-1
-2
-2
-5
-5
-5
-5
-5
-5
-0
-0
-2
-4
-1
-0
-5
-5
-5
-1
-2
-0
-1
-5
-5
-5
-2
-0
-4
-4
-6
-5
-0
-0
-0
-0
-0
-0
-5
-5
-5
-2
-2
-2
-5
-4
-2
-5
-3
-3
-5
-4
-5
-2
-5
-5
-5
-4
-5
-4
-0
-5
-1
-1
-0
-2
-1
-2
-3
-4
-0
-2
-4
-4
-4
-0
-0
-0
-5
-0
-0
-4
-5
-5
-5
-1
-2
-5
-5
-2
-5
-1
-0
-2
-1
-5
-1
-1
-4
-5
-4
-5
-4
-6
-1
-5
-2
-1
-5
-1
-2
-3
-1
-1
-0
-4
-3
-5
-4
-5
-5
-1
-1
-3
-0
-5
-5
-1
-1
-6
-5
-1
-5
-6
-6
-5
-0
-1
-5
-5
-5
-5
-5
-0
-1
-5
-5
-5
-0
-4
-1
-4
-5
-1
-5
-2
-1
-5
-1
-2
-3
-3
-4
-3
-4
-5
-1
-0
-0
-0
-1
-5
-5
-4
-5
-5
-6
-5
-5
-5
-3
-0
-5
-5
-0
-5
-5
-4
-5
-3
-5
-5
-1
-1
-2
-2
-5
-1
-2
-1
-4
-3
-3
-4
-3
-6
-4
-4
-2
-2
-4
-3
-6
-6
-5
-3
-1
-5
-5
-5
-4
-1
-4
-4
-5
-6
-5
-5
-5
-5
-5
-6
-4
-4
-5
-5
-2
-0
-0
-1
-4
-4
-4
-4
-6
-5
-5
-1
-6
-5
-3
-3
-5
-3
-2
-1
-5
-6
-0
-1
-2
-4
-5
-5
-6
-5
-6
-5
-4
-5
-4
-6
-0
-4
-0
-0
-6
-3
-2
-3
-4
-3
-5
-4
-4
-4
-4
-1
-1
-5
-0
-5
-0
-0
-3
-5
-4
-4
-5
-5
-2
-4
-5
-5
-5
-2
-3
-3
-2
-4
-4
-0
-3
-0
-0
-5
-4
-0
-0
-2
-0
-0
-1
-0
-1
-5
-4
-1
-2
-5
-6
-4
-5
-4
-0
-1
-6
-5
-6
-5
-5
-6
-2
-5
-5
-2
-6
-1
-5
-5
-4
-5
-1
-4
-5
-6
-2
-1
-4
-5
-6
-5
-5
-6
-3
-2
-1
-5
-5
-6
-5
-2
-5
-4
-6
-5
-5
-5
-5
-5
-1
-5
-4
-6
-3
-5
-4
-5
-0
-2
-1
-4
-5
-5
-2
-1
-5
-5
-5
-1
-4
-5
-5
-0
-5
-4
-4
-1
-5
-6
-6
-5
-4
-4
-0
-4
-5
-2
-6
-0
-6
-6
-1
-2
-5
-1
-0
-0
-5
-2
-5
-4
-2
-2
-0
-4
-5
-1
-2
-0
-2
-5
-3
-5
-5
-5
-2
-1
-0
-5
-4
-2
-4
-0
-4
-5
-4
-4
-1
-4
-0
-0
-1
-0
-2
-5
-0
-5
-5
-2
-2
-5
-1
-5
-4
-5
-5
-0
-6
-4
-5
-5
-2
-5
-2
-2
-1
-2
-5
-5
-5
-6
-5
-2
-1
-6
-3
-4
-5
-1
-2
-3
-0
-2
-0
-4
-3
-2
-1
-5
-2
-5
-5
-4
-5
-4
-6
-4
-5
-5
-4
-2
-4
-1
-1
-4
-0
-3
-4
-5
-1
-5
-5
-5
-5
-2
-2
-1
-5
-2
-1
-5
-5
-5
-4
-0
-3
-5
-0
-5
-5
-0
-0
-1
-1
-1
-1
-3
-3
-0
-5
-1
-5
-1
-1
-1
-1
-2
-0
-0
-5
-6
-5
-6
-5
-2
-5
-5
-5
-5
-2
-1
-6
-4
-3
-5
-0
-4
-4
-5
-4
-5
-5
-6
-5
-6
-5
-4
-0
-5
-4
-4
-1
-2
-1
-5
-0
-0
-2
-2
-4
-4
-4
-5
-4
-5
-4
-4
-5
-5
-5
-6
-5
-2
-0
-1
-1
-1
-5
-3
-5
-5
-4
-4
-0
-2
-5
-5
-6
-5
-5
-4
-4
-2
-5
-6
-6
-5
-3
-5
-6
-5
-1
-5
-0
-5
-3
-1
-4
-2
-6
-4
-4
-5
-5
-4
-4
-0
-4
-0
-3
-5
-3
-0
-4
-5
-6
-6
-5
-5
-5
-1
-2
-1
-5
-4
-1
-5
-2
-1
-6
-5
-5
-4
-0
-4
-0
-0
-5
-4
-5
-6
-5
-5
-2
-5
-5
-4
-4
-2
-5
-1
-5
-1
-1
-2
-2
-2
-5
-5
-4
-6
-0
-5
-5
-5
-4
-3
-4
-5
-4
-5
-3
-5
-5
-0
-5
-4
-4
-1
-2
-2
-5
-4
-4
-0
-0
-2
-5
-2
-1
-2
-2
-1
-4
-5
-0
-0
-6
-5
-5
-5
-0
-5
-5
-1
-0
-4
-2
-4
-4
-4
-6
-5
-1
-5
-5
-5
-5
-4
-4
-5
-5
-5
-5
-5
-4
-3
-4
-1
-5
-5
-4
-4
-5
-2
-5
-5
-5
-2
-0
-1
-2
-1
-6
-5
-5
-5
-5
-5
-1
-4
-3
-1
-3
-5
-5
-5
-3
-1
-5
-5
-4
-5
-5
-5
-5
-4
-5
-4
-0
-0
-0
-0
-4
-4
-5
-4
-0
-0
-1
-4
-4
-5
-4
-0
-0
-2
-2
-4
-4
-4
-5
-5
-0
-3
-5
-5
-6
-4
-5
-1
-5
-2
-5
-0
-5
-5
-1
-2
-5
-6
-2
-2
-1
-5
-4
-1
-4
-4
-4
-3
-5
-5
-5
-4
-4
-1
-5
-5
-5
-6
-4
-4
-0
-0
-0
-6
-2
-2
-1
-1
-5
-4
-0
-5
-4
-5
-4
-2
-5
-1
-4
-4
-5
-5
-5
-5
-0
-5
-4
-2
-4
-4
-0
-0
-0
-4
-5
-5
-5
-5
-5
-3
-6
-3
-4
-5
-5
-4
-1
-5
-5
-5
-5
-5
-4
-3
-4
-0
-0
-5
-3
-4
-5
-3
-3
-0
-5
-5
-1
-2
-5
-5
-2
-5
-5
-1
-5
-5
-3
-2
-5
-0
-1
-0
-5
-1
-0
-5
-2
-5
-1
-0
-3
-0
-5
-5
-4
-4
-4
-4
-0
-0
-0
-0
-4
-5
-5
-5
-3
-6
-6
-4
-5
-1
-6
-5
-3
-3
-1
-1
-5
-5
-4
-5
-5
-4
-5
-5
-5
-5
-5
-2
-5
-5
-2
-3
-3
-3
-3
-1
-1
-6
-6
-1
-4
-5
-5
-5
-4
-4
-5
-4
-5
-4
-4
-2
-5
-4
-4
-2
-5
-2
-1
-5
-4
-2
-1
-5
-3
-6
-1
-5
-5
-2
-5
-3
-2
-3
-4
-5
-3
-4
-4
-1
-1
-5
-5
-5
-5
-5
-5
-6
-5
-5
-3
-4
-1
-2
-2
-5
-5
-2
-0
-5
-5
-5
-4
-4
-6
-5
-2
-1
-4
-4
-5
-1
-4
-4
-1
-4
-4
-0
-6
-5
-6
-3
-3
-1
-1
-5
-4
-1
-2
-2
-5
-5
-1
-0
-2
-5
-5
-2
-1
-5
-4
-1
-4
-2
-5
-2
-3
-0
-1
-1
-1
-1
-5
-6
-3
-3

ratio_proportion_change3/finetuning/trainr_label.txt

@@ -1,4466 +0,0 @@
-0.6923076923076923
-0.7142857142857143
-0.64
-0.5384615384615384
-0.7222222222222222
-0.7222222222222222
-0.8
-1.0
-1.0
-1.0
-1.0
-0.7142857142857143
-1.0
-0.6428571428571428
-0.7647058823529411
-0.9090909090909091
-0.6470588235294117
-0.8235294117647058
-1.0
-0.9230769230769231
-0.8461538461538461
-0.8
-0.6666666666666667
-0.6599999999999999
-1.0
-1.0
-0.575
-0.5882352941176471
-0.7037037037037037
-0.6875
-0.8333333333333334
-0.7666666666666666
-0.8
-0.7333333333333334
-1.0
-0.875
-0.8666666666666667
-0.8333333333333334
-0.7692307692307692
-0.6206896551724138
-0.7083333333333333
-0.5142857142857142
-0.8666666666666667
-0.7619047619047619
-0.9333333333333333
-0.41428571428571426
-0.8823529411764706
-0.8461538461538461
-0.9166666666666666
-0.9
-0.9655172413793104
-0.9767441860465116
-0.9782608695652174
-0.8
-1.0
-0.7647058823529411
-0.8235294117647058
-0.9230769230769231
-0.8333333333333334
-1.0
-1.0
-0.8571428571428572
-0.7272727272727273
-0.8888888888888888
-0.84
-0.6875
-0.6896551724137931
-0.7272727272727273
-0.9
-0.65
-1.0
-0.7407407407407407
-0.7931034482758621
-0.5806451612903225
-0.9090909090909091
-0.6585365853658536
-0.75
-1.0
-1.0
-0.95
-0.9230769230769231
-1.0
-0.8947368421052632
-0.9090909090909091
-0.6875
-1.0
-1.0
-0.875
-0.7333333333333334
-0.6428571428571428
-0.9
-0.8235294117647058
-0.7083333333333333
-0.5918367346938775
-0.6666666666666667
-0.7142857142857143
-0.7647058823529411
-0.6666666666666667
-1.0
-0.625
-1.0
-1.0
-0.8125
-0.7333333333333334
-0.7142857142857143
-0.5555555555555556
-0.631578947368421
-0.8571428571428572
-0.6153846153846154
-0.8333333333333334
-0.75
-0.6666666666666667
-0.75
-0.71875
-0.7058823529411764
-0.9090909090909091
-0.7777777777777778
-0.75
-0.6086956521739131
-0.7777777777777778
-0.8
-0.6190476190476191
-0.8571428571428572
-0.6896551724137931
-0.5098039215686274
-0.9230769230769231
-0.9090909090909091
-0.8
-0.5416666666666667
-0.7333333333333334
-0.5384615384615384
-0.6774193548387097
-0.8181818181818181
-0.6923076923076923
-0.6595744680851063
-0.7894736842105263
-0.56
-0.7
-0.7142857142857143
-0.6333333333333333
-0.7647058823529411
-0.85
-0.7647058823529411
-0.75
-1.0
-0.7692307692307692
-1.0
-0.8421052631578947
-1.0
-0.7391304347826086
-1.0
-0.75
-0.7692307692307692
-0.8148148148148149
-0.875
-1.0
-0.7692307692307692
-0.7333333333333334
-0.75
-0.7272727272727273
-0.736842105263158
-0.75
-1.0
-1.0
-1.0
-0.6521739130434783
-0.6875
-0.7619047619047619
-0.8888888888888888
-0.8823529411764706
-0.8461538461538461
-0.6666666666666667
-0.6296296296296297
-0.8461538461538461
-0.8
-0.8
-0.7647058823529411
-0.6842105263157895
-0.7317073170731707
-0.9285714285714286
-0.8666666666666667
-0.625
-0.9166666666666666
-0.9
-0.736842105263158
-0.75
-0.8
-0.6333333333333333
-0.8095238095238095
-0.9090909090909091
-0.9333333333333333
-0.9375
-0.782608695652174
-0.8461538461538461
-0.8571428571428572
-0.7857142857142857
-0.5833333333333333
-0.6
-0.5925925925925926
-0.75
-0.9166666666666666
-0.6818181818181819
-1.0
-0.5454545454545454
-0.6666666666666667
-0.8947368421052632
-0.6296296296296297
-0.9
-0.8571428571428572
-0.8461538461538461
-0.7272727272727273
-0.9090909090909091
-0.5909090909090908
-0.9090909090909091
-0.8333333333333334
-1.0
-0.75
-1.0
-0.7142857142857143
-0.7142857142857143
-0.8181818181818181
-1.0
-0.7777777777777778
-0.7777777777777778
-0.9
-0.7666666666666666
-1.0
-0.6571428571428571
-0.8
-0.5454545454545454
-0.6818181818181819
-0.7777777777777778
-0.6
-0.6
-0.6666666666666667
-0.6538461538461539
-0.8666666666666667
-0.736842105263158
-0.7647058823529411
-0.8
-0.8
-1.0
-1.0
-0.736842105263158
-0.64
-0.7058823529411764
-0.7027027027027026
-0.8461538461538461
-1.0
-0.5833333333333333
-0.55
-0.5777777777777777
-0.696969696969697
-0.9333333333333333
-0.6521739130434783
-0.75
-0.7058823529411764
-0.6875
-0.64
-0.8888888888888888
-0.8888888888888888
-0.9
-1.0
-0.7333333333333334
-0.8333333333333334
-0.7777777777777778
-0.8
-0.6
-0.65
-0.8
-0.7142857142857143
-0.8
-1.0
-0.7647058823529411
-0.6666666666666667
-0.8421052631578947
-0.7142857142857143
-0.8461538461538461
-1.0
-0.8
-0.6153846153846154
-0.7142857142857143
-0.8666666666666667
-0.7647058823529411
-0.9166666666666666
-0.5862068965517242
-0.7058823529411764
-0.42000000000000004
-0.8
-0.53125
-0.7142857142857143
-0.6111111111111112
-1.0
-0.9
-0.625
-0.7037037037037037
-0.7894736842105263
-0.6206896551724138
-1.0
-1.0
-0.9166666666666666
-1.0
-0.6363636363636364
-0.6153846153846154
-0.625
-0.6666666666666667
-0.7142857142857143
-0.6666666666666667
-0.6666666666666667
-0.5
-0.625
-0.9230769230769231
-0.8888888888888888
-0.7391304347826086
-0.625
-0.9166666666666666
-0.9375
-0.8421052631578947
-0.9
-0.8
-0.7894736842105263
-0.7857142857142857
-0.7142857142857143
-0.6551724137931034
-0.8235294117647058
-0.7391304347826086
-0.875
-0.8095238095238095
-0.7222222222222222
-0.7586206896551724
-0.6470588235294117
-0.6363636363636364
-0.7894736842105263
-1.0
-1.0
-0.8461538461538461
-0.9090909090909091
-0.8461538461538461
-0.9090909090909091
-0.5714285714285714
-0.9
-0.6086956521739131
-1.0
-1.0
-0.875
-0.7272727272727273
-0.6666666666666667
-0.6511627906976745
-0.8181818181818181
-1.0
-0.7307692307692308
-1.0
-0.8666666666666667
-0.8571428571428572
-0.8571428571428572
-0.9
-0.9
-0.6785714285714286
-0.6428571428571428
-0.8571428571428572
-1.0
-0.7
-0.8888888888888888
-0.7222222222222222
-0.9090909090909091
-0.8571428571428572
-0.9375
-0.8333333333333334
-0.7083333333333333
-0.8888888888888888
-0.7333333333333334
-0.7307692307692308
-0.8571428571428572
-0.8571428571428572
-0.7222222222222222
-1.0
-0.4666666666666667
-1.0
-1.0
-0.8846153846153846
-0.9090909090909091
-0.8888888888888888
-0.7916666666666666
-0.7428571428571429
-0.7352941176470589
-0.75
-0.8571428571428572
-0.7058823529411764
-0.6666666666666667
-0.5263157894736843
-0.736842105263158
-0.6666666666666667
-0.75
-0.8571428571428572
-1.0
-1.0
-0.6521739130434783
-0.55
-0.8125
-1.0
-0.8333333333333334
-0.75
-0.6956521739130435
-0.6875
-0.5666666666666667
-0.6739130434782609
-0.7142857142857143
-0.9166666666666666
-0.8
-0.85
-0.75
-0.625
-0.8333333333333334
-0.7777777777777778
-1.0
-0.6666666666666667
-0.5277777777777778
-0.875
-0.7142857142857143
-0.8333333333333334
-0.8333333333333334
-0.8461538461538461
-0.8
-1.0
-0.782608695652174
-0.9
-0.7777777777777778
-0.7352941176470589
-0.9
-0.9
-0.7647058823529411
-0.6153846153846154
-1.0
-0.9090909090909091
-0.5833333333333333
-0.75
-0.9090909090909091
-0.8
-1.0
-0.8333333333333334
-0.5833333333333333
-0.9090909090909091
-1.0
-0.7692307692307692
-0.8888888888888888
-0.75
-0.9375
-0.8
-0.8888888888888888
-1.0
-0.7692307692307692
-0.8666666666666667
-0.9090909090909091
-1.0
-1.0
-0.8333333333333334
-1.0
-1.0
-0.6470588235294117
-0.8181818181818181
-0.7857142857142857
-0.55
-1.0
-0.7
-0.7058823529411764
-0.6875
-1.0
-0.9090909090909091
-1.0
-0.7333333333333334
-0.8
-0.8421052631578947
-0.7142857142857143
-0.8125
-0.6923076923076923
-0.8636363636363636
-0.8571428571428572
-0.7222222222222222
-0.8333333333333334
-0.48275862068965514
-0.7391304347826086
-0.9285714285714286
-0.5263157894736843
-0.8636363636363636
-0.92
-1.0
-0.8333333333333334
-0.631578947368421
-0.8636363636363636
-0.9047619047619048
-0.8333333333333334
-0.9
-0.7058823529411764
-1.0
-0.9090909090909091
-0.7
-0.8888888888888888
-1.0
-0.8333333333333334
-1.0
-0.8
-0.7272727272727273
-1.0
-0.7272727272727273
-1.0
-0.8
-0.42307692307692313
-0.5714285714285714
-0.6666666666666667
-0.875
-0.7843137254901961
-0.7272727272727273
-0.7692307692307692
-0.72
-0.8571428571428572
-0.8695652173913043
-0.7777777777777778
-0.75
-0.7333333333333334
-0.5769230769230769
-0.7105263157894737
-0.7142857142857143
-1.0
-0.6875
-0.9230769230769231
-0.9444444444444444
-0.8333333333333334
-0.7692307692307692
-0.7333333333333334
-0.8181818181818181
-0.6666666666666667
-1.0
-1.0
-0.5909090909090908
-0.8461538461538461
-0.6739130434782609
-0.7777777777777778
-1.0
-0.8666666666666667
-1.0
-1.0
-1.0
-0.6875
-0.8461538461538461
-0.7619047619047619
-0.625
-0.75
-0.8571428571428572
-0.8620689655172413
-0.8
-1.0
-0.7272727272727273
-0.6956521739130435
-0.9166666666666666
-0.6875
-0.6666666666666667
-1.0
-0.6666666666666667
-0.8571428571428572
-0.8571428571428572
-0.7
-0.7142857142857143
-0.9090909090909091
-0.6296296296296297
-0.7647058823529411
-0.72
-0.6956521739130435
-0.7297297297297297
-0.8846153846153846
-0.7333333333333334
-0.8571428571428572
-0.6666666666666667
-0.9333333333333333
-0.9090909090909091
-0.6428571428571428
-0.8571428571428572
-0.7777777777777778
-0.7857142857142857
-0.7037037037037037
-0.8
-0.6511627906976745
-0.6739130434782609
-0.6923076923076923
-0.7142857142857143
-0.8571428571428572
-0.6153846153846154
-0.5800000000000001
-0.5777777777777777
-0.9090909090909091
-0.7142857142857143
-0.8461538461538461
-0.8125
-0.75
-0.6923076923076923
-0.9230769230769231
-0.7058823529411764
-1.0
-0.7333333333333334
-0.8333333333333334
-1.0
-0.9285714285714286
-0.6842105263157895
-0.7777777777777778
-0.9230769230769231
-0.8181818181818181
-0.9090909090909091
-0.71875
-0.7619047619047619
-0.625
-0.8333333333333334
-0.7142857142857143
-0.7142857142857143
-0.7391304347826086
-0.575
-1.0
-0.72
-0.8181818181818181
-0.7692307692307692
-0.7
-1.0
-0.7142857142857143
-0.6666666666666667
-0.75
-0.75
-0.75
-0.5833333333333333
-0.8333333333333334
-0.8333333333333334
-0.6842105263157895
-0.6785714285714286
-0.8125
-0.7647058823529411
-0.8333333333333334
-0.46153846153846156
-1.0
-1.0
-0.625
-0.8333333333333334
-1.0
-0.5
-0.7692307692307692
-0.8181818181818181
-1.0
-0.5945945945945945
-1.0
-0.6923076923076923
-0.8421052631578947
-1.0
-0.7272727272727273
-0.7391304347826086
-0.8461538461538461
-0.9
-0.8181818181818181
-0.7857142857142857
-0.875
-0.8695652173913043
-0.7777777777777778
-0.9090909090909091
-1.0
-0.8571428571428572
-0.9
-0.8095238095238095
-0.5882352941176471
-0.9
-0.7619047619047619
-0.6875
-0.5
-0.7777777777777778
-0.6956521739130435
-0.631578947368421
-0.8571428571428572
-0.7
-0.5
-0.8666666666666667
-0.6538461538461539
-1.0
-0.7222222222222222
-0.43243243243243246
-1.0
-0.6153846153846154
-0.7142857142857143
-0.6470588235294117
-0.5121951219512195
-0.7692307692307692
-0.5555555555555556
-0.6428571428571428
-1.0
-0.625
-0.7647058823529411
-0.9230769230769231
-0.9
-1.0
-0.9230769230769231
-0.9444444444444444
-0.9285714285714286
-0.8888888888888888
-0.8666666666666667
-0.9333333333333333
-0.8
-0.8
-0.9
-0.9230769230769231
-0.625
-1.0
-0.9
-0.8235294117647058
-0.5882352941176471
-0.5909090909090908
-0.6842105263157895
-0.59375
-0.6176470588235294
-0.7037037037037037
-0.625
-1.0
-0.8666666666666667
-1.0
-0.8666666666666667
-0.6071428571428572
-0.6
-0.8571428571428572
-0.8095238095238095
-0.7
-0.9
-1.0
-1.0
-0.75
-0.8
-0.9
-0.8
-0.8461538461538461
-0.8823529411764706
-0.8571428571428572
-0.7857142857142857
-0.9090909090909091
-0.4736842105263158
-0.75
-0.625
-0.9090909090909091
-1.0
-1.0
-0.5918367346938775
-0.6785714285714286
-1.0
-0.75
-0.7777777777777778
-0.7
-0.6470588235294117
-0.5555555555555556
-0.75
-0.7777777777777778
-1.0
-0.7142857142857143
-0.625
-0.9090909090909091
-0.7391304347826086
-0.8333333333333334
-0.6
-0.72
-0.7692307692307692
-0.6774193548387097
-0.8
-0.9230769230769231
-0.8181818181818181
-0.7857142857142857
-0.7083333333333333
-0.7894736842105263
-0.75
-1.0
-1.0
-0.8888888888888888
-0.8076923076923077
-0.7692307692307692
-0.875
-1.0
-0.7142857142857143
-0.7391304347826086
-0.9285714285714286
-0.5882352941176471
-0.6296296296296297
-0.6956521739130435
-0.55
-0.5588235294117647
-0.6666666666666667
-0.6363636363636364
-0.6956521739130435
-0.76
-0.6
-0.5833333333333333
-0.5909090909090908
-0.9285714285714286
-0.9285714285714286
-0.75
-0.6666666666666667
-0.6956521739130435
-0.736842105263158
-0.625
-0.75
-0.875
-0.9230769230769231
-0.8333333333333334
-0.6875
-0.7647058823529411
-0.8
-0.75
-0.7647058823529411
-0.84
-0.6666666666666667
-0.75
-0.6818181818181819
-0.9
-0.75
-0.8
-0.8571428571428572
-0.7222222222222222
-0.8333333333333334
-0.6666666666666667
-0.6666666666666667
-0.5161290322580645
-0.6818181818181819
-0.7058823529411764
-0.8
-0.8125
-0.8666666666666667
-0.9
-0.7727272727272727
-0.8421052631578947
-0.7391304347826086
-0.6129032258064516
-1.0
-0.736842105263158
-0.8333333333333334
-0.9
-0.8571428571428572
-0.875
-0.6666666666666667
-0.6666666666666667
-0.8333333333333334
-0.8571428571428572
-0.6666666666666667
-0.736842105263158
-0.7619047619047619
-0.8636363636363636
-0.8421052631578947
-0.6875
-0.7222222222222222
-0.8461538461538461
-1.0
-0.7619047619047619
-0.6875
-0.7575757575757576
-0.7058823529411764
-1.0
-0.8571428571428572
-0.5625
-0.6363636363636364
-0.7419354838709677
-0.9166666666666666
-1.0
-0.9090909090909091
-0.8
-0.875
-1.0
-1.0
-0.875
-1.0
-0.72
-0.5609756097560976
-0.8666666666666667
-0.6896551724137931
-0.7647058823529411
-0.6060606060606061
-0.9285714285714286
-0.875
-1.0
-1.0
-0.8
-0.6666666666666667
-0.8095238095238095
-0.9375
-0.7777777777777778
-0.9090909090909091
-0.84
-0.8260869565217391
-0.7419354838709677
-0.85
-0.75
-0.8181818181818181
-1.0
-0.8181818181818181
-1.0
-0.84
-0.6
-0.9
-0.736842105263158
-0.7391304347826086
-0.7272727272727273
-0.8125
-0.7894736842105263
-0.6333333333333333
-0.65625
-0.7692307692307692
-0.8888888888888888
-0.8666666666666667
-0.7727272727272727
-0.7045454545454546
-0.6153846153846154
-0.736842105263158
-0.5652173913043479
-0.8888888888888888
-0.8333333333333334
-0.8
-0.5882352941176471
-0.6785714285714286
-0.8
-0.6666666666666667
-0.9230769230769231
-0.85
-1.0
-0.9285714285714286
-0.7142857142857143
-0.8421052631578947
-0.8181818181818181
-0.625
-0.7647058823529411
-0.5333333333333333
-0.8571428571428572
-0.8181818181818181
-0.8235294117647058
-0.7142857142857143
-0.782608695652174
-0.9090909090909091
-0.5909090909090908
-0.8611111111111112
-0.8
-0.7142857142857143
-0.6829268292682926
-0.7391304347826086
-0.6944444444444444
-0.75
-0.75
-0.5666666666666667
-0.5652173913043479
-0.8181818181818181
-0.8
-1.0
-0.6129032258064516
-0.8571428571428572
-0.9333333333333333
-0.7142857142857143
-1.0
-0.7307692307692308
-0.9285714285714286
-1.0
-1.0
-0.7727272727272727
-0.9166666666666666
-0.6923076923076923
-0.7894736842105263
-1.0
-0.6666666666666667
-0.7692307692307692
-0.7346938775510203
-0.6888888888888889
-0.7083333333333333
-0.75
-0.7333333333333334
-0.9285714285714286
-0.5
-0.6551724137931034
-0.9
-0.9230769230769231
-0.8125
-0.6923076923076923
-0.6470588235294117
-0.8125
-0.7692307692307692
-0.7333333333333334
-0.9333333333333333
-1.0
-0.7
-0.8571428571428572
-0.75
-0.736842105263158
-0.9090909090909091
-0.9333333333333333
-0.8235294117647058
-0.8421052631578947
-1.0
-1.0
-0.8333333333333334
-0.4693877551020408
-0.72
-1.0
-0.625
-0.6956521739130435
-0.55
-0.9230769230769231
-0.9473684210526316
-0.625
-0.8148148148148149
-0.8421052631578947
-0.9230769230769231
-0.65
-1.0
-0.8571428571428572
-1.0
-0.8888888888888888
-1.0
-1.0
-0.75
-0.8125
-0.8125
-0.7333333333333334
-0.7142857142857143
-1.0
-0.8571428571428572
-0.6
-0.5652173913043479
-0.736842105263158
-0.9
-0.7575757575757576
-0.8888888888888888
-0.9090909090909091
-1.0
-0.75
-0.6428571428571428
-0.825
-0.7857142857142857
-0.6666666666666667
-1.0
-0.8235294117647058
-0.75
-1.0
-1.0
-0.7619047619047619
-0.8823529411764706
-0.64
-0.8
-1.0
-1.0
-0.47058823529411764
-0.8571428571428572
-1.0
-0.8095238095238095
-0.6666666666666667
-0.7894736842105263
-0.9259259259259259
-0.8636363636363636
-0.6956521739130435
-0.9230769230769231
-0.8823529411764706
-1.0
-0.9333333333333333
-1.0
-0.8461538461538461
-0.9375
-0.782608695652174
-0.7857142857142857
-0.7142857142857143
-0.7
-1.0
-0.5882352941176471
-0.7727272727272727
-0.631578947368421
-0.625
-0.7083333333333333
-1.0
-0.8125
-0.6923076923076923
-0.926829268292683
-1.0
-0.8333333333333334
-0.8
-0.7222222222222222
-0.8
-0.6666666666666667
-0.8888888888888888
-0.7894736842105263
-0.6428571428571428
-0.6956521739130435
-0.7272727272727273
-0.7142857142857143
-0.7272727272727273
-1.0
-1.0
-0.72
-0.6428571428571428
-0.875
-0.4782608695652174
-0.7333333333333334
-1.0
-0.7333333333333334
-0.8055555555555556
-0.875
-0.9090909090909091
-0.7916666666666666
-0.7777777777777778
-1.0
-0.8636363636363636
-0.7142857142857143
-0.52
-0.9166666666666666
-0.75
-0.8947368421052632
-1.0
-0.95
-0.9821428571428571
-0.7777777777777778
-0.8571428571428572
-0.8571428571428572
-0.5862068965517242
-0.5666666666666667
-0.6666666666666667
-0.6799999999999999
-0.625
-0.9
-0.6666666666666667
-0.625
-0.6896551724137931
-0.8
-0.8333333333333334
-0.625
-0.8
-1.0
-1.0
-0.8235294117647058
-0.8181818181818181
-0.65
-0.6363636363636364
-0.7
-0.7
-0.6956521739130435
-1.0
-1.0
-0.8333333333333334
-0.8125
-0.5789473684210527
-0.8333333333333334
-0.875
-0.625
-0.5789473684210527
-0.64
-0.6666666666666667
-0.6538461538461539
-0.6785714285714286
-0.8636363636363636
-0.5128205128205128
-0.7
-0.7083333333333333
-0.8235294117647058
-0.6666666666666667
-0.6341463414634146
-0.75
-0.55
-0.7142857142857143
-0.6875
-0.8333333333333334
-1.0
-1.0
-0.631578947368421
-0.5833333333333333
-0.8518518518518519
-1.0
-0.7777777777777778
-0.9767441860465116
-0.85
-0.736842105263158
-1.0
-0.8571428571428572
-0.8181818181818181
-0.6470588235294117
-1.0
-0.8181818181818181
-0.7272727272727273
-1.0
-1.0
-0.6842105263157895
-0.6363636363636364
-0.7142857142857143
-0.8666666666666667
-0.9230769230769231
-0.7619047619047619
-0.8571428571428572
-0.9473684210526316
-0.8571428571428572
-0.9047619047619048
-0.75
-1.0
-0.7142857142857143
-0.8571428571428572
-0.7
-1.0
-0.8571428571428572
-0.9130434782608696
-0.8947368421052632
-0.8333333333333334
-0.7142857142857143
-0.8333333333333334
-0.9230769230769231
-0.75
-0.8333333333333334
-1.0
-0.9
-0.7777777777777778
-0.5
-0.6666666666666667
-1.0
-1.0
-1.0
-0.5806451612903225
-0.9130434782608696
-0.9583333333333334
-0.9411764705882353
-0.9393939393939394
-0.9285714285714286
-0.6470588235294117
-0.75
-1.0
-0.5111111111111111
-0.7647058823529411
-0.9230769230769231
-0.5862068965517242
-0.5800000000000001
-1.0
-0.7142857142857143
-0.8181818181818181
-0.7272727272727273
-0.875
-1.0
-0.8275862068965517
-0.8125
-0.5526315789473684
-0.8666666666666667
-1.0
-0.6071428571428572
-0.7333333333333334
-0.6666666666666667
-0.6521739130434783
-0.8461538461538461
-0.6363636363636364
-0.7272727272727273
-0.8125
-0.65
-0.8333333333333334
-0.7647058823529411
-0.9285714285714286
-0.8888888888888888
-0.6666666666666667
-0.8823529411764706
-0.6666666666666667
-0.75
-0.8125
-0.875
-0.8333333333333334
-0.8333333333333334
-0.8333333333333334
-0.6190476190476191
-0.8235294117647058
-0.8695652173913043
-0.5
-1.0
-0.8888888888888888
-0.8
-0.95
-0.8333333333333334
-0.6052631578947368
-0.8333333333333334
-1.0
-0.7647058823529411
-0.75
-0.5094339622641509
-0.5925925925925926
-1.0
-1.0
-0.7777777777777778
-1.0
-1.0
-0.7777777777777778
-0.75
-1.0
-1.0
-0.7777777777777778
-0.9
-0.8571428571428572
-0.65
-0.7142857142857143
-1.0
-0.9230769230769231
-0.7692307692307692
-0.875
-0.75
-0.696969696969697
-0.8181818181818181
-0.7058823529411764
-0.8571428571428572
-0.8333333333333334
-0.6666666666666667
-0.8333333333333334
-0.7222222222222222
-0.9166666666666666
-1.0
-1.0
-1.0
-1.0
-0.9130434782608696
-0.5652173913043479
-0.6176470588235294
-0.6451612903225806
-0.9285714285714286
-0.7222222222222222
-0.7058823529411764
-0.7142857142857143
-0.8333333333333334
-1.0
-0.8125
-0.8461538461538461
-1.0
-1.0
-0.6153846153846154
-0.7894736842105263
-1.0
-1.0
-1.0
-0.9285714285714286
-0.9
-0.9166666666666666
-0.8666666666666667
-0.8333333333333334
-0.6153846153846154
-0.6666666666666667
-0.9090909090909091
-0.5283018867924528
-1.0
-0.6896551724137931
-0.9333333333333333
-1.0
-0.8333333333333334
-0.9
-0.7333333333333334
-0.8235294117647058
-0.5714285714285714
-0.5555555555555556
-0.6071428571428572
-0.8
-0.9230769230769231
-0.9
-0.8421052631578947
-0.9090909090909091
-0.7857142857142857
-0.6304347826086957
-0.8666666666666667
-0.8
-0.6666666666666667
-0.7419354838709677
-0.6666666666666667
-0.6923076923076923
-0.736842105263158
-0.6666666666666667
-0.9285714285714286
-0.5714285714285714
-0.8
-0.8478260869565217
-1.0
-0.8
-0.6923076923076923
-0.9
-0.75
-1.0
-0.8181818181818181
-0.7777777777777778
-0.5882352941176471
-0.8571428571428572
-0.7222222222222222
-0.8
-0.75
-0.7777777777777778
-0.8
-0.7307692307692308
-0.9230769230769231
-0.8333333333333334
-0.7692307692307692
-0.75
-1.0
-0.9285714285714286
-0.9166666666666666
-0.9285714285714286
-0.8666666666666667
-0.9
-1.0
-0.6153846153846154
-0.6857142857142857
-0.6756756756756757
-0.7659574468085106
-0.8518518518518519
-0.5609756097560976
-0.9
-0.9
-0.9333333333333333
-0.8571428571428572
-0.8571428571428572
-0.9166666666666666
-0.8461538461538461
-0.8461538461538461
-0.6470588235294117
-0.4864864864864865
-0.7647058823529411
-0.625
-0.9166666666666666
-0.8181818181818181
-1.0
-0.5833333333333333
-0.7894736842105263
-0.75
-0.6666666666666667
-1.0
-0.7272727272727273
-0.7777777777777778
-0.6
-0.7647058823529411
-0.6666666666666667
-0.7142857142857143
-0.6666666666666667
-1.0
-0.9090909090909091
-0.9230769230769231
-1.0
-1.0
-0.7777777777777778
-0.6666666666666667
-1.0
-0.75
-0.8
-0.8125
-1.0
-0.8
-0.75
-0.5806451612903225
-0.875
-0.9166666666666666
-0.9166666666666666
-0.88
-0.8421052631578947
-0.7857142857142857
-0.72
-0.9090909090909091
-0.9
-0.625
-0.5806451612903225
-0.6666666666666667
-0.9
-0.736842105263158
-0.7857142857142857
-1.0
-0.8571428571428572
-0.9
-0.625
-0.7142857142857143
-1.0
-0.75
-0.7222222222222222
-1.0
-0.6216216216216216
-0.8518518518518519
-0.6666666666666667
-0.75
-0.8214285714285714
-0.8571428571428572
-0.72
-0.641025641025641
-0.7857142857142857
-0.7857142857142857
-1.0
-1.0
-1.0
-0.8181818181818181
-0.736842105263158
-0.7391304347826086
-0.6956521739130435
-0.7307692307692308
-0.7692307692307692
-0.8571428571428572
-1.0
-0.875
-1.0
-0.7272727272727273
-0.6111111111111112
-0.7777777777777778
-0.5714285714285714
-0.9333333333333333
-0.537037037037037
-0.6470588235294117
-0.65
-0.75
-1.0
-1.0
-1.0
-0.7
-0.6521739130434783
-1.0
-0.6
-0.7
-0.8461538461538461
-1.0
-0.7692307692307692
-0.9230769230769231
-0.8235294117647058
-0.8
-1.0
-1.0
-0.7857142857142857
-0.8333333333333334
-1.0
-0.8
-0.625
-0.9
-0.9090909090909091
-0.7272727272727273
-0.8125
-0.7692307692307692
-0.5909090909090908
-0.631578947368421
-0.6538461538461539
-0.6363636363636364
-0.65
-0.7777777777777778
-0.6842105263157895
-0.6666666666666667
-0.7142857142857143
-1.0
-0.8571428571428572
-0.6363636363636364
-0.8333333333333334
-0.8571428571428572
-0.8
-1.0
-1.0
-0.5
-0.8333333333333334
-1.0
-0.8333333333333334
-1.0
-0.6111111111111112
-0.7619047619047619
-0.6086956521739131
-0.8666666666666667
-0.7777777777777778
-0.8666666666666667
-0.7419354838709677
-0.7931034482758621
-0.65
-1.0
-0.5454545454545454
-0.8181818181818181
-0.5833333333333333
-0.5
-0.6666666666666667
-0.40625
-0.8888888888888888
-0.6785714285714286
-0.8333333333333334
-0.7777777777777778
-0.3870967741935484
-0.7058823529411764
-0.41428571428571426
-0.46808510638297873
-0.4473684210526315
-0.8333333333333334
-0.8571428571428572
-1.0
-0.7647058823529411
-0.84375
-0.8333333333333334
-0.65
-0.8
-1.0
-1.0
-0.9166666666666666
-0.8571428571428572
-1.0
-0.6956521739130435
-0.5789473684210527
-0.6
-0.5
-0.7272727272727273
-0.5714285714285714
-0.5769230769230769
-0.5238095238095238
-0.64
-0.9
-0.8333333333333334
-0.9
-0.9166666666666666
-1.0
-0.7894736842105263
-0.875
-0.8064516129032258
-0.9583333333333334
-0.7115384615384616
-0.9545454545454546
-0.7142857142857143
-1.0
-0.6363636363636364
-0.625
-0.5217391304347826
-0.8666666666666667
-0.875
-0.65
-0.75
-0.8571428571428572
-0.9333333333333333
-0.9230769230769231
-0.782608695652174
-0.6666666666666667
-0.75
-0.7857142857142857
-0.8421052631578947
-1.0
-0.8947368421052632
-0.6333333333333333
-0.7096774193548387
-0.4782608695652174
-0.75
-0.8333333333333334
-1.0
-0.9
-0.9230769230769231
-1.0
-0.8421052631578947
-0.9375
-0.7446808510638299
-0.8
-0.6842105263157895
-0.875
-0.75
-0.6666666666666667
-0.9230769230769231
-1.0
-0.9166666666666666
-0.7777777777777778
-0.5428571428571429
-0.8571428571428572
-0.9
-1.0
-1.0
-0.75
-0.5757575757575757
-1.0
-0.7647058823529411
-0.5625
-0.7142857142857143
-0.7619047619047619
-0.5909090909090908
-0.8571428571428572
-0.9090909090909091
-0.85
-0.8333333333333334
-0.6923076923076923
-0.75
-0.8333333333333334
-0.6086956521739131
-1.0
-0.6875
-0.8333333333333334
-0.6363636363636364
-0.3555555555555555
-0.8125
-0.9230769230769231
-0.71875
-0.7272727272727273
-0.8421052631578947
-0.9285714285714286
-0.7142857142857143
-0.7222222222222222
-0.9090909090909091
-0.75
-0.5
-0.9090909090909091
-0.75
-0.7692307692307692
-0.7619047619047619
-0.6206896551724138
-0.9166666666666666
-1.0
-0.6923076923076923
-0.75
-0.8181818181818181
-0.9
-0.8333333333333334
-0.9333333333333333
-0.5185185185185186
-0.7777777777777778
-0.9230769230769231
-0.6071428571428572
-0.8333333333333334
-0.6799999999999999
-0.6363636363636364
-0.5909090909090908
-0.7727272727272727
-0.6956521739130435
-0.8125
-0.8125
-1.0
-0.5625
-0.8125
-0.5925925925925926
-0.75
-0.625
-0.48
-0.5
-0.7272727272727273
-0.5952380952380952
-0.8666666666666667
-0.6666666666666667
-1.0
-1.0
-0.5
-0.8
-0.75
-0.8235294117647058
-0.8214285714285714
-0.7
-0.7857142857142857
-0.5238095238095238
-0.6923076923076923
-0.49056603773584906
-0.75
-0.6363636363636364
-1.0
-1.0
-0.9230769230769231
-0.9166666666666666
-1.0
-0.8461538461538461
-0.72
-0.75
-0.9090909090909091
-0.8
-1.0
-0.7272727272727273
-0.8571428571428572
-0.6086956521739131
-0.8333333333333334
-0.9285714285714286
-1.0
-0.65
-0.6799999999999999
-0.7692307692307692
-0.7777777777777778
-0.6060606060606061
-0.7142857142857143
-0.6875
-0.6923076923076923
-1.0
-1.0
-0.875
-0.7272727272727273
-1.0
-1.0
-0.9230769230769231
-1.0
-0.8333333333333334
-0.4285714285714286
-0.8181818181818181
-0.7
-0.8461538461538461
-0.8
-0.9
-0.7333333333333334
-0.9166666666666666
-1.0
-0.8333333333333334
-0.8888888888888888
-1.0
-0.6216216216216216
-1.0
-0.9230769230769231
-1.0
-0.7
-0.7916666666666666
-0.9
-0.8333333333333334
-0.6296296296296297
-0.8571428571428572
-0.9
-0.9090909090909091
-0.7777777777777778
-0.6666666666666667
-1.0
-0.9
-0.9
-0.8461538461538461
-1.0
-0.7142857142857143
-0.92
-0.9285714285714286
-0.8421052631578947
-0.7272727272727273
-0.8333333333333334
-0.8181818181818181
-0.625
-1.0
-0.75
-1.0
-0.7692307692307692
-0.9473684210526316
-0.8333333333333334
-0.7333333333333334
-0.625
-0.6666666666666667
-0.9
-1.0
-0.8333333333333334
-0.9333333333333333
-1.0
-0.5588235294117647
-1.0
-0.9166666666666666
-0.8421052631578947
-0.9387755102040817
-0.9259259259259259
-1.0
-0.95
-0.9411764705882353
-1.0
-1.0
-0.7142857142857143
-0.5882352941176471
-0.8571428571428572
-0.6956521739130435
-0.75
-0.9230769230769231
-0.8148148148148149
-0.9090909090909091
-0.7037037037037037
-0.7083333333333333
-0.7857142857142857
-1.0
-0.8666666666666667
-1.0
-1.0
-0.7575757575757576
-0.7142857142857143
-1.0
-1.0
-1.0
-0.7931034482758621
-0.85
-0.8947368421052632
-0.8235294117647058
-1.0
-0.6666666666666667
-0.6
-0.625
-0.8571428571428572
-0.875
-0.5882352941176471
-0.7777777777777778
-0.6666666666666667
-0.7777777777777778
-0.6785714285714286
-0.8333333333333334
-0.6666666666666667
-1.0
-0.8125
-0.9
-0.8125
-0.76
-0.8888888888888888
-0.8
-0.9473684210526316
-0.7083333333333333
-0.8125
-0.6666666666666667
-0.967741935483871
-0.9375
-0.7586206896551724
-0.6956521739130435
-0.8421052631578947
-0.6428571428571428
-0.813953488372093
-0.9230769230769231
-0.8571428571428572
-0.6818181818181819
-0.8421052631578947
-0.9230769230769231
-1.0
-0.8125
-1.0
-1.0
-0.8235294117647058
-0.7142857142857143
-1.0
-0.6904761904761905
-0.8571428571428572
-0.8260869565217391
-1.0
-0.7222222222222222
-0.5
-0.6190476190476191
-0.55
-1.0
-0.8571428571428572
-0.8333333333333334
-0.5555555555555556
-0.7391304347826086
-0.5833333333333333
-0.5454545454545454
-0.5348837209302326
-0.8333333333333334
-0.7777777777777778
-0.5
-0.5555555555555556
-0.5416666666666667
-0.6363636363636364
-0.9090909090909091
-1.0
-0.8333333333333334
-1.0
-0.9090909090909091
-1.0
-0.875
-0.7037037037037037
-0.8333333333333334
-0.8571428571428572
-0.8571428571428572
-0.9166666666666666
-0.9285714285714286
-0.6666666666666667
-0.7142857142857143
-1.0
-0.6521739130434783
-0.9090909090909091
-0.8333333333333334
-0.5714285714285714
-0.5789473684210527
-0.9
-1.0
-0.6
-0.8571428571428572
-0.8157894736842105
-0.6896551724137931
-0.88
-0.6129032258064516
-0.9166666666666666
-0.8620689655172413
-0.7575757575757576
-0.8636363636363636
-1.0
-0.9090909090909091
-0.8
-0.7142857142857143
-1.0
-1.0
-0.475
-0.8571428571428572
-0.39655172413793105
-0.7
-0.7272727272727273
-0.6666666666666667
-0.875
-0.7222222222222222
-0.7692307692307692
-0.7647058823529411
-0.736842105263158
-0.8235294117647058
-1.0
-0.8333333333333334
-0.8888888888888888
-0.7142857142857143
-0.7
-0.8333333333333334
-0.8333333333333334
-0.631578947368421
-0.5555555555555556
-0.6176470588235294
-0.6129032258064516
-1.0
-0.6666666666666667
-0.7272727272727273
-0.7272727272727273
-0.6296296296296297
-0.6111111111111112
-0.7
-0.76
-0.7619047619047619
-0.75
-0.8333333333333334
-0.7692307692307692
-0.9166666666666666
-0.9285714285714286
-0.625
-0.76
-1.0
-0.6666666666666667
-0.8
-0.6666666666666667
-0.8181818181818181
-0.6428571428571428
-0.8333333333333334
-0.7857142857142857
-0.9166666666666666
-0.7894736842105263
-0.76
-0.5641025641025641
-0.736842105263158
-0.9285714285714286
-0.8333333333333334
-0.5833333333333333
-0.7
-0.75
-0.6923076923076923
-0.6153846153846154
-0.8333333333333334
-0.6666666666666667
-0.8571428571428572
-0.7142857142857143
-0.7083333333333333
-0.76
-0.8333333333333334
-0.9230769230769231
-0.631578947368421
-0.8333333333333334
-0.6388888888888888
-0.6153846153846154
-0.7142857142857143
-1.0
-0.9
-0.8181818181818181
-0.9285714285714286
-0.8181818181818181
-0.6
-0.5238095238095238
-0.8823529411764706
-0.8125
-0.9285714285714286
-0.7857142857142857
-0.7222222222222222
-0.8888888888888888
-0.7333333333333334
-0.6666666666666667
-0.8333333333333334
-0.9090909090909091
-0.5833333333333333
-0.5526315789473684
-0.8571428571428572
-1.0
-0.7619047619047619
-1.0
-0.9090909090909091
-0.84
-0.6470588235294117
-0.8666666666666667
-1.0
-0.8571428571428572
-1.0
-0.75
-0.9411764705882353
-0.9047619047619048
-0.8571428571428572
-0.75
-0.75
-0.8333333333333334
-0.6666666666666667
-0.7777777777777778
-0.875
-0.875
-0.7692307692307692
-0.6071428571428572
-0.6153846153846154
-0.8333333333333334
-1.0
-1.0
-0.7272727272727273
-1.0
-0.75
-1.0
-0.6842105263157895
-0.6428571428571428
-1.0
-1.0
-0.6086956521739131
-0.7222222222222222
-0.7647058823529411
-0.875
-0.8
-0.7058823529411764
-0.9166666666666666
-0.7777777777777778
-0.7
-0.9230769230769231
-0.875
-0.9
-0.75
-0.75
-0.75
-0.7142857142857143
-0.7083333333333333
-0.7058823529411764
-0.5769230769230769
-0.7333333333333334
-0.7083333333333333
-0.6875
-0.75
-1.0
-0.6551724137931034
-0.8235294117647058
-0.8148148148148149
-0.7027027027027026
-0.8947368421052632
-1.0
-0.6451612903225806
-0.6176470588235294
-0.5757575757575757
-0.7857142857142857
-0.6190476190476191
-0.736842105263158
-0.875
-0.625
-1.0
-1.0
-0.6551724137931034
-0.59375
-0.5142857142857142
-0.9285714285714286
-0.8571428571428572
-0.9285714285714286
-0.7
-1.0
-0.8235294117647058
-0.6
-0.5652173913043479
-1.0
-0.9714285714285714
-0.9803921568627451
-0.7692307692307692
-0.6052631578947368
-0.6216216216216216
-0.7916666666666666
-0.75
-0.76
-0.8333333333333334
-0.9411764705882353
-0.7037037037037037
-0.7058823529411764
-0.6428571428571428
-0.5555555555555556
-0.7272727272727273
-0.8636363636363636
-0.9230769230769231
-0.9285714285714286
-1.0
-0.7857142857142857
-0.9285714285714286
-0.9090909090909091
-0.8333333333333334
-0.6818181818181819
-0.8235294117647058
-0.8333333333333334
-0.9230769230769231
-0.75
-1.0
-0.8666666666666667
-0.7894736842105263
-0.8333333333333334
-1.0
-1.0
-1.0
-0.6842105263157895
-0.6
-0.5652173913043479
-0.7857142857142857
-0.6
-0.9
-0.8333333333333334
-1.0
-0.8333333333333334
-0.6
-0.6842105263157895
-0.7692307692307692
-0.6363636363636364
-0.6666666666666667
-0.8
-0.7647058823529411
-0.5909090909090908
-1.0
-0.8333333333333334
-1.0
-0.7222222222222222
-0.9090909090909091
-0.9166666666666666
-0.6956521739130435
-1.0
-0.7631578947368421
-0.7142857142857143
-0.8823529411764706
-0.7222222222222222
-0.7142857142857143
-0.7272727272727273
-0.8787878787878788
-0.6666666666666667
-1.0
-1.0
-0.5555555555555556
-0.7142857142857143
-0.7619047619047619
-0.8
-0.7142857142857143
-0.8461538461538461
-0.7777777777777778
-0.42105263157894735
-0.7333333333333334
-0.6451612903225806
-0.65625
-0.8333333333333334
-0.9230769230769231
-0.8823529411764706
-0.7333333333333334
-0.9
-0.75
-0.7
-0.9642857142857143
-0.7777777777777778
-0.6216216216216216
-0.7058823529411764
-0.6666666666666667
-0.8275862068965517
-0.92
-0.8571428571428572
-0.8
-0.6428571428571428
-0.72
-0.875
-0.5454545454545454
-0.7
-0.625
-0.875
-0.75
-1.0
-0.7777777777777778
-0.6060606060606061
-0.8
-0.85
-0.9375
-0.7692307692307692
-0.5882352941176471
-1.0
-0.7647058823529411
-0.9230769230769231
-0.8571428571428572
-0.72
-0.9090909090909091
-0.5
-0.8333333333333334
-0.9411764705882353
-1.0
-0.75
-0.75
-0.6923076923076923
-0.9166666666666666
-0.6
-0.8888888888888888
-0.8888888888888888
-0.7857142857142857
-0.8571428571428572
-0.6
-0.8421052631578947
-0.75
-0.75
-0.6666666666666667
-0.7142857142857143
-0.8387096774193549
-0.9375
-0.6
-0.7
-0.75
-0.8571428571428572
-0.7333333333333334
-0.7142857142857143
-0.6470588235294117
-0.8571428571428572
-0.23809523809523814
-0.5454545454545454
-0.7647058823529411
-0.6666666666666667
-0.8846153846153846
-0.9130434782608696
-0.9375
-0.9615384615384616
-0.7384615384615385
-0.9387755102040817
-1.0
-1.0
-0.75
-0.6875
-0.8666666666666667
-0.8
-0.7916666666666666
-0.875
-0.7692307692307692
-1.0
-0.7307692307692308
-0.6571428571428571
-0.7
-0.6666666666666667
-1.0
-0.875
-0.7352941176470589
-0.5454545454545454
-0.9166666666666666
-0.8888888888888888
-0.7407407407407407
-0.7777777777777778
-0.5714285714285714
-0.6666666666666667
-0.625
-0.8
-0.7333333333333334
-0.6470588235294117
-0.6818181818181819
-0.6785714285714286
-0.72
-0.6190476190476191
-0.6190476190476191
-0.875
-0.8421052631578947
-0.8421052631578947
-0.8461538461538461
-0.8333333333333334
-0.7647058823529411
-0.6521739130434783
-0.8
-0.7333333333333334
-0.75
-1.0
-1.0
-0.8461538461538461
-0.8181818181818181
-0.9285714285714286
-0.6
-0.75
-1.0
-0.8181818181818181
-0.65
-0.7837837837837838
-0.8666666666666667
-0.8181818181818181
-0.7857142857142857
-0.6666666666666667
-0.8888888888888888
-0.7
-0.9166666666666666
-0.625
-0.6388888888888888
-1.0
-0.7142857142857143
-0.75
-0.6785714285714286
-0.5294117647058824
-0.5454545454545454
-1.0
-0.7
-0.8333333333333334
-1.0
-0.6521739130434783
-1.0
-0.9230769230769231
-0.7222222222222222
-0.5
-0.7
-1.0
-1.0
-0.7222222222222222
-0.6111111111111112
-0.6363636363636364
-0.5625
-0.5862068965517242
-1.0
-0.8571428571428572
-0.5217391304347826
-0.7727272727272727
-0.6
-0.72
-0.8571428571428572
-0.8
-0.8666666666666667
-0.8666666666666667
-0.8235294117647058
-1.0
-0.8181818181818181
-0.75
-1.0
-0.8888888888888888
-0.8518518518518519
-0.6799999999999999
-0.9230769230769231
-0.6111111111111112
-0.5714285714285714
-0.8571428571428572
-1.0
-1.0
-0.8
-0.6521739130434783
-0.6363636363636364
-0.6799999999999999
-0.6428571428571428
-0.8571428571428572
-1.0
-0.6428571428571428
-0.9230769230769231
-0.5666666666666667
-0.6666666666666667
-0.9
-0.5
-1.0
-0.8571428571428572
-1.0
-0.8333333333333334
-0.75
-1.0
-0.9090909090909091
-0.6875
-0.8823529411764706
-0.6666666666666667
-0.5925925925925926
-1.0
-0.7692307692307692
-0.6428571428571428
-0.5
-0.6666666666666667
-0.7333333333333334
-0.75
-0.7619047619047619
-0.6
-0.9230769230769231
-0.8333333333333334
-0.9090909090909091
-0.6818181818181819
-0.9166666666666666
-1.0
-0.75
-1.0
-0.9166666666666666
-1.0
-0.6190476190476191
-0.6470588235294117
-0.6875
-0.5897435897435898
-0.5675675675675675
-0.7142857142857143
-1.0
-0.9
-0.7272727272727273
-0.85
-0.6122448979591837
-0.8571428571428572
-0.625
-0.7142857142857143
-0.7241379310344828
-0.736842105263158
-0.6551724137931034
-0.5277777777777778
-1.0
-1.0
-1.0
-0.9375
-0.9375
-0.7307692307692308
-0.8461538461538461
-0.8235294117647058
-0.6
-0.696969696969697
-0.5853658536585367
-0.75
-0.8
-0.8181818181818181
-0.6
-0.7777777777777778
-0.7857142857142857
-0.8571428571428572
-0.9090909090909091
-0.8823529411764706
-0.9166666666666666
-0.8
-0.6071428571428572
-0.5833333333333333
-0.8571428571428572
-0.6551724137931034
-0.6875
-0.8260869565217391
-0.7096774193548387
-0.9
-0.7777777777777778
-0.6578947368421053
-0.7391304347826086
-0.7692307692307692
-1.0
-0.6818181818181819
-1.0
-0.7272727272727273
-0.7222222222222222
-0.8181818181818181
-0.9230769230769231
-0.7272727272727273
-0.6296296296296297
-0.9
-0.7058823529411764
-0.8333333333333334
-1.0
-0.7647058823529411
-0.8666666666666667
-0.6538461538461539
-0.8235294117647058
-1.0
-1.0
-0.65
-0.8823529411764706
-0.8571428571428572
-0.8888888888888888
-1.0
-0.631578947368421
-1.0
-0.8666666666666667
-1.0
-1.0
-0.9
-1.0
-0.7142857142857143
-0.8
-0.7058823529411764
-0.75
-0.9285714285714286
-0.6470588235294117
-0.6666666666666667
-0.8444444444444444
-0.8
-0.8333333333333334
-0.8076923076923077
-0.7916666666666666
-0.6818181818181819
-0.736842105263158
-0.75
-0.9
-0.9
-0.8095238095238095
-1.0
-0.7857142857142857
-0.9
-0.9375
-0.8125
-1.0
-0.75
-0.7428571428571429
-0.7777777777777778
-0.8
-1.0
-0.75
-0.72
-0.9090909090909091
-0.9090909090909091
-0.7692307692307692
-0.625
-0.65
-0.6842105263157895
-1.0
-0.9
-0.7619047619047619
-0.6666666666666667
-0.5625
-0.9166666666666666
-0.736842105263158
-0.7142857142857143
-1.0
-0.8181818181818181
-0.7727272727272727
-0.7777777777777778
-0.5454545454545454
-0.625
-0.736842105263158
-0.8461538461538461
-0.8181818181818181
-1.0
-1.0
-0.5882352941176471
-0.7222222222222222
-0.8095238095238095
-0.75
-0.6585365853658536
-0.9375
-0.9047619047619048
-0.6785714285714286
-0.7777777777777778
-0.625
-0.6923076923076923
-0.7727272727272727
-0.875
-0.9285714285714286
-0.7857142857142857
-0.65
-0.8181818181818181
-0.7692307692307692
-1.0
-0.8
-0.75
-0.75
-0.5
-0.8571428571428572
-0.7857142857142857
-0.7142857142857143
-0.5185185185185186
-0.6875
-1.0
-0.6666666666666667
-0.9090909090909091
-0.7272727272727273
-0.6
-1.0
-0.5555555555555556
-0.8181818181818181
-0.6363636363636364
-0.7272727272727273
-0.9285714285714286
-0.7692307692307692
-0.8125
-0.7916666666666666
-0.8
-0.8
-0.7777777777777778
-1.0
-0.6666666666666667
-0.6363636363636364
-0.9090909090909091
-0.5517241379310345
-0.8888888888888888
-0.6470588235294117
-1.0
-1.0
-0.9
-0.9375
-0.5483870967741935
-0.6470588235294117
-0.8
-0.75
-0.4571428571428572
-0.8666666666666667
-0.6666666666666667
-0.6153846153846154
-0.7777777777777778
-0.75
-0.8
-0.7058823529411764
-0.8666666666666667
-0.8571428571428572
-0.8333333333333334
-0.7272727272727273
-1.0
-1.0
-0.5882352941176471
-0.7857142857142857
-1.0
-0.7
-1.0
-0.6
-0.9166666666666666
-0.875
-0.6666666666666667
-0.782608695652174
-0.6666666666666667
-0.7058823529411764
-0.625
-0.6428571428571428
-1.0
-0.5384615384615384
-0.7428571428571429
-0.9090909090909091
-1.0
-0.875
-0.5757575757575757
-0.7619047619047619
-0.7619047619047619
-0.6190476190476191
-0.7272727272727273
-1.0
-0.7142857142857143
-0.8421052631578947
-0.5625
-0.9
-1.0
-1.0
-0.8148148148148149
-0.6
-0.7894736842105263
-0.7407407407407407
-0.8095238095238095
-0.7142857142857143
-0.9411764705882353
-0.8571428571428572
-0.7333333333333334
-0.7272727272727273
-0.625
-0.8
-0.9
-0.736842105263158
-1.0
-0.7692307692307692
-1.0
-1.0
-0.6904761904761905
-0.7222222222222222
-0.875
-0.7142857142857143
-0.8571428571428572
-0.7647058823529411
-1.0
-0.6666666666666667
-0.7142857142857143
-1.0
-0.6428571428571428
-0.7692307692307692
-0.8181818181818181
-1.0
-1.0
-0.5833333333333333
-0.9090909090909091
-0.8333333333333334
-0.6666666666666667
-0.7777777777777778
-0.736842105263158
-1.0
-0.6818181818181819
-0.7142857142857143
-0.5333333333333333
-0.625
-1.0
-1.0
-0.6875
-0.6666666666666667
-0.6190476190476191
-0.8571428571428572
-0.8571428571428572
-1.0
-0.7058823529411764
-0.75
-0.65625
-0.9285714285714286
-0.8571428571428572
-0.7142857142857143
-0.56
-0.6470588235294117
-0.8
-1.0
-0.7727272727272727
-0.8333333333333334
-0.8
-0.6538461538461539
-0.53125
-0.7
-0.7894736842105263
-0.5
-0.4736842105263158
-1.0
-0.8666666666666667
-0.8125
-0.7857142857142857
-0.7083333333333333
-0.8333333333333334
-0.875
-0.6774193548387097
-0.7209302325581395
-0.653061224489796
-1.0
-0.8181818181818181
-0.6363636363636364
-0.8571428571428572
-1.0
-0.6190476190476191
-0.7916666666666666
-0.9230769230769231
-0.7692307692307692
-0.7222222222222222
-0.8333333333333334
-1.0
-0.9166666666666666
-0.7647058823529411
-0.6428571428571428
-1.0
-0.7272727272727273
-1.0
-1.0
-0.9411764705882353
-1.0
-0.75
-0.75
-0.5384615384615384
-0.75
-0.6486486486486487
-0.8235294117647058
-0.7692307692307692
-0.8
-0.7619047619047619
-0.7777777777777778
-0.6521739130434783
-1.0
-0.53125
-0.8
-0.5769230769230769
-1.0
-0.6666666666666667
-0.8181818181818181
-0.8947368421052632
-1.0
-0.7222222222222222
-0.75
-1.0
-0.8571428571428572
-1.0
-0.6071428571428572
-0.782608695652174
-0.7692307692307692
-0.8235294117647058
-0.7647058823529411
-0.8125
-0.8333333333333334
-0.9
-0.8275862068965517
-0.7586206896551724
-0.8
-0.65
-0.8571428571428572
-0.8125
-0.8571428571428572
-0.5294117647058824
-0.5365853658536586
-0.6818181818181819
-0.5172413793103448
-0.8947368421052632
-1.0
-0.7894736842105263
-0.8571428571428572
-0.64
-0.8333333333333334
-0.9166666666666666
-0.7692307692307692
-0.6818181818181819
-0.5
-0.6666666666666667
-0.45238095238095233
-0.9230769230769231
-0.6122448979591837
-0.75
-0.9285714285714286
-0.8125
-0.5882352941176471
-0.8571428571428572
-0.6206896551724138
-0.8
-0.8571428571428572
-0.6206896551724138
-0.6666666666666667
-1.0
-0.9230769230769231
-0.8461538461538461
-0.6923076923076923
-0.7391304347826086
-0.6153846153846154
-0.631578947368421
-0.8571428571428572
-0.8181818181818181
-0.7272727272727273
-0.8095238095238095
-0.92
-0.8275862068965517
-0.6666666666666667
-0.8666666666666667
-0.5405405405405406
-0.9090909090909091
-0.9090909090909091
-0.8333333333333334
-0.5384615384615384
-0.8
-1.0
-0.8181818181818181
-0.8235294117647058
-0.8
-0.4411764705882353
-0.4736842105263158
-0.7727272727272727
-0.8823529411764706
-0.75
-0.5
-0.7777777777777778
-0.8333333333333334
-0.6470588235294117
-1.0
-0.8333333333333334
-0.8181818181818181
-0.9090909090909091
-0.75
-0.75
-0.6842105263157895
-0.7058823529411764
-0.8125
-1.0
-0.7777777777777778
-0.6551724137931034
-0.9411764705882353
-0.9130434782608696
-0.9473684210526316
-0.7391304347826086
-0.9230769230769231
-0.7333333333333334
-0.6956521739130435
-0.7777777777777778
-1.0
-0.8333333333333334
-0.9230769230769231
-0.8571428571428572
-0.6774193548387097
-0.525
-1.0
-0.85
-0.8181818181818181
-0.6666666666666667
-1.0
-0.7142857142857143
-0.75
-0.6875
-0.5555555555555556
-0.8571428571428572
-0.8571428571428572
-1.0
-0.7142857142857143
-0.8148148148148149
-0.8571428571428572
-1.0
-0.5909090909090908
-0.7777777777777778
-0.7647058823529411
-0.6666666666666667
-0.9
-0.9
-1.0
-0.9
-0.7857142857142857
-0.76
-1.0
-0.8
-0.9230769230769231
-1.0
-0.5
-0.9090909090909091
-0.9
-1.0
-0.8
-1.0
-0.72
-0.7894736842105263
-1.0
-0.9166666666666666
-0.8888888888888888
-0.5294117647058824
-0.8
-0.7692307692307692
-0.7894736842105263
-0.6799999999999999
-0.7222222222222222
-0.574468085106383
-0.625
-1.0
-0.875
-0.5652173913043479
-0.8
-0.8421052631578947
-0.9090909090909091
-0.5454545454545454
-0.5
-0.7272727272727273
-1.0
-0.9166666666666666
-0.7096774193548387
-0.75
-0.6666666666666667
-0.6666666666666667
-0.5833333333333333
-0.7894736842105263
-0.875
-0.8421052631578947
-0.75
-0.6341463414634146
-1.0
-0.6842105263157895
-0.6666666666666667
-1.0
-0.625
-0.5882352941176471
-0.9166666666666666
-1.0
-1.0
-0.7142857142857143
-0.6666666666666667
-0.8636363636363636
-1.0
-0.9090909090909091
-0.9285714285714286
-0.6666666666666667
-0.8461538461538461
-0.75
-0.8333333333333334
-0.8333333333333334
-1.0
-0.9166666666666666
-0.8571428571428572
-1.0
-0.8333333333333334
-0.8
-0.7692307692307692
-0.9166666666666666
-0.5263157894736843
-0.8333333333333334
-1.0
-0.9230769230769231
-1.0
-0.8888888888888888
-1.0
-0.7777777777777778
-0.6304347826086957
-0.72
-0.9090909090909091
-0.85
-0.9122807017543859
-0.736842105263158
-1.0
-0.7
-0.7272727272727273
-0.75
-0.7647058823529411
-0.625
-0.7647058823529411
-0.5517241379310345
-0.7777777777777778
-0.8333333333333334
-0.9090909090909091
-0.6875
-0.9
-0.6842105263157895
-0.75
-0.7272727272727273
-0.8
-0.7272727272727273
-0.8333333333333334
-0.7083333333333333
-0.736842105263158
-0.9285714285714286
-0.8787878787878788
-0.9333333333333333
-0.7916666666666666
-0.7931034482758621
-1.0
-0.8666666666666667
-0.9285714285714286
-0.6428571428571428
-0.7857142857142857
-0.625
-1.0
-0.88
-0.8947368421052632
-0.5897435897435898
-0.8181818181818181
-0.9375
-1.0
-0.75
-0.9
-0.8125
-1.0
-0.8333333333333334
-1.0
-1.0
-1.0
-0.7857142857142857
-0.8571428571428572
-0.8333333333333334
-0.7619047619047619
-0.72
-0.6060606060606061
-0.6896551724137931
-0.8636363636363636
-0.9473684210526316
-1.0
-0.7692307692307692
-0.3902439024390244
-0.44999999999999996
-0.5833333333333333
-0.7142857142857143
-0.96
-0.6799999999999999
-0.7142857142857143
-0.5882352941176471
-0.5555555555555556
-0.8235294117647058
-0.7142857142857143
-0.7647058823529411
-0.9166666666666666
-0.75
-0.6666666666666667
-0.5263157894736843
-0.9
-0.9375
-0.75
-0.8333333333333334
-0.48
-0.75
-0.8125
-0.6428571428571428
-0.7647058823529411
-0.9130434782608696
-0.75
-1.0
-0.8461538461538461
-1.0
-0.6875
-1.0
-0.8461538461538461
-0.8333333333333334
-0.8666666666666667
-0.9166666666666666
-0.631578947368421
-0.7777777777777778
-0.7
-0.8333333333333334
-0.8333333333333334
-0.8461538461538461
-0.8571428571428572
-0.6538461538461539
-0.7619047619047619
-0.5128205128205128
-1.0
-0.7142857142857143
-0.5588235294117647
-0.5454545454545454
-0.9333333333333333
-0.9166666666666666
-0.8571428571428572
-1.0
-0.8
-0.6363636363636364
-0.6363636363636364
-0.5789473684210527
-0.6818181818181819
-0.7272727272727273
-0.5789473684210527
-0.625
-0.9
-1.0
-0.8
-0.8666666666666667
-0.75
-0.72
-0.875
-0.6666666666666667
-0.5384615384615384
-0.6296296296296297
-0.6875
-0.49090909090909096
-0.7142857142857143
-0.5135135135135135
-0.9090909090909091
-1.0
-1.0
-0.6666666666666667
-0.8333333333333334
-1.0
-0.5217391304347826
-0.6
-0.8333333333333334
-1.0
-0.9411764705882353
-1.0
-1.0
-0.6666666666666667
-0.7058823529411764
-0.6470588235294117
-0.9166666666666666
-0.9230769230769231
-0.7
-0.6923076923076923
-0.7619047619047619
-1.0
-1.0
-0.9090909090909091
-0.8095238095238095
-1.0
-0.7857142857142857
-0.9090909090909091
-1.0
-0.7777777777777778
-0.5555555555555556
-0.75
-0.7391304347826086
-0.6451612903225806
-0.736842105263158
-0.8181818181818181
-0.8235294117647058
-0.8235294117647058
-0.7083333333333333
-0.6521739130434783
-0.7
-0.5
-0.47058823529411764
-0.8333333333333334
-0.75
-1.0
-0.8235294117647058
-1.0
-0.9285714285714286
-0.7209302325581395
-1.0
-0.6521739130434783
-0.625
-0.8
-0.875
-1.0
-0.85
-0.8333333333333334
-0.5483870967741935
-1.0
-1.0
-0.782608695652174
-0.8181818181818181
-0.8888888888888888
-0.9411764705882353
-0.6551724137931034
-0.8333333333333334
-0.9166666666666666
-0.6666666666666667
-0.3026315789473685
-0.6666666666666667
-0.9285714285714286
-0.7272727272727273
-0.75
-0.8125
-1.0
-0.8571428571428572
-1.0
-1.0
-1.0
-0.6956521739130435
-0.6666666666666667
-0.7407407407407407
-0.7073170731707317
-0.6571428571428571
-0.9090909090909091
-0.8571428571428572
-0.8
-0.8
-0.7058823529411764
-0.8571428571428572
-1.0
-0.47058823529411764
-0.9
-0.7777777777777778
-0.56
-0.75
-1.0
-0.6666666666666667
-0.7
-1.0
-0.59375
-0.8181818181818181
-0.6363636363636364
-0.7692307692307692
-0.6190476190476191
-0.5714285714285714
-0.5217391304347826
-0.7241379310344828
-0.6363636363636364
-0.7692307692307692
-1.0
-0.7777777777777778
-1.0
-0.6785714285714286
-0.6666666666666667
-0.8888888888888888
-0.6451612903225806
-0.9230769230769231
-0.7142857142857143
-0.9230769230769231
-0.8666666666666667
-0.7037037037037037
-0.6875
-1.0
-0.8333333333333334
-0.9285714285714286
-0.9285714285714286
-0.7727272727272727
-0.9166666666666666
-0.6666666666666667
-0.9545454545454546
-0.9130434782608696
-0.7878787878787878
-0.9090909090909091
-0.8181818181818181
-0.7083333333333333
-0.6923076923076923
-0.6875
-0.4444444444444444
-0.6
-0.736842105263158
-0.875
-0.8461538461538461
-1.0
-0.5454545454545454
-0.59375
-0.9333333333333333
-0.6
-1.0
-0.8181818181818181
-0.5757575757575757
-0.8333333333333334
-1.0
-0.5555555555555556
-0.8823529411764706
-0.7272727272727273
-0.736842105263158
-0.7894736842105263
-0.7727272727272727
-0.8571428571428572
-0.875
-0.9
-1.0
-0.9090909090909091
-1.0
-0.5384615384615384
-0.6428571428571428
-0.782608695652174
-0.7857142857142857
-0.8
-1.0
-0.7692307692307692
-0.9210526315789473
-0.8333333333333334
-0.9285714285714286
-0.6666666666666667
-0.8333333333333334
-1.0
-0.6190476190476191
-0.5714285714285714
-1.0
-0.5833333333333333
-1.0
-1.0
-1.0
-0.6363636363636364
-0.5
-0.7391304347826086
-0.5666666666666667
-0.6129032258064516
-0.6153846153846154
-0.7142857142857143
-0.7142857142857143
-0.6176470588235294
-0.75
-0.8571428571428572
-0.8125
-0.9545454545454546
-0.8518518518518519
-0.7173913043478262
-1.0
-1.0
-1.0
-1.0
-0.8
-0.7777777777777778
-0.9090909090909091
-0.75
-1.0
-0.8571428571428572
-0.7222222222222222
-0.6521739130434783
-0.8181818181818181
-1.0
-0.5384615384615384
-0.8620689655172413
-1.0
-0.65
-1.0
-1.0
-0.875
-0.6799999999999999
-0.7083333333333333
-0.7272727272727273
-1.0
-0.6666666666666667
-0.7142857142857143
-0.6666666666666667
-0.7142857142857143
-1.0
-0.6470588235294117
-0.9166666666666666
-0.6428571428571428
-0.6206896551724138
-0.6538461538461539
-0.8571428571428572
-1.0
-0.85
-0.8181818181818181
-0.7037037037037037
-0.8181818181818181
-0.75
-0.7777777777777778
-1.0
-0.5714285714285714
-0.875
-0.7307692307692308
-0.90625
-0.8
-1.0
-0.9090909090909091
-0.9090909090909091
-0.8888888888888888
-1.0
-0.8421052631578947
-0.5833333333333333
-0.46875
-0.3111111111111111
-0.736842105263158
-0.6875
-1.0
-0.631578947368421
-1.0
-1.0
-0.5555555555555556
-0.6086956521739131
-0.6666666666666667
-0.7692307692307692
-0.875
-0.7083333333333333
-0.7142857142857143
-0.9090909090909091
-0.8235294117647058
-0.6363636363636364
-0.7777777777777778
-0.9
-0.6799999999999999
-0.7692307692307692
-0.625
-0.782608695652174
-0.75
-0.75
-0.525
-0.5833333333333333
-0.5833333333333333
-0.8571428571428572
-0.75
-0.625
-0.7241379310344828
-0.75
-0.6521739130434783
-0.8235294117647058
-1.0
-0.5517241379310345
-0.4893617021276596
-0.7777777777777778
-0.5714285714285714
-1.0
-0.5909090909090908
-0.5945945945945945
-1.0
-0.5833333333333333
-1.0
-0.7647058823529411
-1.0
-0.8235294117647058
-0.7333333333333334
-0.7142857142857143
-0.6111111111111112
-0.9230769230769231
-0.7647058823529411
-0.8
-0.7894736842105263
-1.0
-0.5588235294117647
-1.0
-0.6666666666666667
-0.7777777777777778
-1.0
-0.8181818181818181
-0.7142857142857143
-1.0
-1.0
-0.6799999999999999
-0.7333333333333334
-0.5777777777777777
-0.7333333333333334
-0.7222222222222222
-0.6226415094339622
-0.8666666666666667
-0.8333333333333334
-0.6799999999999999
-0.75
-1.0
-0.6
-0.7083333333333333
-0.9166666666666666
-0.6764705882352942
-0.875
-0.8461538461538461
-0.7619047619047619
-0.9166666666666666
-0.9
-0.75
-1.0
-0.8333333333333334
-0.8333333333333334
-0.8333333333333334
-0.8
-0.7241379310344828
-0.625
-0.6551724137931034
-0.6666666666666667
-0.59375
-0.6176470588235294
-0.6956521739130435
-0.7857142857142857
-0.6842105263157895
-0.8181818181818181
-0.9166666666666666
-0.75
-0.641025641025641
-0.8076923076923077
-0.8518518518518519
-0.5757575757575757
-0.5882352941176471
-0.9090909090909091
-0.6060606060606061
-0.84375
-0.6842105263157895
-0.6666666666666667
-0.8333333333333334
-0.7727272727272727
-0.8
-0.625
-1.0
-0.696969696969697
-0.7142857142857143
-0.7021276595744681
-0.5263157894736843
-0.7058823529411764
-0.6153846153846154
-0.7777777777777778
-0.736842105263158
-0.64
-0.8461538461538461
-0.8571428571428572
-1.0
-0.8947368421052632
-0.9
-0.75
-0.8181818181818181
-0.9090909090909091
-0.84
-0.8
-0.6451612903225806
-0.75
-0.6226415094339622
-0.75
-0.8571428571428572
-0.7727272727272727
-0.8947368421052632
-0.8421052631578947
-0.6428571428571428
-0.5652173913043479
-0.5
-0.8421052631578947
-1.0
-0.75
-0.8181818181818181
-0.8235294117647058
-0.75
-0.9230769230769231
-0.5
-0.5428571428571429
-0.4716981132075472
-0.4651162790697675
-0.9166666666666666
-0.6666666666666667
-0.7333333333333334
-0.6666666666666667
-1.0
-1.0
-0.6666666666666667
-0.8571428571428572
-0.7666666666666666
-0.8571428571428572
-0.6666666666666667
-0.64
-0.75
-1.0
-0.4666666666666667
-0.5333333333333333
-0.8888888888888888
-0.9230769230769231
-0.8888888888888888
-0.6428571428571428
-0.5454545454545454
-0.8461538461538461
-1.0
-0.7647058823529411
-1.0
-0.6875
-0.8666666666666667
-0.896551724137931
-0.75
-0.8333333333333334
-0.85
-0.7391304347826086
-0.7692307692307692
-0.75
-0.8260869565217391
-0.6521739130434783
-0.8235294117647058
-0.6470588235294117
-0.9285714285714286
-0.8333333333333334
-1.0
-0.9
-0.9230769230769231
-0.75
-0.8333333333333334
-0.7
-1.0
-0.65
-0.8125
-0.8571428571428572
-0.5833333333333333
-0.8571428571428572
-0.7
-0.5714285714285714
-0.9166666666666666
-1.0
-0.7692307692307692
-0.8888888888888888
-0.8571428571428572
-1.0
-0.875
-0.6875
-0.5625
-1.0
-0.6666666666666667
-1.0
-1.0
-0.7333333333333334
-0.6129032258064516
-0.7916666666666666
-0.59375
-0.6756756756756757
-0.7894736842105263
-0.5116279069767442
-0.6666666666666667
-0.7727272727272727
-0.6923076923076923
-0.7272727272727273
-0.6
-0.7647058823529411
-0.8823529411764706
-0.7619047619047619
-0.8888888888888888
-0.875
-0.8333333333333334
-1.0
-0.8571428571428572
-0.75
-0.6666666666666667
-0.625
-0.9285714285714286
-0.6470588235294117
-0.85
-0.84
-0.875
-0.5882352941176471
-0.75
-0.8
-0.9
-1.0
-0.8333333333333334
-0.8
-0.7777777777777778
-0.8
-0.7586206896551724
-0.8461538461538461
-0.5777777777777777
-0.8
-1.0
-0.9090909090909091
-0.8333333333333334
-0.8461538461538461
-0.6
-0.76
-0.6666666666666667
-0.5675675675675675
-0.8888888888888888
-0.875
-0.875
-0.8823529411764706
-0.8571428571428572
-0.6666666666666667
-0.5714285714285714
-0.7142857142857143
-0.7222222222222222
-0.8695652173913043
-0.8181818181818181
-0.7647058823529411
-0.7727272727272727
-0.8888888888888888
-0.8235294117647058
-0.6296296296296297
-0.8235294117647058
-0.7727272727272727
-0.8181818181818181
-1.0
-0.8888888888888888
-0.9090909090909091
-0.9230769230769231
-0.7692307692307692
-0.5357142857142857
-0.5945945945945945
-1.0
-0.5
-0.7647058823529411
-1.0
-0.5833333333333333
-0.875
-0.5476190476190477
-0.8888888888888888
-0.7142857142857143
-1.0
-0.8888888888888888
-0.6538461538461539
-0.6363636363636364
-1.0
-0.7727272727272727
-0.9
-1.0
-1.0
-0.7916666666666666
-0.6666666666666667
-0.8461538461538461
-1.0
-0.8888888888888888
-1.0
-1.0
-0.6296296296296297
-0.7272727272727273
-1.0
-0.8
-1.0
-1.0
-0.6
-1.0
-0.8235294117647058
-0.7272727272727273
-0.6206896551724138
-0.7
-0.6666666666666667
-0.8333333333333334
-1.0
-0.8461538461538461
-1.0
-0.9166666666666666
-0.5
-0.875
-0.64
-0.8461538461538461
-0.75
-0.5806451612903225
-0.5652173913043479
-0.8333333333333334
-0.7
-0.75
-0.625
-1.0
-0.5897435897435898
-0.6666666666666667
-0.8
-0.8235294117647058
-0.6666666666666667
-0.7692307692307692
-0.6818181818181819
-0.7333333333333334
-0.9285714285714286
-0.6363636363636364
-0.9523809523809523
-0.8
-1.0
-0.8
-0.9375
-0.8
-0.6785714285714286
-0.6875
-0.6296296296296297
-0.4642857142857143
-0.5652173913043479
-0.7894736842105263
-1.0
-0.8181818181818181
-0.6551724137931034
-0.6666666666666667
-0.6896551724137931
-0.8571428571428572
-0.7142857142857143
-0.7222222222222222
-0.5517241379310345
-0.6097560975609756
-0.7647058823529411
-0.9090909090909091
-1.0
-0.7272727272727273
-0.6842105263157895
-0.5
-0.75
-0.75
-1.0
-0.7727272727272727
-0.736842105263158
-0.8571428571428572
-0.9166666666666666
-0.7777777777777778
-0.9166666666666666
-0.8571428571428572
-0.6296296296296297
-0.5833333333333333
-0.7857142857142857
-0.8636363636363636
-0.7894736842105263
-0.7619047619047619
-0.6818181818181819
-0.6666666666666667
-0.8461538461538461
-1.0
-0.9285714285714286
-0.8571428571428572
-0.7647058823529411
-0.7142857142857143
-0.5333333333333333
-0.7647058823529411
-0.8823529411764706
-0.8888888888888888
-0.75
-0.7619047619047619
-0.9772727272727273
-0.7073170731707317
-0.9230769230769231
-0.7272727272727273
-1.0
-1.0
-1.0
-1.0
-0.8888888888888888
-1.0
-0.8333333333333334
-0.8461538461538461
-0.6666666666666667
-0.7142857142857143
-0.8636363636363636
-0.8333333333333334
-0.8
-1.0
-0.5833333333333333
-0.8571428571428572
-0.6428571428571428
-0.9090909090909091
-0.9090909090909091
-0.64
-0.6896551724137931
-0.7619047619047619
-0.7142857142857143
-0.5
-0.8333333333333334
-0.7222222222222222
-1.0
-1.0
-0.8181818181818181
-0.7142857142857143
-0.7777777777777778
-1.0
-0.8333333333333334
-0.6818181818181819
-0.6382978723404256
-0.5555555555555556
-0.6111111111111112
-0.8666666666666667
-0.6
-0.7073170731707317
-0.7894736842105263
-0.85
-0.6666666666666667
-0.8571428571428572
-0.9
-0.6153846153846154
-1.0
-0.7391304347826086
-0.7241379310344828
-0.7142857142857143
-0.75
-0.8125
-0.6111111111111112
-1.0
-0.6428571428571428
-0.6428571428571428
-0.7272727272727273
-0.625
-0.7575757575757576
-0.8333333333333334
-1.0
-0.6363636363636364
-0.71875
-0.8095238095238095
-0.7692307692307692
-0.6666666666666667
-1.0
-0.6875
-0.8235294117647058
-0.9090909090909091
-1.0
-0.8181818181818181
-1.0
-1.0
-0.9285714285714286
-0.631578947368421
-0.6956521739130435
-0.9230769230769231
-0.8
-0.7619047619047619
-0.6363636363636364
-0.85
-0.8125
-0.7058823529411764
-0.6811594202898551
-0.9230769230769231
-0.7
-0.7142857142857143
-0.6666666666666667
-0.8235294117647058
-1.0
-0.75
-0.9230769230769231
-0.9230769230769231
-0.6944444444444444
-0.75
-0.8
-1.0
-0.6666666666666667
-0.75
-0.8076923076923077
-0.9444444444444444
-0.7272727272727273
-0.8461538461538461
-1.0
-0.7857142857142857
-1.0
-0.9090909090909091
-0.6944444444444444
-0.5555555555555556
-0.7272727272727273
-0.6
-0.8461538461538461
-0.8571428571428572
-1.0
-0.7142857142857143
-0.9069767441860466
-0.5294117647058824
-0.9230769230769231
-0.6818181818181819
-0.9090909090909091
-0.7222222222222222
-0.65
-0.625
-0.875
-0.72
-0.6666666666666667
-0.5625
-0.8181818181818181
-1.0
-0.7142857142857143
-1.0
-1.0
-0.9565217391304348
-0.65625
-0.6538461538461539
-1.0
-1.0
-1.0
-0.76
-0.8
-1.0
-1.0
-0.75
-0.8333333333333334
-0.5833333333333333
-0.6923076923076923
-0.7
-0.9090909090909091
-0.625
-0.7777777777777778
-0.875
-1.0
-0.7619047619047619
-0.8947368421052632
-0.64
-0.7037037037037037
-1.0
-0.6190476190476191
-0.5714285714285714
-1.0
-0.7222222222222222
-0.9166666666666666
-0.6
-0.6060606060606061
-0.7391304347826086
-0.6818181818181819
-0.8333333333333334
-0.9285714285714286
-0.8888888888888888
-0.75
-0.9230769230769231
-0.5
-0.696969696969697
-0.7894736842105263
-0.9090909090909091
-0.7692307692307692
-0.7333333333333334
-0.75
-0.6666666666666667
-1.0
-0.9047619047619048
-0.7647058823529411
-0.7647058823529411
-0.7317073170731707
-1.0
-0.5806451612903225
-0.8461538461538461
-0.7619047619047619
-1.0
-0.7083333333333333
-0.7391304347826086
-0.7142857142857143
-0.75
-0.8333333333333334
-0.8823529411764706
-0.9696969696969697
-0.6521739130434783
-0.875
-0.8666666666666667
-1.0
-0.5454545454545454
-0.6086956521739131
-0.7142857142857143
-0.8888888888888888
-0.7619047619047619
-1.0
-1.0
-0.8181818181818181
-0.6666666666666667
-0.7272727272727273
-0.6428571428571428
-0.7
-0.48
-0.6363636363636364
-0.8181818181818181
-0.7142857142857143
-0.6
-0.6875
-1.0
-0.8333333333333334
-0.5476190476190477
-0.6666666666666667
-0.7619047619047619
-0.75
-0.5714285714285714
-0.71875
-0.9230769230769231
-0.7692307692307692
-0.8571428571428572
-1.0
-1.0
-0.7857142857142857
-0.7857142857142857
-0.5833333333333333
-0.9444444444444444
-0.9333333333333333
-0.5882352941176471
-0.825
-0.8181818181818181
-0.6538461538461539
-0.6
-0.8461538461538461
-1.0
-0.8888888888888888
-0.7727272727272727
-0.6486486486486487
-0.6428571428571428
-0.7272727272727273
-0.75
-0.6818181818181819
-1.0
-0.8333333333333334
-0.75
-0.7894736842105263
-0.8461538461538461
-0.9230769230769231
-0.8888888888888888
-1.0
-0.7647058823529411
-0.7857142857142857
-0.6818181818181819
-0.8181818181818181
-0.75
-0.5882352941176471
-0.75
-0.8666666666666667
-0.7142857142857143
-0.7741935483870968
-1.0
-0.8823529411764706
-0.875
-0.7142857142857143
-0.5625
-0.75
-0.7894736842105263
-0.8333333333333334
-0.7142857142857143
-0.8421052631578947
-0.85
-0.75
-0.6470588235294117
-0.7222222222222222
-0.9230769230769231
-0.7727272727272727
-1.0
-0.9333333333333333
-0.7
-0.7222222222222222
-0.5161290322580645
-0.8571428571428572
-0.9333333333333333
-0.9166666666666666
-1.0
-0.75
-1.0
-0.8333333333333334
-1.0
-0.6923076923076923
-0.5909090909090908
-0.75
-0.8333333333333334
-0.7
-0.6666666666666667
-0.7777777777777778
-0.9285714285714286
-0.65625
-0.9375
-0.5555555555555556
-0.6666666666666667
-1.0
-1.0
-0.9090909090909091
-0.7142857142857143
-0.7222222222222222
-0.6451612903225806
-0.6896551724137931
-0.5384615384615384
-0.782608695652174
-0.8
-0.5625
-0.625
-0.64
-0.8421052631578947
-1.0
-0.6
-0.7142857142857143
-0.8181818181818181
-0.625
-0.6486486486486487
-0.52
-0.32692307692307687
-0.8181818181818181
-0.8125
-0.6388888888888888
-0.9
-0.6428571428571428
-1.0
-0.9166666666666666
-1.0
-0.9090909090909091
-0.9166666666666666
-1.0
-1.0
-0.6190476190476191
-0.6956521739130435
-0.8
-0.7142857142857143
-0.7222222222222222
-0.625
-1.0
-0.85
-0.7391304347826086
-0.9444444444444444
-0.6153846153846154
-1.0
-0.9166666666666666
-0.7272727272727273
-0.875
-0.8571428571428572
-0.7575757575757576
-0.75
-0.6923076923076923
-0.7619047619047619
-0.6296296296296297
-0.8125
-0.9285714285714286
-0.8333333333333334
-0.7777777777777778
-0.9166666666666666
-1.0
-0.7142857142857143
-0.8181818181818181
-0.9444444444444444
-0.5882352941176471
-0.8461538461538461
-0.9090909090909091
-0.75
-0.75
-0.7241379310344828
-0.7857142857142857
-0.8333333333333334
-0.5882352941176471
-0.4722222222222222
-0.5789473684210527
-0.7857142857142857
-0.6153846153846154
-0.7142857142857143
-0.8333333333333334
-0.4666666666666667
-0.6818181818181819
-0.6785714285714286
-0.6296296296296297
-0.6896551724137931
-0.8181818181818181
-0.7777777777777778
-0.6923076923076923
-0.8181818181818181
-0.7777777777777778
-0.7142857142857143
-0.5833333333333333
-0.7692307692307692
-0.9166666666666666
-0.75
-0.8
-0.8421052631578947
-1.0
-0.7692307692307692
-0.7619047619047619
-0.75
-0.6296296296296297
-1.0
-1.0
-0.7142857142857143
-0.9333333333333333
-0.7647058823529411
-1.0
-0.65
-0.736842105263158
-1.0
-0.7142857142857143
-0.9090909090909091
-0.782608695652174
-1.0
-0.6470588235294117
-0.8095238095238095
-0.7391304347826086
-1.0
-0.4130434782608695
-0.8333333333333334
-1.0
-0.6666666666666667
-0.8
-0.7222222222222222
-0.875
-0.9166666666666666
-0.6111111111111112
-0.8333333333333334
-0.8571428571428572
-0.7142857142857143
-0.9090909090909091
-0.8571428571428572
-0.7142857142857143
-0.75
-0.7222222222222222
-0.6071428571428572
-0.6666666666666667
-0.9411764705882353
-1.0
-0.7647058823529411
-0.8421052631578947
-0.9230769230769231
-1.0
-0.8125
-0.8235294117647058
-1.0
-0.7142857142857143
-0.75
-0.8333333333333334
-0.9
-0.8333333333333334
-0.8333333333333334
-0.8235294117647058
-1.0
-0.5961538461538461
-1.0
-0.7058823529411764
-0.8666666666666667
-0.7777777777777778
-0.6799999999999999
-0.8
-0.9230769230769231
-0.8666666666666667
-0.7692307692307692
-1.0
-0.75
-0.9090909090909091
-0.8571428571428572
-1.0
-0.7692307692307692
-1.0
-0.9333333333333333
-1.0
-0.6666666666666667
-0.7647058823529411
-1.0
-0.8333333333333334
-0.64
-0.8095238095238095
-0.8181818181818181
-0.7391304347826086
-0.8125
-1.0
-0.9166666666666666
-0.65
-0.7692307692307692
-0.6666666666666667
-0.7391304347826086
-1.0
-1.0
-0.6428571428571428
-0.9333333333333333
-0.8666666666666667
-0.8666666666666667
-0.6875
-0.8666666666666667
-1.0
-0.9285714285714286
-0.6470588235294117
-0.7333333333333334
-1.0
-0.7619047619047619
-0.9090909090909091
-0.7647058823529411
-1.0
-0.6129032258064516
-0.6842105263157895
-0.6
-0.9411764705882353
-0.9090909090909091
-1.0
-0.5333333333333333
-0.7
-0.736842105263158
-0.47619047619047616
-0.8181818181818181
-0.6
-0.6551724137931034
-0.875
-0.6666666666666667
-0.9285714285714286
-0.75
-0.7619047619047619
-0.8666666666666667
-0.5897435897435898
-0.65
-0.7692307692307692
-0.65
-1.0
-0.8333333333333334
-0.8
-0.6296296296296297
-0.6470588235294117
-0.6956521739130435
-0.8235294117647058
-1.0
-0.75
-0.76
-0.8571428571428572
-0.75
-0.9090909090909091
-0.6875
-0.7272727272727273
-0.8571428571428572
-0.7741935483870968
-0.8888888888888888
-0.75
-1.0
-0.5116279069767442
-0.6
-0.72
-0.6842105263157895
-0.9090909090909091
-0.6333333333333333
-0.7058823529411764
-1.0
-0.8333333333333334
-1.0
-0.8095238095238095
-0.8181818181818181
-0.9
-0.9166666666666666
-0.9166666666666666
-0.9
-1.0
-0.9166666666666666
-1.0
-0.8260869565217391
-1.0
-0.6666666666666667
-0.9473684210526316
-0.75
-0.9090909090909091
-0.9
-0.6875
-0.9090909090909091
-0.9
-0.75
-1.0
-0.8823529411764706
-0.8666666666666667
-0.7692307692307692
-1.0
-0.875
-0.6923076923076923
-1.0
-0.6842105263157895
-0.8181818181818181
-0.6363636363636364
-0.9090909090909091
-0.9090909090909091
-1.0
-0.6923076923076923
-0.9333333333333333
-0.7
-0.6428571428571428
-0.8333333333333334
-0.5555555555555556
-1.0
-1.0
-0.5882352941176471
-0.9375
-0.7142857142857143
-0.8125
-0.7647058823529411

ratio_proportion_change3/logs/masked/log_train_10per_finetuned.txt

@@ -1,765 +0,0 @@
-{'epoch': 0, 'iter': 0, 'avg_loss': 0.7244630289995776, 'avg_acc': 9.375, 'loss': 0.7244630289995776}
-{'epoch': 0, 'iter': 10, 'avg_loss': 0.5577157312590635, 'avg_acc': 20.170454545454543, 'loss': 0.4250336222550166}
-{'epoch': 0, 'iter': 20, 'avg_loss': 0.4749828141168703, 'avg_acc': 27.083333333333332, 'loss': 0.38305497455127935}
-{'epoch': 0, 'iter': 30, 'avg_loss': 0.44286246366864196, 'avg_acc': 30.64516129032258, 'loss': 0.3778457558530915}
-{'epoch': 0, 'iter': 40, 'avg_loss': 0.4226513901657823, 'avg_acc': 33.30792682926829, 'loss': 0.3484865462440731}
-{'epoch': 0, 'iter': 50, 'avg_loss': 0.4076823194660054, 'avg_acc': 34.80392156862745, 'loss': 0.35655463428702205}
-{'epoch': 0, 'iter': 60, 'avg_loss': 0.3963654985400992, 'avg_acc': 36.98770491803279, 'loss': 0.3198542092161785}
-{'epoch': 0, 'iter': 70, 'avg_loss': 0.3861603778309847, 'avg_acc': 39.436619718309856, 'loss': 0.33644667094215813}
-{'epoch': 0, 'iter': 80, 'avg_loss': 0.3766176804598069, 'avg_acc': 40.77932098765432, 'loss': 0.33489219928742386}
-{'epoch': 0, 'iter': 90, 'avg_loss': 0.3686437605974389, 'avg_acc': 41.92994505494506, 'loss': 0.2864543490203297}
-{'epoch': 0, 'iter': 100, 'avg_loss': 0.3615144876222685, 'avg_acc': 43.193069306930695, 'loss': 0.27939502283594003}
-{'epoch': 0, 'iter': 110, 'avg_loss': 0.3562193264873085, 'avg_acc': 44.08783783783784, 'loss': 0.3143955066500764}
-{'epoch': 0, 'iter': 120, 'avg_loss': 0.3512865916408072, 'avg_acc': 44.989669421487605, 'loss': 0.3064003059179023}
-{'epoch': 0, 'iter': 130, 'avg_loss': 0.3461430763266615, 'avg_acc': 46.23091603053435, 'loss': 0.27905649735268007}
-{'epoch': 'EP0_train', 'avg_loss': 0.34183079196774435, 'total_acc': 47.245857590685176, 'f1_scores': 0.5235764543164245}
-{'epoch': 1, 'iter': 0, 'avg_loss': 0.25760477931492326, 'avg_acc': 62.5, 'loss': 0.25760477931492326}
-{'epoch': 1, 'iter': 10, 'avg_loss': 0.28132774793715276, 'avg_acc': 57.38636363636363, 'loss': 0.2780029037624315}
-{'epoch': 1, 'iter': 20, 'avg_loss': 0.27789627221000357, 'avg_acc': 57.886904761904766, 'loss': 0.29054063469344066}
-{'epoch': 1, 'iter': 30, 'avg_loss': 0.2778610179413783, 'avg_acc': 57.76209677419355, 'loss': 0.30439250341545887}
-{'epoch': 1, 'iter': 40, 'avg_loss': 0.2782276253502595, 'avg_acc': 57.92682926829268, 'loss': 0.2642064707272636}
-{'epoch': 1, 'iter': 50, 'avg_loss': 0.27415479385911845, 'avg_acc': 59.252450980392155, 'loss': 0.2757393776576334}
-{'epoch': 1, 'iter': 60, 'avg_loss': 0.27365096375381526, 'avg_acc': 59.47745901639344, 'loss': 0.2643900353027025}
-{'epoch': 1, 'iter': 70, 'avg_loss': 0.2732626969628221, 'avg_acc': 60.03521126760564, 'loss': 0.2578596960691876}
-{'epoch': 1, 'iter': 80, 'avg_loss': 0.27218919405323966, 'avg_acc': 59.83796296296296, 'loss': 0.2714763457614546}
-{'epoch': 1, 'iter': 90, 'avg_loss': 0.2716163573836789, 'avg_acc': 59.684065934065934, 'loss': 0.26960917078603025}
-{'epoch': 1, 'iter': 100, 'avg_loss': 0.2706871694969573, 'avg_acc': 60.27227722772277, 'loss': 0.255999554556703}
-{'epoch': 1, 'iter': 110, 'avg_loss': 0.2713249660314274, 'avg_acc': 59.82545045045045, 'loss': 0.28953314139783154}
-{'epoch': 1, 'iter': 120, 'avg_loss': 0.2708891636265378, 'avg_acc': 60.02066115702479, 'loss': 0.28230710347530213}
-{'epoch': 1, 'iter': 130, 'avg_loss': 0.26991430009634204, 'avg_acc': 60.40076335877863, 'loss': 0.2479162997003316}
-{'epoch': 'EP1_train', 'avg_loss': 0.26942713887264863, 'total_acc': 60.56874160322436, 'f1_scores': 0.6565409912625876}
-{'epoch': 2, 'iter': 0, 'avg_loss': 0.2766914328189419, 'avg_acc': 59.375, 'loss': 0.2766914328189419}
-{'epoch': 2, 'iter': 10, 'avg_loss': 0.2655411055810365, 'avg_acc': 60.79545454545454, 'loss': 0.28285201519507347}
-{'epoch': 2, 'iter': 20, 'avg_loss': 0.2576715198022853, 'avg_acc': 63.83928571428571, 'loss': 0.26774754900595454}
-{'epoch': 2, 'iter': 30, 'avg_loss': 0.2598953023943558, 'avg_acc': 62.701612903225815, 'loss': 0.2716523167760637}
-{'epoch': 2, 'iter': 40, 'avg_loss': 0.26181417270208684, 'avg_acc': 61.890243902439025, 'loss': 0.25917631960250476}
-{'epoch': 2, 'iter': 50, 'avg_loss': 0.2592674294879385, 'avg_acc': 62.68382352941176, 'loss': 0.28620872796286023}
-{'epoch': 2, 'iter': 60, 'avg_loss': 0.25865858542450487, 'avg_acc': 62.60245901639344, 'loss': 0.23513020203816787}
-{'epoch': 2, 'iter': 70, 'avg_loss': 0.25762258994613807, 'avg_acc': 62.89612676056338, 'loss': 0.25524469756809204}
-{'epoch': 2, 'iter': 80, 'avg_loss': 0.2588888059347256, 'avg_acc': 62.34567901234568, 'loss': 0.28333006908048575}
-{'epoch': 2, 'iter': 90, 'avg_loss': 0.258329282397239, 'avg_acc': 62.60302197802198, 'loss': 0.24230932111251083}
-{'epoch': 2, 'iter': 100, 'avg_loss': 0.25756194562252455, 'avg_acc': 62.995049504950494, 'loss': 0.23288870768296224}
-{'epoch': 2, 'iter': 110, 'avg_loss': 0.25805799306096744, 'avg_acc': 62.75337837837838, 'loss': 0.26739955227042495}
-{'epoch': 2, 'iter': 120, 'avg_loss': 0.2584564083960364, 'avg_acc': 62.55165289256198, 'loss': 0.28895662257231636}
-{'epoch': 2, 'iter': 130, 'avg_loss': 0.2580146649885967, 'avg_acc': 62.47614503816794, 'loss': 0.2522547779642212}
-{'epoch': 'EP2_train', 'avg_loss': 0.25801418089361255, 'total_acc': 62.539184952978054, 'f1_scores': 0.6781555569118796}
-{'epoch': 3, 'iter': 0, 'avg_loss': 0.25057979023326227, 'avg_acc': 68.75, 'loss': 0.25057979023326227}
-{'epoch': 3, 'iter': 10, 'avg_loss': 0.2657193259690568, 'avg_acc': 57.38636363636363, 'loss': 0.2714233556946835}
-{'epoch': 3, 'iter': 20, 'avg_loss': 0.2574889863077526, 'avg_acc': 62.797619047619044, 'loss': 0.2687333325118613}
-{'epoch': 3, 'iter': 30, 'avg_loss': 0.256436271909703, 'avg_acc': 62.80241935483871, 'loss': 0.2737215068165304}
-{'epoch': 3, 'iter': 40, 'avg_loss': 0.2582029750499933, 'avg_acc': 62.57621951219512, 'loss': 0.26652888267614927}
-{'epoch': 3, 'iter': 50, 'avg_loss': 0.2565572411870547, 'avg_acc': 62.806372549019606, 'loss': 0.2730226519093516}
-{'epoch': 3, 'iter': 60, 'avg_loss': 0.25630759457055263, 'avg_acc': 63.06352459016394, 'loss': 0.24882978880071147}
-{'epoch': 3, 'iter': 70, 'avg_loss': 0.2565542710409314, 'avg_acc': 63.116197183098585, 'loss': 0.2569808818209692}
-{'epoch': 3, 'iter': 80, 'avg_loss': 0.2566933664434418, 'avg_acc': 63.348765432098766, 'loss': 0.28197607059207386}
-{'epoch': 3, 'iter': 90, 'avg_loss': 0.2565117783886763, 'avg_acc': 63.530219780219774, 'loss': 0.24743884735861293}
-{'epoch': 3, 'iter': 100, 'avg_loss': 0.2552365720309342, 'avg_acc': 63.98514851485149, 'loss': 0.24999791676990363}
-{'epoch': 3, 'iter': 110, 'avg_loss': 0.2561903050998613, 'avg_acc': 63.626126126126124, 'loss': 0.29663398463656315}
-{'epoch': 3, 'iter': 120, 'avg_loss': 0.25676262621322293, 'avg_acc': 63.27479338842975, 'loss': 0.2757111170950728}
-{'epoch': 3, 'iter': 130, 'avg_loss': 0.25636598316581244, 'avg_acc': 63.26335877862596, 'loss': 0.2543998018210394}
-{'epoch': 'EP3_train', 'avg_loss': 0.2560145437580278, 'total_acc': 63.45723242274966, 'f1_scores': 0.688215551455001}
-{'epoch': 4, 'iter': 0, 'avg_loss': 0.24730510010704165, 'avg_acc': 62.5, 'loss': 0.24730510010704165}
-{'epoch': 4, 'iter': 10, 'avg_loss': 0.2597590869816828, 'avg_acc': 59.375, 'loss': 0.27326294546323227}
-{'epoch': 4, 'iter': 20, 'avg_loss': 0.253738111973816, 'avg_acc': 64.43452380952381, 'loss': 0.261261258849897}
-{'epoch': 4, 'iter': 30, 'avg_loss': 0.2550390155050224, 'avg_acc': 64.71774193548387, 'loss': 0.26408045802366226}
-{'epoch': 4, 'iter': 40, 'avg_loss': 0.2555656904120353, 'avg_acc': 63.643292682926834, 'loss': 0.24024308878844228}
-{'epoch': 4, 'iter': 50, 'avg_loss': 0.2530946715334074, 'avg_acc': 64.70588235294117, 'loss': 0.26985086112966067}
-{'epoch': 4, 'iter': 60, 'avg_loss': 0.25293524865705674, 'avg_acc': 64.54918032786885, 'loss': 0.23259699230402475}
-{'epoch': 4, 'iter': 70, 'avg_loss': 0.2535218544408658, 'avg_acc': 64.61267605633803, 'loss': 0.24517667849405758}
-{'epoch': 4, 'iter': 80, 'avg_loss': 0.2532068944306433, 'avg_acc': 64.39043209876543, 'loss': 0.263363670765362}
-{'epoch': 4, 'iter': 90, 'avg_loss': 0.2535748599151356, 'avg_acc': 64.14835164835165, 'loss': 0.2478161376729986}
-{'epoch': 4, 'iter': 100, 'avg_loss': 0.25319173333089884, 'avg_acc': 64.17079207920791, 'loss': 0.2534132739093755}
-{'epoch': 4, 'iter': 110, 'avg_loss': 0.25401976476997834, 'avg_acc': 63.65427927927928, 'loss': 0.2728289412641191}
-{'epoch': 4, 'iter': 120, 'avg_loss': 0.25384098193468846, 'avg_acc': 63.71384297520662, 'loss': 0.2643269933502909}
-{'epoch': 4, 'iter': 130, 'avg_loss': 0.253257006447879, 'avg_acc': 63.93129770992366, 'loss': 0.2538808407241829}
-{'epoch': 'EP4_train', 'avg_loss': 0.2535061081083233, 'total_acc': 63.860277653381104, 'f1_scores': 0.6959254990568867}
-{'epoch': 5, 'iter': 0, 'avg_loss': 0.2624760147544813, 'avg_acc': 56.25, 'loss': 0.2624760147544813}
-{'epoch': 5, 'iter': 10, 'avg_loss': 0.262498702057059, 'avg_acc': 61.36363636363637, 'loss': 0.2643128323327671}
-{'epoch': 5, 'iter': 20, 'avg_loss': 0.2524929700784181, 'avg_acc': 64.73214285714286, 'loss': 0.2638297775004373}
-{'epoch': 5, 'iter': 30, 'avg_loss': 0.2517336088122157, 'avg_acc': 64.91935483870968, 'loss': 0.2692584566808104}
-{'epoch': 5, 'iter': 40, 'avg_loss': 0.25330857965394965, 'avg_acc': 63.71951219512195, 'loss': 0.23631756394440473}
-{'epoch': 5, 'iter': 50, 'avg_loss': 0.2503745168477474, 'avg_acc': 64.88970588235294, 'loss': 0.25970505807734817}
-{'epoch': 5, 'iter': 60, 'avg_loss': 0.2509564226544933, 'avg_acc': 65.11270491803278, 'loss': 0.23695970325050958}
-{'epoch': 5, 'iter': 70, 'avg_loss': 0.25066528660407017, 'avg_acc': 65.53697183098592, 'loss': 0.2436066453054601}
-{'epoch': 5, 'iter': 80, 'avg_loss': 0.25140320778646075, 'avg_acc': 64.6604938271605, 'loss': 0.27284306885563375}
-{'epoch': 5, 'iter': 90, 'avg_loss': 0.25139578691211967, 'avg_acc': 64.83516483516483, 'loss': 0.24306805369009712}
-{'epoch': 5, 'iter': 100, 'avg_loss': 0.2508757061274902, 'avg_acc': 65.0680693069307, 'loss': 0.25712660870015364}
-{'epoch': 5, 'iter': 110, 'avg_loss': 0.251718232444853, 'avg_acc': 64.69594594594594, 'loss': 0.25834876373223126}
-{'epoch': 5, 'iter': 120, 'avg_loss': 0.2516989654002977, 'avg_acc': 64.35950413223141, 'loss': 0.27252408444655885}
-{'epoch': 5, 'iter': 130, 'avg_loss': 0.25078376124327206, 'avg_acc': 64.57538167938931, 'loss': 0.22916884393037304}
-{'epoch': 'EP5_train', 'avg_loss': 0.25071720292340394, 'total_acc': 64.50962830273176, 'f1_scores': 0.701732795539265}
-{'epoch': 6, 'iter': 0, 'avg_loss': 0.2550504992468632, 'avg_acc': 59.375, 'loss': 0.2550504992468632}
-{'epoch': 6, 'iter': 10, 'avg_loss': 0.260365528442488, 'avg_acc': 58.23863636363637, 'loss': 0.25191812154376486}
-{'epoch': 6, 'iter': 20, 'avg_loss': 0.2504365596436073, 'avg_acc': 63.541666666666664, 'loss': 0.24416626685160736}
-{'epoch': 6, 'iter': 30, 'avg_loss': 0.2506752930411104, 'avg_acc': 63.40725806451613, 'loss': 0.26469758721551834}
-{'epoch': 6, 'iter': 40, 'avg_loss': 0.2523669905809007, 'avg_acc': 63.41463414634146, 'loss': 0.23932712392680902}
-{'epoch': 6, 'iter': 50, 'avg_loss': 0.24980863978161702, 'avg_acc': 64.39950980392157, 'loss': 0.2719526515021633}
-{'epoch': 6, 'iter': 60, 'avg_loss': 0.24991005921817974, 'avg_acc': 64.39549180327869, 'loss': 0.24772751295417297}
-{'epoch': 6, 'iter': 70, 'avg_loss': 0.2496986029623507, 'avg_acc': 65.00880281690141, 'loss': 0.24280747005962308}
-{'epoch': 6, 'iter': 80, 'avg_loss': 0.25011779613260826, 'avg_acc': 64.50617283950618, 'loss': 0.2883879187915486}
-{'epoch': 6, 'iter': 90, 'avg_loss': 0.24945102893151302, 'avg_acc': 64.6978021978022, 'loss': 0.23767958328114347}
-{'epoch': 6, 'iter': 100, 'avg_loss': 0.2485462198385688, 'avg_acc': 65.03712871287128, 'loss': 0.2559213141850185}
-{'epoch': 6, 'iter': 110, 'avg_loss': 0.2492626138368424, 'avg_acc': 64.72409909909909, 'loss': 0.2717057825066149}
-{'epoch': 6, 'iter': 120, 'avg_loss': 0.24948544769399064, 'avg_acc': 64.51446280991735, 'loss': 0.27261845389356104}
-{'epoch': 6, 'iter': 130, 'avg_loss': 0.24905013964732894, 'avg_acc': 64.57538167938931, 'loss': 0.2403345417694384}
-{'epoch': 'EP6_train', 'avg_loss': 0.24919578091409375, 'total_acc': 64.48723690103, 'f1_scores': 0.7019263412298081}
-{'epoch': 7, 'iter': 0, 'avg_loss': 0.26471256818110434, 'avg_acc': 59.375, 'loss': 0.26471256818110434}
-{'epoch': 7, 'iter': 10, 'avg_loss': 0.254760487473587, 'avg_acc': 62.5, 'loss': 0.245257124339722}
-{'epoch': 7, 'iter': 20, 'avg_loss': 0.24886576229984744, 'avg_acc': 66.07142857142857, 'loss': 0.2705478793575042}
-{'epoch': 7, 'iter': 30, 'avg_loss': 0.24907585698121254, 'avg_acc': 65.02016129032258, 'loss': 0.2800822621675252}
-{'epoch': 7, 'iter': 40, 'avg_loss': 0.25097555775873803, 'avg_acc': 64.32926829268293, 'loss': 0.24731529539011327}
-{'epoch': 7, 'iter': 50, 'avg_loss': 0.24953559829315425, 'avg_acc': 65.56372549019608, 'loss': 0.27884426255851785}
-{'epoch': 7, 'iter': 60, 'avg_loss': 0.24859868592640244, 'avg_acc': 66.49590163934425, 'loss': 0.21528855950756612}
-{'epoch': 7, 'iter': 70, 'avg_loss': 0.24932545319640098, 'avg_acc': 66.94542253521126, 'loss': 0.27352860374971244}
-{'epoch': 7, 'iter': 80, 'avg_loss': 0.25021358803629185, 'avg_acc': 65.93364197530865, 'loss': 0.2834083668627889}
-{'epoch': 7, 'iter': 90, 'avg_loss': 0.25022898394033444, 'avg_acc': 65.7967032967033, 'loss': 0.24562144638496516}
-{'epoch': 7, 'iter': 100, 'avg_loss': 0.2493431846596296, 'avg_acc': 66.1200495049505, 'loss': 0.23904976468371125}
-{'epoch': 7, 'iter': 110, 'avg_loss': 0.2496078738379056, 'avg_acc': 65.96283783783784, 'loss': 0.2730849291180805}
-{'epoch': 7, 'iter': 120, 'avg_loss': 0.24963598916487698, 'avg_acc': 65.67665289256198, 'loss': 0.2553082922061419}
-{'epoch': 7, 'iter': 130, 'avg_loss': 0.24921996615059935, 'avg_acc': 65.76812977099237, 'loss': 0.22710786691849144}
-{'epoch': 'EP7_train', 'avg_loss': 0.24900325061141265, 'total_acc': 65.89789520824003, 'f1_scores': 0.7181499809103368}
-{'epoch': 8, 'iter': 0, 'avg_loss': 0.2627945729982457, 'avg_acc': 50.0, 'loss': 0.2627945729982457}
-{'epoch': 8, 'iter': 10, 'avg_loss': 0.2593667762505831, 'avg_acc': 60.79545454545454, 'loss': 0.24147286982926222}
-{'epoch': 8, 'iter': 20, 'avg_loss': 0.25282275333825827, 'avg_acc': 63.69047619047619, 'loss': 0.2392781572665886}
-{'epoch': 8, 'iter': 30, 'avg_loss': 0.25141124728320874, 'avg_acc': 63.81048387096774, 'loss': 0.26596243000052966}
-{'epoch': 8, 'iter': 40, 'avg_loss': 0.2520672883563523, 'avg_acc': 63.94817073170732, 'loss': 0.24295684637348}
-{'epoch': 8, 'iter': 50, 'avg_loss': 0.24915882488946337, 'avg_acc': 64.15441176470588, 'loss': 0.26404867079743}
-{'epoch': 8, 'iter': 60, 'avg_loss': 0.24864112615495368, 'avg_acc': 64.9077868852459, 'loss': 0.2228800906447889}
-{'epoch': 8, 'iter': 70, 'avg_loss': 0.2488894758151061, 'avg_acc': 64.92077464788733, 'loss': 0.2361265402036484}
-{'epoch': 8, 'iter': 80, 'avg_loss': 0.24910993213225835, 'avg_acc': 64.62191358024691, 'loss': 0.2839271018896657}
-{'epoch': 8, 'iter': 90, 'avg_loss': 0.24919106641346647, 'avg_acc': 64.38873626373626, 'loss': 0.25910336252724975}
-{'epoch': 8, 'iter': 100, 'avg_loss': 0.24765201619557428, 'avg_acc': 64.85148514851485, 'loss': 0.2289362840974718}
-{'epoch': 8, 'iter': 110, 'avg_loss': 0.24827902906229346, 'avg_acc': 64.61148648648648, 'loss': 0.2701174301096866}
-{'epoch': 8, 'iter': 120, 'avg_loss': 0.24833524799242296, 'avg_acc': 64.54028925619835, 'loss': 0.25723588672346004}
-{'epoch': 8, 'iter': 130, 'avg_loss': 0.24742063215031124, 'avg_acc': 64.69465648854961, 'loss': 0.23372725401090325}
-{'epoch': 'EP8_train', 'avg_loss': 0.24762867401782063, 'total_acc': 64.84549932825794, 'f1_scores': 0.7072008029063634}
-{'epoch': 9, 'iter': 0, 'avg_loss': 0.2402979872428789, 'avg_acc': 59.375, 'loss': 0.2402979872428789}
-{'epoch': 9, 'iter': 10, 'avg_loss': 0.25881285798003206, 'avg_acc': 58.80681818181818, 'loss': 0.26814606503249444}
-{'epoch': 9, 'iter': 20, 'avg_loss': 0.2500476042293507, 'avg_acc': 63.69047619047619, 'loss': 0.24222314166321926}
-{'epoch': 9, 'iter': 30, 'avg_loss': 0.2508800052462343, 'avg_acc': 63.81048387096774, 'loss': 0.2610775218963681}
-{'epoch': 9, 'iter': 40, 'avg_loss': 0.2511068259898746, 'avg_acc': 64.5579268292683, 'loss': 0.2334725535285023}
-{'epoch': 9, 'iter': 50, 'avg_loss': 0.24875647741832047, 'avg_acc': 65.625, 'loss': 0.2622843483431357}
-{'epoch': 9, 'iter': 60, 'avg_loss': 0.24932031410494498, 'avg_acc': 66.0860655737705, 'loss': 0.22623705636033264}
-{'epoch': 9, 'iter': 70, 'avg_loss': 0.2486552682868948, 'avg_acc': 66.10915492957746, 'loss': 0.24529651121188828}
-{'epoch': 9, 'iter': 80, 'avg_loss': 0.248298626999827, 'avg_acc': 65.77932098765432, 'loss': 0.25544041646909527}
-{'epoch': 9, 'iter': 90, 'avg_loss': 0.2481434139848315, 'avg_acc': 65.59065934065934, 'loss': 0.23540065946508548}
-{'epoch': 9, 'iter': 100, 'avg_loss': 0.2474534819113754, 'avg_acc': 65.6868811881188, 'loss': 0.2414433582927943}
-{'epoch': 9, 'iter': 110, 'avg_loss': 0.24815673190682122, 'avg_acc': 65.31531531531532, 'loss': 0.287360613304762}
-{'epoch': 9, 'iter': 120, 'avg_loss': 0.24884613009071624, 'avg_acc': 64.85020661157024, 'loss': 0.2674404615149147}
-{'epoch': 9, 'iter': 130, 'avg_loss': 0.24865498339337552, 'avg_acc': 64.81393129770993, 'loss': 0.23565505054336555}
-{'epoch': 'EP9_train', 'avg_loss': 0.24851993427472877, 'total_acc': 64.89028213166144, 'f1_scores': 0.7066729505627131}
-{'epoch': 10, 'iter': 0, 'avg_loss': 0.2629050563724117, 'avg_acc': 62.5, 'loss': 0.2629050563724117}
-{'epoch': 10, 'iter': 10, 'avg_loss': 0.2599104900523048, 'avg_acc': 59.65909090909091, 'loss': 0.27514983787919584}
-{'epoch': 10, 'iter': 20, 'avg_loss': 0.24941175542780722, 'avg_acc': 64.58333333333334, 'loss': 0.2466199186369522}
-{'epoch': 10, 'iter': 30, 'avg_loss': 0.24941562802832293, 'avg_acc': 64.21370967741935, 'loss': 0.2622128690990004}
-{'epoch': 10, 'iter': 40, 'avg_loss': 0.2505367049200283, 'avg_acc': 64.17682926829268, 'loss': 0.2288920001886124}
-{'epoch': 10, 'iter': 50, 'avg_loss': 0.2489821926617108, 'avg_acc': 65.19607843137256, 'loss': 0.27016596021816697}
-{'epoch': 10, 'iter': 60, 'avg_loss': 0.24902597974497176, 'avg_acc': 65.42008196721312, 'loss': 0.23359051525988303}
-{'epoch': 10, 'iter': 70, 'avg_loss': 0.24929380405885967, 'avg_acc': 65.75704225352112, 'loss': 0.24749098999486055}
-{'epoch': 10, 'iter': 80, 'avg_loss': 0.24935650912053717, 'avg_acc': 65.35493827160494, 'loss': 0.2759424386539259}
-{'epoch': 10, 'iter': 90, 'avg_loss': 0.24922273127251202, 'avg_acc': 65.41895604395604, 'loss': 0.24076405328982478}
-{'epoch': 10, 'iter': 100, 'avg_loss': 0.24865384338717839, 'avg_acc': 65.77970297029702, 'loss': 0.24062952973872598}
-{'epoch': 10, 'iter': 110, 'avg_loss': 0.24931112353023868, 'avg_acc': 65.51238738738738, 'loss': 0.2699254474325374}
-{'epoch': 10, 'iter': 120, 'avg_loss': 0.2494757022811292, 'avg_acc': 65.31508264462809, 'loss': 0.2682440295900181}
-{'epoch': 10, 'iter': 130, 'avg_loss': 0.24920821418946115, 'avg_acc': 65.38645038167938, 'loss': 0.24671550012798044}
-{'epoch': 'EP10_train', 'avg_loss': 0.2492577003656583, 'total_acc': 65.47245857590686, 'f1_scores': 0.7118697751855007}
-{'epoch': 11, 'iter': 0, 'avg_loss': 0.2525508829087682, 'avg_acc': 59.375, 'loss': 0.2525508829087682}
-{'epoch': 11, 'iter': 10, 'avg_loss': 0.25566284635180053, 'avg_acc': 60.79545454545454, 'loss': 0.25702981862033475}
-{'epoch': 11, 'iter': 20, 'avg_loss': 0.24617909990612372, 'avg_acc': 66.22023809523809, 'loss': 0.24332165192624544}
-{'epoch': 11, 'iter': 30, 'avg_loss': 0.2482320663143771, 'avg_acc': 65.42338709677419, 'loss': 0.2643850124927017}
-{'epoch': 11, 'iter': 40, 'avg_loss': 0.25077475195337345, 'avg_acc': 65.01524390243902, 'loss': 0.25281322008231655}
-{'epoch': 11, 'iter': 50, 'avg_loss': 0.24987428068251155, 'avg_acc': 65.31862745098039, 'loss': 0.2571075807012935}
-{'epoch': 11, 'iter': 60, 'avg_loss': 0.2495320831594792, 'avg_acc': 65.98360655737704, 'loss': 0.25180540805039137}
-{'epoch': 11, 'iter': 70, 'avg_loss': 0.24962660026698588, 'avg_acc': 66.19718309859155, 'loss': 0.24102973887712711}
-{'epoch': 11, 'iter': 80, 'avg_loss': 0.24988528035735624, 'avg_acc': 65.54783950617285, 'loss': 0.2754452152855395}
-{'epoch': 11, 'iter': 90, 'avg_loss': 0.24974857638159773, 'avg_acc': 65.65934065934066, 'loss': 0.24212333836216463}
-{'epoch': 11, 'iter': 100, 'avg_loss': 0.2492535248961457, 'avg_acc': 65.96534653465346, 'loss': 0.23304665630387586}
-{'epoch': 11, 'iter': 110, 'avg_loss': 0.24955987551339517, 'avg_acc': 65.76576576576578, 'loss': 0.2580283558310319}
-{'epoch': 11, 'iter': 120, 'avg_loss': 0.25023296371933174, 'avg_acc': 65.28925619834712, 'loss': 0.2771388066452605}
-{'epoch': 11, 'iter': 130, 'avg_loss': 0.2501740275410221, 'avg_acc': 65.24332061068702, 'loss': 0.23422502281781427}
-{'epoch': 'EP11_train', 'avg_loss': 0.25005134475551655, 'total_acc': 65.40528437080161, 'f1_scores': 0.7152676584463533}
-{'epoch': 12, 'iter': 0, 'avg_loss': 0.25543311787831563, 'avg_acc': 62.5, 'loss': 0.25543311787831563}
-{'epoch': 12, 'iter': 10, 'avg_loss': 0.2632169603954622, 'avg_acc': 59.09090909090909, 'loss': 0.2516067526249961}
-{'epoch': 12, 'iter': 20, 'avg_loss': 0.2533530307190427, 'avg_acc': 63.69047619047619, 'loss': 0.2684627312199674}
-{'epoch': 12, 'iter': 30, 'avg_loss': 0.2532647887228586, 'avg_acc': 63.50806451612904, 'loss': 0.2680494276870117}
-{'epoch': 12, 'iter': 40, 'avg_loss': 0.2536612796784436, 'avg_acc': 63.71951219512195, 'loss': 0.23282523809991418}
-{'epoch': 12, 'iter': 50, 'avg_loss': 0.25201527991755923, 'avg_acc': 64.88970588235294, 'loss': 0.27719192739121873}
-{'epoch': 12, 'iter': 60, 'avg_loss': 0.25229176547373167, 'avg_acc': 64.95901639344262, 'loss': 0.24939018015382836}
-{'epoch': 12, 'iter': 70, 'avg_loss': 0.25159500810895785, 'avg_acc': 65.71302816901408, 'loss': 0.23391093695272502}
-{'epoch': 12, 'iter': 80, 'avg_loss': 0.2514890169128162, 'avg_acc': 65.35493827160494, 'loss': 0.2769232113598394}
-{'epoch': 12, 'iter': 90, 'avg_loss': 0.25114349783498463, 'avg_acc': 65.4532967032967, 'loss': 0.24124129367263386}
-{'epoch': 12, 'iter': 100, 'avg_loss': 0.2496065459723957, 'avg_acc': 65.81064356435643, 'loss': 0.23357468665186126}
-{'epoch': 12, 'iter': 110, 'avg_loss': 0.25087848197786383, 'avg_acc': 65.34346846846847, 'loss': 0.26745803503964843}
-{'epoch': 12, 'iter': 120, 'avg_loss': 0.25100114954117564, 'avg_acc': 65.26342975206612, 'loss': 0.26601159876164665}
-{'epoch': 12, 'iter': 130, 'avg_loss': 0.25047305612299997, 'avg_acc': 65.2671755725191, 'loss': 0.2401715376028213}
-{'epoch': 'EP12_train', 'avg_loss': 0.2504734734459437, 'total_acc': 65.22615315718764, 'f1_scores': 0.7115318065841529}
-{'epoch': 13, 'iter': 0, 'avg_loss': 0.26646677687585907, 'avg_acc': 65.625, 'loss': 0.26646677687585907}
-{'epoch': 13, 'iter': 10, 'avg_loss': 0.26206355393800806, 'avg_acc': 60.79545454545454, 'loss': 0.25933878800762095}
-{'epoch': 13, 'iter': 20, 'avg_loss': 0.25191061436813705, 'avg_acc': 65.625, 'loss': 0.24669545873374382}
-{'epoch': 13, 'iter': 30, 'avg_loss': 0.2509823134047039, 'avg_acc': 65.12096774193549, 'loss': 0.263214684524103}
-{'epoch': 13, 'iter': 40, 'avg_loss': 0.25270041361344503, 'avg_acc': 64.48170731707317, 'loss': 0.24266971292464792}
-{'epoch': 13, 'iter': 50, 'avg_loss': 0.253400600000925, 'avg_acc': 64.58333333333334, 'loss': 0.2729369154237377}
-{'epoch': 13, 'iter': 60, 'avg_loss': 0.2529487279261356, 'avg_acc': 65.01024590163934, 'loss': 0.23612822793860946}
-{'epoch': 13, 'iter': 70, 'avg_loss': 0.2522199545579201, 'avg_acc': 65.58098591549296, 'loss': 0.25652612313725903}
-{'epoch': 13, 'iter': 80, 'avg_loss': 0.2526712199792113, 'avg_acc': 64.93055555555556, 'loss': 0.2577483691902671}
-{'epoch': 13, 'iter': 90, 'avg_loss': 0.2520682851525032, 'avg_acc': 64.73214285714286, 'loss': 0.2367661129921024}
-{'epoch': 13, 'iter': 100, 'avg_loss': 0.25145143129080993, 'avg_acc': 64.88242574257426, 'loss': 0.24790482550276594}
-{'epoch': 13, 'iter': 110, 'avg_loss': 0.2522195845061044, 'avg_acc': 64.38626126126125, 'loss': 0.2723608806499149}
-{'epoch': 13, 'iter': 120, 'avg_loss': 0.25203753822040414, 'avg_acc': 64.43698347107438, 'loss': 0.2476589521394479}
-{'epoch': 13, 'iter': 130, 'avg_loss': 0.2512768546522397, 'avg_acc': 64.62309160305344, 'loss': 0.24010399029105298}
-{'epoch': 'EP13_train', 'avg_loss': 0.2510654935926319, 'total_acc': 64.62158531124048, 'f1_scores': 0.7042975566068048}
-{'epoch': 14, 'iter': 0, 'avg_loss': 0.2688753225903773, 'avg_acc': 62.5, 'loss': 0.2688753225903773}
-{'epoch': 14, 'iter': 10, 'avg_loss': 0.2565120041508104, 'avg_acc': 61.93181818181818, 'loss': 0.26152732939356477}
-{'epoch': 14, 'iter': 20, 'avg_loss': 0.2514897901490901, 'avg_acc': 64.28571428571429, 'loss': 0.269333120446845}
-{'epoch': 14, 'iter': 30, 'avg_loss': 0.2520538375131201, 'avg_acc': 64.31451612903226, 'loss': 0.2590349147773249}
-{'epoch': 14, 'iter': 40, 'avg_loss': 0.25447320430469833, 'avg_acc': 64.10060975609755, 'loss': 0.23402385626546413}
-{'epoch': 14, 'iter': 50, 'avg_loss': 0.25312297194491323, 'avg_acc': 64.09313725490196, 'loss': 0.2621293343998851}
-{'epoch': 14, 'iter': 60, 'avg_loss': 0.25410109478489223, 'avg_acc': 64.03688524590164, 'loss': 0.27671795977052427}
-{'epoch': 14, 'iter': 70, 'avg_loss': 0.25396060112277485, 'avg_acc': 64.34859154929578, 'loss': 0.2533453587357144}
-{'epoch': 14, 'iter': 80, 'avg_loss': 0.25462673473872194, 'avg_acc': 63.77314814814815, 'loss': 0.2807886224216937}
-{'epoch': 14, 'iter': 90, 'avg_loss': 0.25436869626977493, 'avg_acc': 63.83928571428571, 'loss': 0.24485411512848387}
-{'epoch': 14, 'iter': 100, 'avg_loss': 0.2531734559420327, 'avg_acc': 64.26361386138613, 'loss': 0.2540667257566643}
-{'epoch': 14, 'iter': 110, 'avg_loss': 0.25455911983885937, 'avg_acc': 63.766891891891895, 'loss': 0.2715170733942744}
-{'epoch': 14, 'iter': 120, 'avg_loss': 0.2547399215327326, 'avg_acc': 63.53305785123967, 'loss': 0.254238768547501}
-{'epoch': 14, 'iter': 130, 'avg_loss': 0.2546742943555246, 'avg_acc': 63.597328244274806, 'loss': 0.26396938589524716}
-{'epoch': 'EP14_train', 'avg_loss': 0.25445783080558443, 'total_acc': 63.74832064487237, 'f1_scores': 0.6948944980052331}
-{'epoch': 15, 'iter': 0, 'avg_loss': 0.250732084736228, 'avg_acc': 62.5, 'loss': 0.250732084736228}
-{'epoch': 15, 'iter': 10, 'avg_loss': 0.2675659901310285, 'avg_acc': 57.10227272727273, 'loss': 0.24921096208085405}
-{'epoch': 15, 'iter': 20, 'avg_loss': 0.2554088961865447, 'avg_acc': 63.39285714285714, 'loss': 0.2378771134177181}
-{'epoch': 15, 'iter': 30, 'avg_loss': 0.25552520204425755, 'avg_acc': 63.40725806451613, 'loss': 0.25913078633909337}
-{'epoch': 15, 'iter': 40, 'avg_loss': 0.25747803567571825, 'avg_acc': 63.03353658536586, 'loss': 0.24767741615739525}
-{'epoch': 15, 'iter': 50, 'avg_loss': 0.2558841483261036, 'avg_acc': 64.27696078431373, 'loss': 0.26010590214926715}
-{'epoch': 15, 'iter': 60, 'avg_loss': 0.2563591916771743, 'avg_acc': 64.03688524590164, 'loss': 0.24127074662958745}
-{'epoch': 15, 'iter': 70, 'avg_loss': 0.2557016351050811, 'avg_acc': 64.61267605633803, 'loss': 0.25867077174208525}
-{'epoch': 15, 'iter': 80, 'avg_loss': 0.2562327360018177, 'avg_acc': 64.00462962962963, 'loss': 0.28348785797824605}
-{'epoch': 15, 'iter': 90, 'avg_loss': 0.2557009274082175, 'avg_acc': 64.1826923076923, 'loss': 0.24615257911383584}
-{'epoch': 15, 'iter': 100, 'avg_loss': 0.2548960110236958, 'avg_acc': 64.48019801980197, 'loss': 0.23980385150129482}
-{'epoch': 15, 'iter': 110, 'avg_loss': 0.25579762107976683, 'avg_acc': 64.2454954954955, 'loss': 0.2804155379734376}
-{'epoch': 15, 'iter': 120, 'avg_loss': 0.2559732926560436, 'avg_acc': 64.0754132231405, 'loss': 0.2581640708631312}
-{'epoch': 15, 'iter': 130, 'avg_loss': 0.25538558191630345, 'avg_acc': 64.02671755725191, 'loss': 0.23880049981328608}
-{'epoch': 'EP15_train', 'avg_loss': 0.2553417557134372, 'total_acc': 64.03940886699507, 'f1_scores': 0.6970773242566884}
-{'epoch': 16, 'iter': 0, 'avg_loss': 0.27000286114006095, 'avg_acc': 50.0, 'loss': 0.27000286114006095}
-{'epoch': 16, 'iter': 10, 'avg_loss': 0.2641314066799553, 'avg_acc': 57.10227272727273, 'loss': 0.2605994613947717}
-{'epoch': 16, 'iter': 20, 'avg_loss': 0.2538468063598903, 'avg_acc': 62.648809523809526, 'loss': 0.26002061000472815}
-{'epoch': 16, 'iter': 30, 'avg_loss': 0.25480211976128103, 'avg_acc': 62.80241935483871, 'loss': 0.2613744192614311}
-{'epoch': 16, 'iter': 40, 'avg_loss': 0.2570689906683684, 'avg_acc': 63.109756097560975, 'loss': 0.24823460439152506}
-{'epoch': 16, 'iter': 50, 'avg_loss': 0.25628190412414803, 'avg_acc': 63.357843137254896, 'loss': 0.2836279311372241}
-{'epoch': 16, 'iter': 60, 'avg_loss': 0.2555451506787818, 'avg_acc': 64.03688524590164, 'loss': 0.24016105096032853}
-{'epoch': 16, 'iter': 70, 'avg_loss': 0.25513558992017293, 'avg_acc': 64.34859154929578, 'loss': 0.25475999779931563}
-{'epoch': 16, 'iter': 80, 'avg_loss': 0.2554993126421276, 'avg_acc': 63.77314814814815, 'loss': 0.2785306851905521}
-{'epoch': 16, 'iter': 90, 'avg_loss': 0.2553108783399232, 'avg_acc': 63.83928571428571, 'loss': 0.2524156543070473}
-{'epoch': 16, 'iter': 100, 'avg_loss': 0.2540525778035073, 'avg_acc': 64.48019801980197, 'loss': 0.2421706885054878}
-{'epoch': 16, 'iter': 110, 'avg_loss': 0.2546438896049857, 'avg_acc': 64.32995495495496, 'loss': 0.2681290380063988}
-{'epoch': 16, 'iter': 120, 'avg_loss': 0.25478084574625515, 'avg_acc': 64.28202479338843, 'loss': 0.26382143252417983}
-{'epoch': 16, 'iter': 130, 'avg_loss': 0.2544428003267502, 'avg_acc': 64.24141221374046, 'loss': 0.2508783245044859}
-{'epoch': 'EP16_train', 'avg_loss': 0.25422014605087717, 'total_acc': 64.28571428571429, 'f1_scores': 0.7016818303960334}
-{'epoch': 17, 'iter': 0, 'avg_loss': 0.27104685717748517, 'avg_acc': 56.25, 'loss': 0.27104685717748517}
-{'epoch': 17, 'iter': 10, 'avg_loss': 0.2614162800294182, 'avg_acc': 59.09090909090909, 'loss': 0.26416201058288735}
-{'epoch': 17, 'iter': 20, 'avg_loss': 0.25533448941296705, 'avg_acc': 63.24404761904761, 'loss': 0.2804936728781675}
-{'epoch': 17, 'iter': 30, 'avg_loss': 0.2523850079863918, 'avg_acc': 64.41532258064517, 'loss': 0.270130218230666}
-{'epoch': 17, 'iter': 40, 'avg_loss': 0.25470176456559435, 'avg_acc': 63.94817073170732, 'loss': 0.2509465824024508}
-{'epoch': 17, 'iter': 50, 'avg_loss': 0.25379265275875446, 'avg_acc': 64.52205882352942, 'loss': 0.26269150547042436}
-{'epoch': 17, 'iter': 60, 'avg_loss': 0.25476889744106856, 'avg_acc': 64.29303278688525, 'loss': 0.2444280854439447}
-{'epoch': 17, 'iter': 70, 'avg_loss': 0.25493805295661737, 'avg_acc': 64.83274647887323, 'loss': 0.2644556972313044}
-{'epoch': 17, 'iter': 80, 'avg_loss': 0.25440910381742243, 'avg_acc': 64.50617283950618, 'loss': 0.2782636142883348}
-{'epoch': 17, 'iter': 90, 'avg_loss': 0.25384708664122607, 'avg_acc': 64.8695054945055, 'loss': 0.24462104778811927}
-{'epoch': 17, 'iter': 100, 'avg_loss': 0.25337092025435376, 'avg_acc': 65.37747524752476, 'loss': 0.24266781436582666}
-{'epoch': 17, 'iter': 110, 'avg_loss': 0.2539960224263954, 'avg_acc': 65.03378378378379, 'loss': 0.2444684893514802}
-{'epoch': 17, 'iter': 120, 'avg_loss': 0.2539949386490877, 'avg_acc': 65.0051652892562, 'loss': 0.28525368117428634}
-{'epoch': 17, 'iter': 130, 'avg_loss': 0.25364745228302127, 'avg_acc': 65.07633587786259, 'loss': 0.23390124817082583}
-{'epoch': 'EP17_train', 'avg_loss': 0.2542195957799087, 'total_acc': 64.84549932825794, 'f1_scores': 0.7067421399020553}
-{'epoch': 18, 'iter': 0, 'avg_loss': 0.25313068647103265, 'avg_acc': 59.375, 'loss': 0.25313068647103265}
-{'epoch': 18, 'iter': 10, 'avg_loss': 0.26667653704965955, 'avg_acc': 57.67045454545454, 'loss': 0.266062553189548}
-{'epoch': 18, 'iter': 20, 'avg_loss': 0.2584458943372144, 'avg_acc': 63.095238095238095, 'loss': 0.26673825428659775}
-{'epoch': 18, 'iter': 30, 'avg_loss': 0.25818989008851057, 'avg_acc': 62.701612903225815, 'loss': 0.2672096894849736}
-{'epoch': 18, 'iter': 40, 'avg_loss': 0.2597611413130151, 'avg_acc': 63.03353658536586, 'loss': 0.2511901344578291}
-{'epoch': 18, 'iter': 50, 'avg_loss': 0.25703408659030647, 'avg_acc': 64.39950980392157, 'loss': 0.2736118475051106}
-{'epoch': 18, 'iter': 60, 'avg_loss': 0.2570406861669446, 'avg_acc': 64.60040983606558, 'loss': 0.251204792038022}
-{'epoch': 18, 'iter': 70, 'avg_loss': 0.25751478663524835, 'avg_acc': 64.65669014084507, 'loss': 0.25478564655470237}
-{'epoch': 18, 'iter': 80, 'avg_loss': 0.25727396482573156, 'avg_acc': 64.0432098765432, 'loss': 0.28734640975796666}
-{'epoch': 18, 'iter': 90, 'avg_loss': 0.25741874453970204, 'avg_acc': 64.11401098901099, 'loss': 0.2561400874715056}
-{'epoch': 18, 'iter': 100, 'avg_loss': 0.2559132680218755, 'avg_acc': 64.78960396039604, 'loss': 0.2537703616359132}
-{'epoch': 18, 'iter': 110, 'avg_loss': 0.25628782313021936, 'avg_acc': 64.38626126126125, 'loss': 0.27108417050190575}
-{'epoch': 18, 'iter': 120, 'avg_loss': 0.25688170904085816, 'avg_acc': 63.89462809917356, 'loss': 0.25159530378524714}
-{'epoch': 18, 'iter': 130, 'avg_loss': 0.255548769845676, 'avg_acc': 64.31297709923665, 'loss': 0.2527920537943698}
-{'epoch': 'EP18_train', 'avg_loss': 0.25537445634117606, 'total_acc': 64.39767129422302, 'f1_scores': 0.7012795937487282}
-{'epoch': 19, 'iter': 0, 'avg_loss': 0.2543874046386918, 'avg_acc': 56.25, 'loss': 0.2543874046386918}
-{'epoch': 19, 'iter': 10, 'avg_loss': 0.2565569542248724, 'avg_acc': 61.07954545454546, 'loss': 0.3012754867812483}
-{'epoch': 19, 'iter': 20, 'avg_loss': 0.25309068276648794, 'avg_acc': 64.43452380952381, 'loss': 0.28365196668788223}
-{'epoch': 19, 'iter': 30, 'avg_loss': 0.25371911283207177, 'avg_acc': 64.01209677419355, 'loss': 0.2635602225701794}
-{'epoch': 19, 'iter': 40, 'avg_loss': 0.2563548376664009, 'avg_acc': 63.795731707317074, 'loss': 0.2447976530319238}
-{'epoch': 19, 'iter': 50, 'avg_loss': 0.25491876187960444, 'avg_acc': 64.58333333333334, 'loss': 0.2918805908440975}
-{'epoch': 19, 'iter': 60, 'avg_loss': 0.25593151588675733, 'avg_acc': 64.65163934426229, 'loss': 0.25517334920160856}
-{'epoch': 19, 'iter': 70, 'avg_loss': 0.2553361876035034, 'avg_acc': 65.14084507042254, 'loss': 0.25733577417369297}
-{'epoch': 19, 'iter': 80, 'avg_loss': 0.2559583692803591, 'avg_acc': 64.50617283950618, 'loss': 0.28159673902493004}
-{'epoch': 19, 'iter': 90, 'avg_loss': 0.2551623141932896, 'avg_acc': 64.45741758241759, 'loss': 0.24218347854743374}
-{'epoch': 19, 'iter': 100, 'avg_loss': 0.25410496420746875, 'avg_acc': 64.78960396039604, 'loss': 0.24826549347108084}
-{'epoch': 19, 'iter': 110, 'avg_loss': 0.25504509656280255, 'avg_acc': 64.32995495495496, 'loss': 0.2755370508568506}
-{'epoch': 19, 'iter': 120, 'avg_loss': 0.25569076026268095, 'avg_acc': 64.0754132231405, 'loss': 0.30229924879644643}
-{'epoch': 19, 'iter': 130, 'avg_loss': 0.25501062085659615, 'avg_acc': 64.2175572519084, 'loss': 0.25260304591182603}
-{'epoch': 'EP19_train', 'avg_loss': 0.25519147865559494, 'total_acc': 64.26332288401254, 'f1_scores': 0.7020608669083263}
-{'epoch': 20, 'iter': 0, 'avg_loss': 0.24846426024893323, 'avg_acc': 59.375, 'loss': 0.24846426024893323}
-{'epoch': 20, 'iter': 10, 'avg_loss': 0.2607487543691102, 'avg_acc': 59.09090909090909, 'loss': 0.2814546110744881}
-{'epoch': 20, 'iter': 20, 'avg_loss': 0.2536512405040203, 'avg_acc': 64.58333333333334, 'loss': 0.2629954475861658}
-{'epoch': 20, 'iter': 30, 'avg_loss': 0.2560513246318689, 'avg_acc': 63.50806451612904, 'loss': 0.2873999893152878}
-{'epoch': 20, 'iter': 40, 'avg_loss': 0.25911139456169946, 'avg_acc': 62.72865853658537, 'loss': 0.24420258705543216}
-{'epoch': 20, 'iter': 50, 'avg_loss': 0.25749990995923505, 'avg_acc': 63.357843137254896, 'loss': 0.2759684155326535}
-{'epoch': 20, 'iter': 60, 'avg_loss': 0.2587050309769635, 'avg_acc': 63.729508196721305, 'loss': 0.25144087561778045}
-{'epoch': 20, 'iter': 70, 'avg_loss': 0.25865545561322034, 'avg_acc': 64.12852112676056, 'loss': 0.25080442971196654}
-{'epoch': 20, 'iter': 80, 'avg_loss': 0.25857962467904944, 'avg_acc': 63.96604938271605, 'loss': 0.2665663221608026}
-{'epoch': 20, 'iter': 90, 'avg_loss': 0.2576171218695063, 'avg_acc': 64.14835164835165, 'loss': 0.23725945538860416}
-{'epoch': 20, 'iter': 100, 'avg_loss': 0.25658770377549067, 'avg_acc': 64.66584158415841, 'loss': 0.239547610421401}
-{'epoch': 20, 'iter': 110, 'avg_loss': 0.25721459622775855, 'avg_acc': 64.49887387387388, 'loss': 0.2831234647943087}
-{'epoch': 20, 'iter': 120, 'avg_loss': 0.25757459994314746, 'avg_acc': 64.15289256198346, 'loss': 0.2641191231133624}
-{'epoch': 20, 'iter': 130, 'avg_loss': 0.2567189999264663, 'avg_acc': 64.40839694656488, 'loss': 0.2413314279188106}
-{'epoch': 'EP20_train', 'avg_loss': 0.2565669216623228, 'total_acc': 64.55441110613525, 'f1_scores': 0.7027833852636921}
-{'epoch': 21, 'iter': 0, 'avg_loss': 0.26463507277095943, 'avg_acc': 53.125, 'loss': 0.26463507277095943}
-{'epoch': 21, 'iter': 10, 'avg_loss': 0.2576189570419746, 'avg_acc': 59.375, 'loss': 0.2615471055061269}
-{'epoch': 21, 'iter': 20, 'avg_loss': 0.25181362321074774, 'avg_acc': 64.28571428571429, 'loss': 0.271787711809988}
-{'epoch': 21, 'iter': 30, 'avg_loss': 0.25046852625162763, 'avg_acc': 64.61693548387096, 'loss': 0.26416090536635495}
-{'epoch': 21, 'iter': 40, 'avg_loss': 0.25349678920615, 'avg_acc': 63.795731707317074, 'loss': 0.24833135924869304}
-{'epoch': 21, 'iter': 50, 'avg_loss': 0.25239040815800756, 'avg_acc': 64.09313725490196, 'loss': 0.2664180933432882}
-{'epoch': 21, 'iter': 60, 'avg_loss': 0.25290394959734025, 'avg_acc': 64.44672131147541, 'loss': 0.23870349885341316}
-{'epoch': 21, 'iter': 70, 'avg_loss': 0.2533713142578066, 'avg_acc': 65.14084507042254, 'loss': 0.2521889542957589}
-{'epoch': 21, 'iter': 80, 'avg_loss': 0.25451953948341915, 'avg_acc': 64.35185185185185, 'loss': 0.28285518305022245}
-{'epoch': 21, 'iter': 90, 'avg_loss': 0.2539672700357655, 'avg_acc': 64.66346153846155, 'loss': 0.251183846859541}
-{'epoch': 21, 'iter': 100, 'avg_loss': 0.2534640361774756, 'avg_acc': 64.97524752475248, 'loss': 0.26581168403156746}
-{'epoch': 21, 'iter': 110, 'avg_loss': 0.2547172645543646, 'avg_acc': 64.41441441441441, 'loss': 0.2827645139421812}
-{'epoch': 21, 'iter': 120, 'avg_loss': 0.25511666992588744, 'avg_acc': 64.23037190082644, 'loss': 0.25934664750496134}
-{'epoch': 21, 'iter': 130, 'avg_loss': 0.2548235990516981, 'avg_acc': 64.3368320610687, 'loss': 0.24365603624596588}
-{'epoch': 'EP21_train', 'avg_loss': 0.2547805674654115, 'total_acc': 64.48723690103, 'f1_scores': 0.7035803783692003}
-{'epoch': 22, 'iter': 0, 'avg_loss': 0.24490685158986836, 'avg_acc': 59.375, 'loss': 0.24490685158986836}
-{'epoch': 22, 'iter': 10, 'avg_loss': 0.2617439011712739, 'avg_acc': 58.52272727272727, 'loss': 0.26584359801648}
-{'epoch': 22, 'iter': 20, 'avg_loss': 0.2551132386235964, 'avg_acc': 62.648809523809526, 'loss': 0.2691899343744808}
-{'epoch': 22, 'iter': 30, 'avg_loss': 0.2548080474254454, 'avg_acc': 64.21370967741935, 'loss': 0.262126355649603}
-{'epoch': 22, 'iter': 40, 'avg_loss': 0.2562602780428907, 'avg_acc': 64.10060975609755, 'loss': 0.24068551390908915}
-{'epoch': 22, 'iter': 50, 'avg_loss': 0.2548304434809248, 'avg_acc': 64.88970588235294, 'loss': 0.26006142103246277}
-{'epoch': 22, 'iter': 60, 'avg_loss': 0.25549101840502436, 'avg_acc': 65.21516393442623, 'loss': 0.2491019601572069}
-{'epoch': 22, 'iter': 70, 'avg_loss': 0.2558904914956311, 'avg_acc': 65.3169014084507, 'loss': 0.2626465309583312}
-{'epoch': 22, 'iter': 80, 'avg_loss': 0.25610664902869495, 'avg_acc': 64.77623456790124, 'loss': 0.292692384983606}
-{'epoch': 22, 'iter': 90, 'avg_loss': 0.2557558103483893, 'avg_acc': 65.07554945054946, 'loss': 0.25119575655396276}
-{'epoch': 22, 'iter': 100, 'avg_loss': 0.2544246857794165, 'avg_acc': 65.50123762376238, 'loss': 0.24503754429484353}
-{'epoch': 22, 'iter': 110, 'avg_loss': 0.25509912800137796, 'avg_acc': 65.06193693693693, 'loss': 0.27884097148249304}
-{'epoch': 22, 'iter': 120, 'avg_loss': 0.2556385523800489, 'avg_acc': 64.74690082644628, 'loss': 0.278335278466979}
-{'epoch': 22, 'iter': 130, 'avg_loss': 0.25515097400825304, 'avg_acc': 64.81393129770993, 'loss': 0.24859435131591973}
-{'epoch': 'EP22_train', 'avg_loss': 0.25487001916215196, 'total_acc': 64.91267353336319, 'f1_scores': 0.7066487138885097}
-{'epoch': 23, 'iter': 0, 'avg_loss': 0.27083064787607974, 'avg_acc': 56.25, 'loss': 0.27083064787607974}
-{'epoch': 23, 'iter': 10, 'avg_loss': 0.2622706960160473, 'avg_acc': 57.95454545454546, 'loss': 0.26390043669354263}
-{'epoch': 23, 'iter': 20, 'avg_loss': 0.2529950331614139, 'avg_acc': 63.095238095238095, 'loss': 0.259553025707906}
-{'epoch': 23, 'iter': 30, 'avg_loss': 0.2532602602868184, 'avg_acc': 63.81048387096774, 'loss': 0.2648143985916249}
-{'epoch': 23, 'iter': 40, 'avg_loss': 0.25564811041405455, 'avg_acc': 63.643292682926834, 'loss': 0.2404744049457414}
-{'epoch': 23, 'iter': 50, 'avg_loss': 0.2544771836577733, 'avg_acc': 64.64460784313727, 'loss': 0.2821869684770328}
-{'epoch': 23, 'iter': 60, 'avg_loss': 0.25462797985013624, 'avg_acc': 64.75409836065575, 'loss': 0.2666990074429642}
-{'epoch': 23, 'iter': 70, 'avg_loss': 0.25448474829572787, 'avg_acc': 65.40492957746478, 'loss': 0.26587734374584215}
-{'epoch': 23, 'iter': 80, 'avg_loss': 0.25478340409698313, 'avg_acc': 65.2006172839506, 'loss': 0.2733987622846793}
-{'epoch': 23, 'iter': 90, 'avg_loss': 0.25520570170316087, 'avg_acc': 65.00686813186813, 'loss': 0.24567138488035717}
-{'epoch': 23, 'iter': 100, 'avg_loss': 0.2543538623502906, 'avg_acc': 65.31559405940595, 'loss': 0.25024270565300605}
-{'epoch': 23, 'iter': 110, 'avg_loss': 0.25459223998704134, 'avg_acc': 64.89301801801803, 'loss': 0.27804631502307786}
-{'epoch': 23, 'iter': 120, 'avg_loss': 0.2551639167487514, 'avg_acc': 64.74690082644628, 'loss': 0.27201742847968746}
-{'epoch': 23, 'iter': 130, 'avg_loss': 0.25469720118715516, 'avg_acc': 64.76622137404581, 'loss': 0.26219042213291943}
-{'epoch': 'EP23_train', 'avg_loss': 0.25430141126706096, 'total_acc': 64.8678907299597, 'f1_scores': 0.706666792723945}
-{'epoch': 24, 'iter': 0, 'avg_loss': 0.2630135205467273, 'avg_acc': 59.375, 'loss': 0.2630135205467273}
-{'epoch': 24, 'iter': 10, 'avg_loss': 0.2598194477487911, 'avg_acc': 60.51136363636363, 'loss': 0.2564518889590285}
-{'epoch': 24, 'iter': 20, 'avg_loss': 0.2553363038547672, 'avg_acc': 64.58333333333334, 'loss': 0.2542315116580929}
-{'epoch': 24, 'iter': 30, 'avg_loss': 0.2551386258888499, 'avg_acc': 64.01209677419355, 'loss': 0.2513890925630611}
-{'epoch': 24, 'iter': 40, 'avg_loss': 0.2581584255384617, 'avg_acc': 63.338414634146346, 'loss': 0.25749238030825183}
-{'epoch': 24, 'iter': 50, 'avg_loss': 0.2567732527951603, 'avg_acc': 63.970588235294116, 'loss': 0.2653133078606191}
-{'epoch': 24, 'iter': 60, 'avg_loss': 0.25658572231045496, 'avg_acc': 64.34426229508196, 'loss': 0.23613809601615035}
-{'epoch': 24, 'iter': 70, 'avg_loss': 0.25657712733100707, 'avg_acc': 64.30457746478874, 'loss': 0.25160106260201637}
-{'epoch': 24, 'iter': 80, 'avg_loss': 0.2566654746466801, 'avg_acc': 64.12037037037037, 'loss': 0.2851458400576965}
-{'epoch': 24, 'iter': 90, 'avg_loss': 0.25611111424661614, 'avg_acc': 64.21703296703298, 'loss': 0.24215224080532086}
-{'epoch': 24, 'iter': 100, 'avg_loss': 0.2551262954710115, 'avg_acc': 64.75866336633663, 'loss': 0.24409930934299542}
-{'epoch': 24, 'iter': 110, 'avg_loss': 0.25605609302767396, 'avg_acc': 64.38626126126125, 'loss': 0.26070354031013004}
-{'epoch': 24, 'iter': 120, 'avg_loss': 0.2567775578561682, 'avg_acc': 64.23037190082644, 'loss': 0.2900368636697489}
-{'epoch': 24, 'iter': 130, 'avg_loss': 0.25620910031609717, 'avg_acc': 64.36068702290076, 'loss': 0.25246025314884585}
-{'epoch': 'EP24_train', 'avg_loss': 0.2559011195090439, 'total_acc': 64.5320197044335, 'f1_scores': 0.7016798866005856}
-{'epoch': 25, 'iter': 0, 'avg_loss': 0.2718107257849494, 'avg_acc': 53.125, 'loss': 0.2718107257849494}
-{'epoch': 25, 'iter': 10, 'avg_loss': 0.2577492928126015, 'avg_acc': 59.65909090909091, 'loss': 0.25447028534139804}
-{'epoch': 25, 'iter': 20, 'avg_loss': 0.2548238283612347, 'avg_acc': 63.83928571428571, 'loss': 0.2754654618778269}
-{'epoch': 25, 'iter': 30, 'avg_loss': 0.2566992419910238, 'avg_acc': 63.40725806451613, 'loss': 0.2786117794286318}
-{'epoch': 25, 'iter': 40, 'avg_loss': 0.2609211982184612, 'avg_acc': 62.881097560975604, 'loss': 0.25804155975973636}
-{'epoch': 25, 'iter': 50, 'avg_loss': 0.25960511194439717, 'avg_acc': 63.90931372549019, 'loss': 0.27046149941465303}
-{'epoch': 25, 'iter': 60, 'avg_loss': 0.2596118763183981, 'avg_acc': 64.03688524590164, 'loss': 0.26484168268689245}
-{'epoch': 25, 'iter': 70, 'avg_loss': 0.25896259968093793, 'avg_acc': 64.70070422535211, 'loss': 0.2564671004272278}
-{'epoch': 25, 'iter': 80, 'avg_loss': 0.2598532875358893, 'avg_acc': 64.0817901234568, 'loss': 0.2703003151250414}
-{'epoch': 25, 'iter': 90, 'avg_loss': 0.25931051840264746, 'avg_acc': 64.32005494505495, 'loss': 0.25898646253186336}
-{'epoch': 25, 'iter': 100, 'avg_loss': 0.2584749306198787, 'avg_acc': 64.51113861386139, 'loss': 0.239637159839471}
-{'epoch': 25, 'iter': 110, 'avg_loss': 0.2586826917324653, 'avg_acc': 64.2454954954955, 'loss': 0.2572374350474677}
-{'epoch': 25, 'iter': 120, 'avg_loss': 0.258823269898182, 'avg_acc': 64.0754132231405, 'loss': 0.2736233670077906}
-{'epoch': 25, 'iter': 130, 'avg_loss': 0.25819968905862717, 'avg_acc': 64.14599236641222, 'loss': 0.24055310882603667}
-{'epoch': 'EP25_train', 'avg_loss': 0.2577063293555698, 'total_acc': 64.21854008060905, 'f1_scores': 0.6995063007086856}
-{'epoch': 26, 'iter': 0, 'avg_loss': 0.2693294761871974, 'avg_acc': 53.125, 'loss': 0.2693294761871974}
-{'epoch': 26, 'iter': 10, 'avg_loss': 0.26710511432404127, 'avg_acc': 57.38636363636363, 'loss': 0.26881153840940897}
-{'epoch': 26, 'iter': 20, 'avg_loss': 0.25891295369101786, 'avg_acc': 62.648809523809526, 'loss': 0.26439457182717824}
-{'epoch': 26, 'iter': 30, 'avg_loss': 0.25758433283210624, 'avg_acc': 63.20564516129033, 'loss': 0.2891740899945684}
-{'epoch': 26, 'iter': 40, 'avg_loss': 0.2592809283393857, 'avg_acc': 63.71951219512195, 'loss': 0.26613390376704565}
-{'epoch': 26, 'iter': 50, 'avg_loss': 0.25824839525699567, 'avg_acc': 64.09313725490196, 'loss': 0.2824827160900116}
-{'epoch': 26, 'iter': 60, 'avg_loss': 0.25780640337715544, 'avg_acc': 64.65163934426229, 'loss': 0.24083184445148778}
-{'epoch': 26, 'iter': 70, 'avg_loss': 0.2580829427327964, 'avg_acc': 64.65669014084507, 'loss': 0.25817057776553803}
-{'epoch': 26, 'iter': 80, 'avg_loss': 0.2580768609673349, 'avg_acc': 64.54475308641975, 'loss': 0.2747864248334995}
-{'epoch': 26, 'iter': 90, 'avg_loss': 0.25729247485914664, 'avg_acc': 64.66346153846155, 'loss': 0.2389015978428688}
-{'epoch': 26, 'iter': 100, 'avg_loss': 0.2560200253809439, 'avg_acc': 65.25371287128714, 'loss': 0.25590129307602183}
-{'epoch': 26, 'iter': 110, 'avg_loss': 0.25613148802481156, 'avg_acc': 65.03378378378379, 'loss': 0.2797669459149087}
-{'epoch': 26, 'iter': 120, 'avg_loss': 0.2561654016593134, 'avg_acc': 64.77272727272727, 'loss': 0.2685213398322698}
-{'epoch': 26, 'iter': 130, 'avg_loss': 0.25539090501172146, 'avg_acc': 64.81393129770993, 'loss': 0.25274250579689445}
-{'epoch': 'EP26_train', 'avg_loss': 0.2550352963609938, 'total_acc': 64.97984773846842, 'f1_scores': 0.7055496873194891}
-{'epoch': 27, 'iter': 0, 'avg_loss': 0.25617674946956215, 'avg_acc': 65.625, 'loss': 0.25617674946956215}
-{'epoch': 27, 'iter': 10, 'avg_loss': 0.25899543793091034, 'avg_acc': 62.78409090909091, 'loss': 0.2606301894069572}
-{'epoch': 27, 'iter': 20, 'avg_loss': 0.25471781061030524, 'avg_acc': 65.92261904761905, 'loss': 0.25782356740234846}
-{'epoch': 27, 'iter': 30, 'avg_loss': 0.2549367342017548, 'avg_acc': 66.33064516129032, 'loss': 0.27704766340346915}
-{'epoch': 27, 'iter': 40, 'avg_loss': 0.2571457871628449, 'avg_acc': 65.9298780487805, 'loss': 0.25642032908509854}
-{'epoch': 27, 'iter': 50, 'avg_loss': 0.2548825445805191, 'avg_acc': 66.66666666666666, 'loss': 0.27471451116070966}
-{'epoch': 27, 'iter': 60, 'avg_loss': 0.2545937786158268, 'avg_acc': 66.75204918032787, 'loss': 0.23979712062902891}
-{'epoch': 27, 'iter': 70, 'avg_loss': 0.25406263341421964, 'avg_acc': 66.54929577464789, 'loss': 0.24030205767392737}
-{'epoch': 27, 'iter': 80, 'avg_loss': 0.2535737624447699, 'avg_acc': 65.74074074074075, 'loss': 0.27111658550159384}
-{'epoch': 27, 'iter': 90, 'avg_loss': 0.253599454201415, 'avg_acc': 65.65934065934066, 'loss': 0.2519396563320697}
-{'epoch': 27, 'iter': 100, 'avg_loss': 0.2534001371681459, 'avg_acc': 65.81064356435643, 'loss': 0.2344533461586187}
-{'epoch': 27, 'iter': 110, 'avg_loss': 0.25425801513421453, 'avg_acc': 65.28716216216216, 'loss': 0.26742044870700604}
-{'epoch': 27, 'iter': 120, 'avg_loss': 0.2547818254277365, 'avg_acc': 65.03099173553719, 'loss': 0.2549365975998756}
-{'epoch': 27, 'iter': 130, 'avg_loss': 0.2543295232611961, 'avg_acc': 65.19561068702289, 'loss': 0.24835214412025508}
-{'epoch': 'EP27_train', 'avg_loss': 0.2542727477574175, 'total_acc': 65.27093596059113, 'f1_scores': 0.7093487849659514}
-{'epoch': 28, 'iter': 0, 'avg_loss': 0.25692131361074644, 'avg_acc': 59.375, 'loss': 0.25692131361074644}
-{'epoch': 28, 'iter': 10, 'avg_loss': 0.2648152564133232, 'avg_acc': 56.25, 'loss': 0.25529585831320994}
-{'epoch': 28, 'iter': 20, 'avg_loss': 0.25771505880072015, 'avg_acc': 62.05357142857143, 'loss': 0.27638299958061907}
-{'epoch': 28, 'iter': 30, 'avg_loss': 0.2572754335196763, 'avg_acc': 62.19758064516129, 'loss': 0.27668113946167844}
-{'epoch': 28, 'iter': 40, 'avg_loss': 0.2593649392206322, 'avg_acc': 61.661585365853654, 'loss': 0.24425549670097876}
-{'epoch': 28, 'iter': 50, 'avg_loss': 0.2573725147823918, 'avg_acc': 62.31617647058824, 'loss': 0.2906239657935592}
-{'epoch': 28, 'iter': 60, 'avg_loss': 0.257688528874264, 'avg_acc': 63.114754098360656, 'loss': 0.22741127294869198}
-{'epoch': 28, 'iter': 70, 'avg_loss': 0.2578137439679208, 'avg_acc': 63.3362676056338, 'loss': 0.2479740812199712}
-{'epoch': 28, 'iter': 80, 'avg_loss': 0.2584658514730541, 'avg_acc': 62.77006172839506, 'loss': 0.2807104577829672}
-{'epoch': 28, 'iter': 90, 'avg_loss': 0.25811471993630075, 'avg_acc': 63.18681318681318, 'loss': 0.25484438609529597}
-{'epoch': 28, 'iter': 100, 'avg_loss': 0.2576628743984516, 'avg_acc': 63.64480198019802, 'loss': 0.24531084917217477}
-{'epoch': 28, 'iter': 110, 'avg_loss': 0.2585892566460445, 'avg_acc': 63.51351351351351, 'loss': 0.292495866194648}
-{'epoch': 28, 'iter': 120, 'avg_loss': 0.25912517151389414, 'avg_acc': 63.27479338842975, 'loss': 0.2724719609679076}
-{'epoch': 28, 'iter': 130, 'avg_loss': 0.25834702212962035, 'avg_acc': 63.406488549618324, 'loss': 0.250953228847363}
-{'epoch': 'EP28_train', 'avg_loss': 0.2580613962912288, 'total_acc': 63.61397223466189, 'f1_scores': 0.6914725946089009}
-{'epoch': 29, 'iter': 0, 'avg_loss': 0.25052915771675544, 'avg_acc': 62.5, 'loss': 0.25052915771675544}
-{'epoch': 29, 'iter': 10, 'avg_loss': 0.26052779971161705, 'avg_acc': 60.22727272727273, 'loss': 0.26050637698067797}
-{'epoch': 29, 'iter': 20, 'avg_loss': 0.251907615493604, 'avg_acc': 64.58333333333334, 'loss': 0.2841275792424247}
-{'epoch': 29, 'iter': 30, 'avg_loss': 0.25194517573311964, 'avg_acc': 64.81854838709677, 'loss': 0.2609859581378779}
-{'epoch': 29, 'iter': 40, 'avg_loss': 0.2546754830468703, 'avg_acc': 64.32926829268293, 'loss': 0.26168576846956576}
-{'epoch': 29, 'iter': 50, 'avg_loss': 0.2546061326596438, 'avg_acc': 65.01225490196079, 'loss': 0.2829937332580812}
-{'epoch': 29, 'iter': 60, 'avg_loss': 0.2543366887167555, 'avg_acc': 65.57377049180327, 'loss': 0.22725234514882686}
-{'epoch': 29, 'iter': 70, 'avg_loss': 0.25405995388028846, 'avg_acc': 66.02112676056338, 'loss': 0.24559848330587944}
-{'epoch': 29, 'iter': 80, 'avg_loss': 0.25456777841029554, 'avg_acc': 65.47067901234568, 'loss': 0.27253250358931574}
-{'epoch': 29, 'iter': 90, 'avg_loss': 0.25488138503863267, 'avg_acc': 65.31593406593407, 'loss': 0.24647045106001184}
-{'epoch': 29, 'iter': 100, 'avg_loss': 0.2544917141721837, 'avg_acc': 65.625, 'loss': 0.250608751350098}
-{'epoch': 29, 'iter': 110, 'avg_loss': 0.25534149466174855, 'avg_acc': 65.259009009009, 'loss': 0.27660749281978625}
-{'epoch': 29, 'iter': 120, 'avg_loss': 0.2557797524662894, 'avg_acc': 64.79855371900827, 'loss': 0.25653042781069807}
-{'epoch': 29, 'iter': 130, 'avg_loss': 0.2549619773164907, 'avg_acc': 64.93320610687023, 'loss': 0.255579253324413}
-{'epoch': 'EP29_train', 'avg_loss': 0.25498205129496854, 'total_acc': 65.04702194357367, 'f1_scores': 0.706791614055964}
-{'epoch': 30, 'iter': 0, 'avg_loss': 0.2611116193122435, 'avg_acc': 56.25, 'loss': 0.2611116193122435}
-{'epoch': 30, 'iter': 10, 'avg_loss': 0.26039467004131933, 'avg_acc': 61.93181818181818, 'loss': 0.266027308004368}
-{'epoch': 30, 'iter': 20, 'avg_loss': 0.25684688356514335, 'avg_acc': 65.02976190476191, 'loss': 0.2995733075928066}
-{'epoch': 30, 'iter': 30, 'avg_loss': 0.25769764638897696, 'avg_acc': 63.306451612903224, 'loss': 0.26640763411510954}
-{'epoch': 30, 'iter': 40, 'avg_loss': 0.2598228421429362, 'avg_acc': 63.1859756097561, 'loss': 0.2596287414633999}
-{'epoch': 30, 'iter': 50, 'avg_loss': 0.25828051713512395, 'avg_acc': 64.09313725490196, 'loss': 0.2627895757188656}
-{'epoch': 30, 'iter': 60, 'avg_loss': 0.258487475676421, 'avg_acc': 64.85655737704919, 'loss': 0.23522538728486453}
-{'epoch': 30, 'iter': 70, 'avg_loss': 0.25914953924582335, 'avg_acc': 64.87676056338029, 'loss': 0.26045005545659344}
-{'epoch': 30, 'iter': 80, 'avg_loss': 0.25939814345289774, 'avg_acc': 64.6604938271605, 'loss': 0.2827594584424722}
-{'epoch': 30, 'iter': 90, 'avg_loss': 0.2591516550912719, 'avg_acc': 64.80082417582418, 'loss': 0.2483942582182002}
-{'epoch': 30, 'iter': 100, 'avg_loss': 0.25791469465005346, 'avg_acc': 65.25371287128714, 'loss': 0.2569532432768012}
-{'epoch': 30, 'iter': 110, 'avg_loss': 0.2587035895108561, 'avg_acc': 64.92117117117117, 'loss': 0.2835422732092151}
-{'epoch': 30, 'iter': 120, 'avg_loss': 0.25887263245787084, 'avg_acc': 64.64359504132231, 'loss': 0.2767699505492211}
-{'epoch': 30, 'iter': 130, 'avg_loss': 0.2577120910487247, 'avg_acc': 65.00477099236642, 'loss': 0.2522784507874738}
-{'epoch': 'EP30_train', 'avg_loss': 0.25784958339090014, 'total_acc': 64.84549932825794, 'f1_scores': 0.7050044984815701}
-{'epoch': 31, 'iter': 0, 'avg_loss': 0.2675204331268373, 'avg_acc': 59.375, 'loss': 0.2675204331268373}
-{'epoch': 31, 'iter': 10, 'avg_loss': 0.2645370611150921, 'avg_acc': 56.53409090909091, 'loss': 0.25847609732240273}
-{'epoch': 31, 'iter': 20, 'avg_loss': 0.2564350670105349, 'avg_acc': 61.60714285714286, 'loss': 0.2557702567797995}
-{'epoch': 31, 'iter': 30, 'avg_loss': 0.25581176767386105, 'avg_acc': 61.79435483870967, 'loss': 0.2620607241386616}
-{'epoch': 31, 'iter': 40, 'avg_loss': 0.25715122495389453, 'avg_acc': 62.04268292682927, 'loss': 0.2538966173655613}
-{'epoch': 31, 'iter': 50, 'avg_loss': 0.2551320110146948, 'avg_acc': 63.48039215686274, 'loss': 0.2564070501203202}
-{'epoch': 31, 'iter': 60, 'avg_loss': 0.2544979228724366, 'avg_acc': 64.49795081967213, 'loss': 0.2577636601848618}
-{'epoch': 31, 'iter': 70, 'avg_loss': 0.2546636317785012, 'avg_acc': 65.09683098591549, 'loss': 0.23983252436261993}
-{'epoch': 31, 'iter': 80, 'avg_loss': 0.25395857401306465, 'avg_acc': 64.93055555555556, 'loss': 0.2633701524670268}
-{'epoch': 31, 'iter': 90, 'avg_loss': 0.25376226903246346, 'avg_acc': 64.73214285714286, 'loss': 0.23362009213782844}
-{'epoch': 31, 'iter': 100, 'avg_loss': 0.2535028870708183, 'avg_acc': 64.97524752475248, 'loss': 0.24333963188397384}
-{'epoch': 31, 'iter': 110, 'avg_loss': 0.2545685544424986, 'avg_acc': 64.52702702702703, 'loss': 0.27836900692450073}
-{'epoch': 31, 'iter': 120, 'avg_loss': 0.2546887777635413, 'avg_acc': 64.3853305785124, 'loss': 0.26651921938063033}
-{'epoch': 31, 'iter': 130, 'avg_loss': 0.25396257783187204, 'avg_acc': 64.59923664122137, 'loss': 0.24038179227513215}
-{'epoch': 'EP31_train', 'avg_loss': 0.25461126420823127, 'total_acc': 64.59919390953874, 'f1_scores': 0.7062292840925183}
-{'epoch': 32, 'iter': 0, 'avg_loss': 0.2772394595976948, 'avg_acc': 46.875, 'loss': 0.2772394595976948}
-{'epoch': 32, 'iter': 10, 'avg_loss': 0.2618745512249229, 'avg_acc': 59.65909090909091, 'loss': 0.258153714101614}
-{'epoch': 32, 'iter': 20, 'avg_loss': 0.25459001364041794, 'avg_acc': 62.94642857142857, 'loss': 0.2675336333884875}
-{'epoch': 32, 'iter': 30, 'avg_loss': 0.25597129924074125, 'avg_acc': 62.80241935483871, 'loss': 0.27386481356351006}
-{'epoch': 32, 'iter': 40, 'avg_loss': 0.25672467788536096, 'avg_acc': 63.03353658536586, 'loss': 0.24226649171373538}
-{'epoch': 32, 'iter': 50, 'avg_loss': 0.25575694331980225, 'avg_acc': 63.23529411764706, 'loss': 0.2758521479126037}
-{'epoch': 32, 'iter': 60, 'avg_loss': 0.2551695315673174, 'avg_acc': 64.24180327868852, 'loss': 0.2328687952380538}
-{'epoch': 32, 'iter': 70, 'avg_loss': 0.2550065816522177, 'avg_acc': 65.14084507042254, 'loss': 0.2527357139497651}
-{'epoch': 32, 'iter': 80, 'avg_loss': 0.2552991343403203, 'avg_acc': 64.42901234567901, 'loss': 0.2718402367841983}
-{'epoch': 32, 'iter': 90, 'avg_loss': 0.25483039793009576, 'avg_acc': 64.59478021978022, 'loss': 0.23996479129284254}
-{'epoch': 32, 'iter': 100, 'avg_loss': 0.25386352969653964, 'avg_acc': 65.0680693069307, 'loss': 0.2296203724410069}
-{'epoch': 32, 'iter': 110, 'avg_loss': 0.25489235310744474, 'avg_acc': 64.86486486486487, 'loss': 0.26176003971480505}
-{'epoch': 32, 'iter': 120, 'avg_loss': 0.2557481504913548, 'avg_acc': 64.69524793388429, 'loss': 0.2707040726280476}
-{'epoch': 32, 'iter': 130, 'avg_loss': 0.25559327407041754, 'avg_acc': 64.76622137404581, 'loss': 0.2403441187302633}
-{'epoch': 'EP32_train', 'avg_loss': 0.255964848122905, 'total_acc': 64.80071652485445, 'f1_scores': 0.7052910823528752}
-{'epoch': 33, 'iter': 0, 'avg_loss': 0.2690383493573693, 'avg_acc': 62.5, 'loss': 0.2690383493573693}
-{'epoch': 33, 'iter': 10, 'avg_loss': 0.26146402663241725, 'avg_acc': 58.52272727272727, 'loss': 0.25321996848482997}
-{'epoch': 33, 'iter': 20, 'avg_loss': 0.2540437379210516, 'avg_acc': 63.69047619047619, 'loss': 0.2647876200606853}
-{'epoch': 33, 'iter': 30, 'avg_loss': 0.2534442838890302, 'avg_acc': 64.01209677419355, 'loss': 0.2732148685442683}
-{'epoch': 33, 'iter': 40, 'avg_loss': 0.25470788437799197, 'avg_acc': 64.02439024390245, 'loss': 0.24384006034363534}
-{'epoch': 33, 'iter': 50, 'avg_loss': 0.2530223293533986, 'avg_acc': 64.27696078431373, 'loss': 0.2739275179646451}
-{'epoch': 33, 'iter': 60, 'avg_loss': 0.2533938860963416, 'avg_acc': 64.75409836065575, 'loss': 0.2622981450198754}
-{'epoch': 33, 'iter': 70, 'avg_loss': 0.25350442505686094, 'avg_acc': 65.49295774647888, 'loss': 0.25538126658495586}
-{'epoch': 33, 'iter': 80, 'avg_loss': 0.2539863184176935, 'avg_acc': 65.04629629629629, 'loss': 0.2769780112774762}
-{'epoch': 33, 'iter': 90, 'avg_loss': 0.25381274510617446, 'avg_acc': 65.31593406593407, 'loss': 0.2501505567114139}
-{'epoch': 33, 'iter': 100, 'avg_loss': 0.25338572770864703, 'avg_acc': 65.53217821782178, 'loss': 0.24379589824403475}
-{'epoch': 33, 'iter': 110, 'avg_loss': 0.25428917858692096, 'avg_acc': 64.97747747747748, 'loss': 0.2747854365437011}
-{'epoch': 33, 'iter': 120, 'avg_loss': 0.2545395293037861, 'avg_acc': 64.92768595041323, 'loss': 0.2610752359725146}
-{'epoch': 33, 'iter': 130, 'avg_loss': 0.25432255944772864, 'avg_acc': 64.98091603053436, 'loss': 0.24432330129103058}
-{'epoch': 'EP33_train', 'avg_loss': 0.25455635273846355, 'total_acc': 64.95745633676668, 'f1_scores': 0.7097361646703639}
-{'epoch': 34, 'iter': 0, 'avg_loss': 0.26628194946407896, 'avg_acc': 53.125, 'loss': 0.26628194946407896}
-{'epoch': 34, 'iter': 10, 'avg_loss': 0.2543956032427632, 'avg_acc': 60.51136363636363, 'loss': 0.26540770660084584}
-{'epoch': 34, 'iter': 20, 'avg_loss': 0.251979051993534, 'avg_acc': 65.02976190476191, 'loss': 0.2561452740590409}
-{'epoch': 34, 'iter': 30, 'avg_loss': 0.2530487420879217, 'avg_acc': 64.91935483870968, 'loss': 0.24171175484759388}
-{'epoch': 34, 'iter': 40, 'avg_loss': 0.25509537444746755, 'avg_acc': 65.01524390243902, 'loss': 0.2367718650016286}
-{'epoch': 34, 'iter': 50, 'avg_loss': 0.2539469603533249, 'avg_acc': 65.19607843137256, 'loss': 0.2714350609804309}
-{'epoch': 34, 'iter': 60, 'avg_loss': 0.25494083478642493, 'avg_acc': 65.06147540983606, 'loss': 0.23776861356925238}
-{'epoch': 34, 'iter': 70, 'avg_loss': 0.25521112042643035, 'avg_acc': 65.14084507042254, 'loss': 0.2492921343668968}
-{'epoch': 34, 'iter': 80, 'avg_loss': 0.25519893006698735, 'avg_acc': 64.69907407407408, 'loss': 0.2596405192680322}
-{'epoch': 34, 'iter': 90, 'avg_loss': 0.2546281662225477, 'avg_acc': 65.24725274725274, 'loss': 0.25134941592198495}
-{'epoch': 34, 'iter': 100, 'avg_loss': 0.25354868772751754, 'avg_acc': 65.47029702970298, 'loss': 0.22648680010422595}
-{'epoch': 34, 'iter': 110, 'avg_loss': 0.2544077293930657, 'avg_acc': 65.1463963963964, 'loss': 0.2682111982399614}
-{'epoch': 34, 'iter': 120, 'avg_loss': 0.25483799759393644, 'avg_acc': 65.03099173553719, 'loss': 0.2713444605679618}
-{'epoch': 34, 'iter': 130, 'avg_loss': 0.2546619147471592, 'avg_acc': 65.00477099236642, 'loss': 0.25294592375884606}
-{'epoch': 'EP34_train', 'avg_loss': 0.2542659949807741, 'total_acc': 65.11419614867891, 'f1_scores': 0.7097358432966665}
-{'epoch': 35, 'iter': 0, 'avg_loss': 0.28799108702800624, 'avg_acc': 50.0, 'loss': 0.28799108702800624}
-{'epoch': 35, 'iter': 10, 'avg_loss': 0.26622864084351455, 'avg_acc': 57.38636363636363, 'loss': 0.2643480776282234}
-{'epoch': 35, 'iter': 20, 'avg_loss': 0.2574128418872259, 'avg_acc': 62.94642857142857, 'loss': 0.2552773616450525}
-{'epoch': 35, 'iter': 30, 'avg_loss': 0.256285966895296, 'avg_acc': 63.20564516129033, 'loss': 0.25389507527233945}
-{'epoch': 35, 'iter': 40, 'avg_loss': 0.25674638240728725, 'avg_acc': 64.10060975609755, 'loss': 0.2492707925974043}
-{'epoch': 35, 'iter': 50, 'avg_loss': 0.2546811835131572, 'avg_acc': 65.68627450980392, 'loss': 0.2715115005557891}
-{'epoch': 35, 'iter': 60, 'avg_loss': 0.25557067923085786, 'avg_acc': 65.82991803278688, 'loss': 0.23475308922672866}
-{'epoch': 35, 'iter': 70, 'avg_loss': 0.25589876239544573, 'avg_acc': 65.9330985915493, 'loss': 0.2710007619392952}
-{'epoch': 35, 'iter': 80, 'avg_loss': 0.2560756713624328, 'avg_acc': 65.4320987654321, 'loss': 0.29187866243504296}
-{'epoch': 35, 'iter': 90, 'avg_loss': 0.25559745314015175, 'avg_acc': 65.48763736263736, 'loss': 0.23219366193318688}
-{'epoch': 35, 'iter': 100, 'avg_loss': 0.25448832913739766, 'avg_acc': 65.81064356435643, 'loss': 0.2416019915279516}
-{'epoch': 35, 'iter': 110, 'avg_loss': 0.25535314784823593, 'avg_acc': 65.59684684684684, 'loss': 0.28737051627179455}
-{'epoch': 35, 'iter': 120, 'avg_loss': 0.25549349845216485, 'avg_acc': 65.28925619834712, 'loss': 0.27033380157380243}
-{'epoch': 35, 'iter': 130, 'avg_loss': 0.25467001034791653, 'avg_acc': 65.45801526717557, 'loss': 0.24720027345742324}
-{'epoch': 'EP35_train', 'avg_loss': 0.25453753370768833, 'total_acc': 65.47245857590686, 'f1_scores': 0.7129246002050094}
-{'epoch': 36, 'iter': 0, 'avg_loss': 0.24985247832553015, 'avg_acc': 62.5, 'loss': 0.24985247832553015}
-{'epoch': 36, 'iter': 10, 'avg_loss': 0.261328828957276, 'avg_acc': 60.51136363636363, 'loss': 0.26282190910874953}
-{'epoch': 36, 'iter': 20, 'avg_loss': 0.2531636129736346, 'avg_acc': 64.73214285714286, 'loss': 0.2657156265288287}
-{'epoch': 36, 'iter': 30, 'avg_loss': 0.25472504875668966, 'avg_acc': 64.91935483870968, 'loss': 0.2616441344445255}
-{'epoch': 36, 'iter': 40, 'avg_loss': 0.2562669911240885, 'avg_acc': 64.71036585365853, 'loss': 0.24951358841384977}
-{'epoch': 36, 'iter': 50, 'avg_loss': 0.2540047992779506, 'avg_acc': 65.44117647058823, 'loss': 0.28398088090677576}
-{'epoch': 36, 'iter': 60, 'avg_loss': 0.256287915880939, 'avg_acc': 64.85655737704919, 'loss': 0.2500656235682592}
-{'epoch': 36, 'iter': 70, 'avg_loss': 0.25623910972857383, 'avg_acc': 64.96478873239437, 'loss': 0.2658701390506459}
-{'epoch': 36, 'iter': 80, 'avg_loss': 0.25647381799003444, 'avg_acc': 64.12037037037037, 'loss': 0.2718119638901563}
-{'epoch': 36, 'iter': 90, 'avg_loss': 0.25647240197746124, 'avg_acc': 64.04532967032966, 'loss': 0.24323623462461388}
-{'epoch': 36, 'iter': 100, 'avg_loss': 0.2556704601470157, 'avg_acc': 64.35643564356435, 'loss': 0.25891554330007693}
-{'epoch': 36, 'iter': 110, 'avg_loss': 0.2556079541492416, 'avg_acc': 64.07657657657657, 'loss': 0.27726685538813656}
-{'epoch': 36, 'iter': 120, 'avg_loss': 0.25601856865546563, 'avg_acc': 63.946280991735534, 'loss': 0.2599716622491022}
-{'epoch': 36, 'iter': 130, 'avg_loss': 0.25563929499095744, 'avg_acc': 64.00286259541986, 'loss': 0.2548502413210534}
-{'epoch': 'EP36_train', 'avg_loss': 0.25563108581812044, 'total_acc': 64.06180026869681, 'f1_scores': 0.6977319328263979}
-{'epoch': 37, 'iter': 0, 'avg_loss': 0.271809711293445, 'avg_acc': 59.375, 'loss': 0.271809711293445}
-{'epoch': 37, 'iter': 10, 'avg_loss': 0.2636414079188849, 'avg_acc': 59.375, 'loss': 0.24718721585798317}
-{'epoch': 37, 'iter': 20, 'avg_loss': 0.2556576033182093, 'avg_acc': 63.39285714285714, 'loss': 0.25695105424798775}
-{'epoch': 37, 'iter': 30, 'avg_loss': 0.2557461560921447, 'avg_acc': 63.608870967741936, 'loss': 0.28407487189523245}
-{'epoch': 37, 'iter': 40, 'avg_loss': 0.25680646840253435, 'avg_acc': 63.643292682926834, 'loss': 0.25396578250859286}
-{'epoch': 37, 'iter': 50, 'avg_loss': 0.25478685290812875, 'avg_acc': 65.19607843137256, 'loss': 0.2787324485422817}
-{'epoch': 37, 'iter': 60, 'avg_loss': 0.2546367176221884, 'avg_acc': 65.57377049180327, 'loss': 0.23638208508920602}
-{'epoch': 37, 'iter': 70, 'avg_loss': 0.25484655381795296, 'avg_acc': 65.80105633802818, 'loss': 0.245760464324316}
-{'epoch': 37, 'iter': 80, 'avg_loss': 0.2551547980035816, 'avg_acc': 65.31635802469135, 'loss': 0.2681767592712926}
-{'epoch': 37, 'iter': 90, 'avg_loss': 0.2545840312401238, 'avg_acc': 65.48763736263736, 'loss': 0.24131859931276267}
-{'epoch': 37, 'iter': 100, 'avg_loss': 0.2538525916030669, 'avg_acc': 65.5940594059406, 'loss': 0.25745966827240147}
-{'epoch': 37, 'iter': 110, 'avg_loss': 0.2546843027387741, 'avg_acc': 65.23085585585585, 'loss': 0.27526166762407095}
-{'epoch': 37, 'iter': 120, 'avg_loss': 0.2551934357365161, 'avg_acc': 64.97933884297521, 'loss': 0.2752047984705054}
-{'epoch': 37, 'iter': 130, 'avg_loss': 0.25419868951488034, 'avg_acc': 65.00477099236642, 'loss': 0.24651599624153925}
-{'epoch': 'EP37_train', 'avg_loss': 0.25430016143124695, 'total_acc': 65.00223914017018, 'f1_scores': 0.7093189510905086}
-{'epoch': 38, 'iter': 0, 'avg_loss': 0.27028676726243767, 'avg_acc': 56.25, 'loss': 0.27028676726243767}
-{'epoch': 38, 'iter': 10, 'avg_loss': 0.2637908343263446, 'avg_acc': 59.09090909090909, 'loss': 0.25715448994632034}
-{'epoch': 38, 'iter': 20, 'avg_loss': 0.2553252796390281, 'avg_acc': 62.5, 'loss': 0.2653379341783355}
-{'epoch': 38, 'iter': 30, 'avg_loss': 0.25656534678268267, 'avg_acc': 62.298387096774185, 'loss': 0.2604616566599296}
-{'epoch': 38, 'iter': 40, 'avg_loss': 0.2583924156518488, 'avg_acc': 62.57621951219512, 'loss': 0.2551506076563328}
-{'epoch': 38, 'iter': 50, 'avg_loss': 0.2563331768726883, 'avg_acc': 64.27696078431373, 'loss': 0.2755425590056575}
-{'epoch': 38, 'iter': 60, 'avg_loss': 0.2570704337112068, 'avg_acc': 64.65163934426229, 'loss': 0.24972189309424458}
-{'epoch': 38, 'iter': 70, 'avg_loss': 0.25783429334734387, 'avg_acc': 64.74471830985915, 'loss': 0.27116363155950496}
-{'epoch': 38, 'iter': 80, 'avg_loss': 0.2578582467352274, 'avg_acc': 64.50617283950618, 'loss': 0.2885895175996893}
-{'epoch': 38, 'iter': 90, 'avg_loss': 0.25729574240444525, 'avg_acc': 64.8695054945055, 'loss': 0.2650219735049047}
-{'epoch': 38, 'iter': 100, 'avg_loss': 0.2560609203584081, 'avg_acc': 65.43935643564357, 'loss': 0.22106316526428924}
-{'epoch': 38, 'iter': 110, 'avg_loss': 0.2566888772951527, 'avg_acc': 65.39977477477478, 'loss': 0.26856279555769497}
-{'epoch': 38, 'iter': 120, 'avg_loss': 0.2573689246070848, 'avg_acc': 65.05681818181817, 'loss': 0.26843195368876743}
-{'epoch': 38, 'iter': 130, 'avg_loss': 0.2569052051861539, 'avg_acc': 65.02862595419847, 'loss': 0.2369161839695672}
-{'epoch': 'EP38_train', 'avg_loss': 0.25662522912331337, 'total_acc': 65.11419614867891, 'f1_scores': 0.7077554857868731}
-{'epoch': 39, 'iter': 0, 'avg_loss': 0.25836172450957356, 'avg_acc': 62.5, 'loss': 0.25836172450957356}
-{'epoch': 39, 'iter': 10, 'avg_loss': 0.25987637474799263, 'avg_acc': 58.23863636363637, 'loss': 0.265786406327302}
-{'epoch': 39, 'iter': 20, 'avg_loss': 0.25388897459955606, 'avg_acc': 64.13690476190477, 'loss': 0.23972396174394817}
-{'epoch': 39, 'iter': 30, 'avg_loss': 0.25358415035940973, 'avg_acc': 64.21370967741935, 'loss': 0.25704903043418065}
-{'epoch': 39, 'iter': 40, 'avg_loss': 0.25547646032702814, 'avg_acc': 64.32926829268293, 'loss': 0.25020247131331935}
-{'epoch': 39, 'iter': 50, 'avg_loss': 0.25327925701642434, 'avg_acc': 65.68627450980392, 'loss': 0.2588261314164941}
-{'epoch': 39, 'iter': 60, 'avg_loss': 0.2539124732604434, 'avg_acc': 65.3688524590164, 'loss': 0.2529466220887246}
-{'epoch': 39, 'iter': 70, 'avg_loss': 0.2543014295196708, 'avg_acc': 65.44894366197182, 'loss': 0.2559600246284422}
-{'epoch': 39, 'iter': 80, 'avg_loss': 0.2556491630843784, 'avg_acc': 64.81481481481481, 'loss': 0.27130307459911557}
-{'epoch': 39, 'iter': 90, 'avg_loss': 0.2557289105610908, 'avg_acc': 64.6978021978022, 'loss': 0.24772473585016996}
-{'epoch': 39, 'iter': 100, 'avg_loss': 0.254561380254244, 'avg_acc': 65.34653465346535, 'loss': 0.25502505617953375}
-{'epoch': 39, 'iter': 110, 'avg_loss': 0.25529591190632145, 'avg_acc': 65.03378378378379, 'loss': 0.25816596131117614}
-{'epoch': 39, 'iter': 120, 'avg_loss': 0.2548919253092304, 'avg_acc': 64.95351239669421, 'loss': 0.25689691769723916}
-{'epoch': 39, 'iter': 130, 'avg_loss': 0.2548408370111774, 'avg_acc': 65.00477099236642, 'loss': 0.24463700815665235}
-{'epoch': 'EP39_train', 'avg_loss': 0.25479591058390527, 'total_acc': 65.11419614867891, 'f1_scores': 0.7074971694010437}
-{'epoch': 40, 'iter': 0, 'avg_loss': 0.2523547610183446, 'avg_acc': 56.25, 'loss': 0.2523547610183446}
-{'epoch': 40, 'iter': 10, 'avg_loss': 0.2588388245498276, 'avg_acc': 57.38636363636363, 'loss': 0.262599171037339}
-{'epoch': 40, 'iter': 20, 'avg_loss': 0.2512788444077668, 'avg_acc': 64.43452380952381, 'loss': 0.25951140763234953}
-{'epoch': 40, 'iter': 30, 'avg_loss': 0.2515005892404029, 'avg_acc': 65.32258064516128, 'loss': 0.2601896048836352}
-{'epoch': 40, 'iter': 40, 'avg_loss': 0.2552127854630851, 'avg_acc': 64.10060975609755, 'loss': 0.26245684238269207}
-{'epoch': 40, 'iter': 50, 'avg_loss': 0.25362672718372337, 'avg_acc': 64.95098039215686, 'loss': 0.2674940393010599}
-{'epoch': 40, 'iter': 60, 'avg_loss': 0.2550152489091022, 'avg_acc': 65.11270491803278, 'loss': 0.2368103753747164}
-{'epoch': 40, 'iter': 70, 'avg_loss': 0.2549098861860805, 'avg_acc': 65.40492957746478, 'loss': 0.2596036693553612}
-{'epoch': 40, 'iter': 80, 'avg_loss': 0.25561765450280904, 'avg_acc': 65.12345679012346, 'loss': 0.2723388660747657}
-{'epoch': 40, 'iter': 90, 'avg_loss': 0.25535550362114945, 'avg_acc': 65.14423076923077, 'loss': 0.23288813510407635}
-{'epoch': 40, 'iter': 100, 'avg_loss': 0.25459706985540204, 'avg_acc': 65.40841584158416, 'loss': 0.2514220331663637}
-{'epoch': 40, 'iter': 110, 'avg_loss': 0.25492983248771844, 'avg_acc': 65.23085585585585, 'loss': 0.27981089129996556}
-{'epoch': 40, 'iter': 120, 'avg_loss': 0.25553918736397685, 'avg_acc': 64.95351239669421, 'loss': 0.2770541316006399}
-{'epoch': 40, 'iter': 130, 'avg_loss': 0.25493938075232275, 'avg_acc': 65.12404580152672, 'loss': 0.2406107781355006}
-{'epoch': 'EP40_train', 'avg_loss': 0.2546186473588239, 'total_acc': 65.38289296909987, 'f1_scores': 0.7099134619068703}
-{'epoch': 41, 'iter': 0, 'avg_loss': 0.2662331595103556, 'avg_acc': 56.25, 'loss': 0.2662331595103556}
-{'epoch': 41, 'iter': 10, 'avg_loss': 0.26267756988962615, 'avg_acc': 59.65909090909091, 'loss': 0.2665449387787118}
-{'epoch': 41, 'iter': 20, 'avg_loss': 0.25619980062965986, 'avg_acc': 63.83928571428571, 'loss': 0.27851851131288186}
-{'epoch': 41, 'iter': 30, 'avg_loss': 0.25460411621566237, 'avg_acc': 64.41532258064517, 'loss': 0.2822378204299249}
-{'epoch': 41, 'iter': 40, 'avg_loss': 0.2569706527233094, 'avg_acc': 64.2530487804878, 'loss': 0.251885353189469}
-{'epoch': 41, 'iter': 50, 'avg_loss': 0.255232715952242, 'avg_acc': 65.19607843137256, 'loss': 0.25515238970657655}
-{'epoch': 41, 'iter': 60, 'avg_loss': 0.25525553453817496, 'avg_acc': 65.1639344262295, 'loss': 0.25961147057426254}
-{'epoch': 41, 'iter': 70, 'avg_loss': 0.2554952030175601, 'avg_acc': 65.625, 'loss': 0.24273649037104406}
-{'epoch': 41, 'iter': 80, 'avg_loss': 0.2551922262986741, 'avg_acc': 65.27777777777779, 'loss': 0.26872593618099927}
-{'epoch': 41, 'iter': 90, 'avg_loss': 0.2555140737952319, 'avg_acc': 65.24725274725274, 'loss': 0.25112739122125405}
-{'epoch': 41, 'iter': 100, 'avg_loss': 0.25505191152004025, 'avg_acc': 65.37747524752476, 'loss': 0.25864676582204993}
-{'epoch': 41, 'iter': 110, 'avg_loss': 0.2559990091447903, 'avg_acc': 65.03378378378379, 'loss': 0.2922087347865597}
-{'epoch': 41, 'iter': 120, 'avg_loss': 0.25657510305495607, 'avg_acc': 64.95351239669421, 'loss': 0.26574836739861696}
-{'epoch': 41, 'iter': 130, 'avg_loss': 0.2557996496185652, 'avg_acc': 65.12404580152672, 'loss': 0.2530992841396125}
-{'epoch': 'EP41_train', 'avg_loss': 0.25546669520919796, 'total_acc': 65.13658755038065, 'f1_scores': 0.7093793873772777}
-{'epoch': 42, 'iter': 0, 'avg_loss': 0.27610942421655893, 'avg_acc': 50.0, 'loss': 0.27610942421655893}
-{'epoch': 42, 'iter': 10, 'avg_loss': 0.2591807299177472, 'avg_acc': 59.65909090909091, 'loss': 0.26152059172609043}
-{'epoch': 42, 'iter': 20, 'avg_loss': 0.25025555993223253, 'avg_acc': 65.32738095238095, 'loss': 0.2545552260452106}
-{'epoch': 42, 'iter': 30, 'avg_loss': 0.2508134692520615, 'avg_acc': 64.01209677419355, 'loss': 0.26728315076226344}
-{'epoch': 42, 'iter': 40, 'avg_loss': 0.25300065638109054, 'avg_acc': 64.32926829268293, 'loss': 0.2500270282138704}
-{'epoch': 42, 'iter': 50, 'avg_loss': 0.25247137412181125, 'avg_acc': 64.82843137254902, 'loss': 0.2824459030050223}
-{'epoch': 42, 'iter': 60, 'avg_loss': 0.25398181572921263, 'avg_acc': 65.1639344262295, 'loss': 0.2432302198187374}
-{'epoch': 42, 'iter': 70, 'avg_loss': 0.2544043462071819, 'avg_acc': 65.3169014084507, 'loss': 0.2856849983785748}
-{'epoch': 42, 'iter': 80, 'avg_loss': 0.25546336540499565, 'avg_acc': 64.50617283950618, 'loss': 0.2834531464270315}
-{'epoch': 42, 'iter': 90, 'avg_loss': 0.2554587304631362, 'avg_acc': 64.62912087912088, 'loss': 0.2513222159089829}
-{'epoch': 42, 'iter': 100, 'avg_loss': 0.2551245158063329, 'avg_acc': 65.03712871287128, 'loss': 0.23612105370015762}
-{'epoch': 42, 'iter': 110, 'avg_loss': 0.25646544029477825, 'avg_acc': 64.2454954954955, 'loss': 0.2954627805433379}
-{'epoch': 42, 'iter': 120, 'avg_loss': 0.2570093544297032, 'avg_acc': 64.02376033057851, 'loss': 0.2609132140708295}
-{'epoch': 42, 'iter': 130, 'avg_loss': 0.25645621088729087, 'avg_acc': 64.12213740458014, 'loss': 0.2531802755862762}
-{'epoch': 'EP42_train', 'avg_loss': 0.2559037605102115, 'total_acc': 64.44245409762651, 'f1_scores': 0.7026200956154273}
-{'epoch': 43, 'iter': 0, 'avg_loss': 0.26903179233126395, 'avg_acc': 53.125, 'loss': 0.26903179233126395}
-{'epoch': 43, 'iter': 10, 'avg_loss': 0.2701840782296937, 'avg_acc': 58.23863636363637, 'loss': 0.2912261701796004}
-{'epoch': 43, 'iter': 20, 'avg_loss': 0.25854557557658675, 'avg_acc': 64.13690476190477, 'loss': 0.2541642123969073}
-{'epoch': 43, 'iter': 30, 'avg_loss': 0.25741193137790835, 'avg_acc': 63.20564516129033, 'loss': 0.27072486702705384}
-{'epoch': 43, 'iter': 40, 'avg_loss': 0.2591206205563753, 'avg_acc': 63.41463414634146, 'loss': 0.24755160678114407}
-{'epoch': 43, 'iter': 50, 'avg_loss': 0.25707528403256896, 'avg_acc': 63.90931372549019, 'loss': 0.2717791503234496}
-{'epoch': 43, 'iter': 60, 'avg_loss': 0.25750758346361435, 'avg_acc': 64.60040983606558, 'loss': 0.2596912916473164}
-{'epoch': 43, 'iter': 70, 'avg_loss': 0.2576069267267289, 'avg_acc': 64.70070422535211, 'loss': 0.2473092867715942}
-{'epoch': 43, 'iter': 80, 'avg_loss': 0.2574408388193317, 'avg_acc': 64.15895061728395, 'loss': 0.26756092821044924}
-{'epoch': 43, 'iter': 90, 'avg_loss': 0.25747426534911305, 'avg_acc': 64.01098901098901, 'loss': 0.2500250197075989}
-{'epoch': 43, 'iter': 100, 'avg_loss': 0.2569194147722893, 'avg_acc': 64.41831683168317, 'loss': 0.2513836956326096}
-{'epoch': 43, 'iter': 110, 'avg_loss': 0.25762836583529836, 'avg_acc': 64.2454954954955, 'loss': 0.264584571291201}
-{'epoch': 43, 'iter': 120, 'avg_loss': 0.2577457950455175, 'avg_acc': 63.99793388429752, 'loss': 0.2804427257690106}
-{'epoch': 43, 'iter': 130, 'avg_loss': 0.2572464011395542, 'avg_acc': 63.95515267175572, 'loss': 0.2481939988130242}
-{'epoch': 'EP43_train', 'avg_loss': 0.2573855103803143, 'total_acc': 64.06180026869681, 'f1_scores': 0.6965966361750653}
-{'epoch': 44, 'iter': 0, 'avg_loss': 0.24798071898274948, 'avg_acc': 56.25, 'loss': 0.24798071898274948}
-{'epoch': 44, 'iter': 10, 'avg_loss': 0.2588348719595804, 'avg_acc': 59.94318181818182, 'loss': 0.2735100308234126}
-{'epoch': 44, 'iter': 20, 'avg_loss': 0.25427454775161185, 'avg_acc': 63.83928571428571, 'loss': 0.2606368187912267}
-{'epoch': 44, 'iter': 30, 'avg_loss': 0.25601457848522297, 'avg_acc': 63.91129032258065, 'loss': 0.2678361710937419}
-{'epoch': 44, 'iter': 40, 'avg_loss': 0.25607300115265724, 'avg_acc': 64.78658536585365, 'loss': 0.24484980046242655}
-{'epoch': 44, 'iter': 50, 'avg_loss': 0.25534654313126826, 'avg_acc': 65.625, 'loss': 0.27686826781369483}
-{'epoch': 44, 'iter': 60, 'avg_loss': 0.2559547892539388, 'avg_acc': 65.67622950819673, 'loss': 0.24568760521352875}
-{'epoch': 44, 'iter': 70, 'avg_loss': 0.2558482801620949, 'avg_acc': 66.06514084507043, 'loss': 0.24952518359912443}
-{'epoch': 44, 'iter': 80, 'avg_loss': 0.25600551085838064, 'avg_acc': 65.58641975308642, 'loss': 0.28898678783723747}
-{'epoch': 44, 'iter': 90, 'avg_loss': 0.2566123444728138, 'avg_acc': 65.38461538461539, 'loss': 0.25049627278554}
-{'epoch': 44, 'iter': 100, 'avg_loss': 0.25563004643873605, 'avg_acc': 65.5940594059406, 'loss': 0.24413998400297843}
-{'epoch': 44, 'iter': 110, 'avg_loss': 0.25570465013172516, 'avg_acc': 65.39977477477478, 'loss': 0.25608695613390503}
-{'epoch': 44, 'iter': 120, 'avg_loss': 0.2557511959764309, 'avg_acc': 65.21177685950413, 'loss': 0.25639074856371735}
-{'epoch': 44, 'iter': 130, 'avg_loss': 0.2555969136534862, 'avg_acc': 65.14790076335878, 'loss': 0.2442418262548967}
-{'epoch': 'EP44_train', 'avg_loss': 0.25521112059894574, 'total_acc': 65.2037617554859, 'f1_scores': 0.7088930502380194}
-{'epoch': 45, 'iter': 0, 'avg_loss': 0.2685155726954511, 'avg_acc': 59.375, 'loss': 0.2685155726954511}
-{'epoch': 45, 'iter': 10, 'avg_loss': 0.26219423013152254, 'avg_acc': 60.51136363636363, 'loss': 0.2745021337592074}
-{'epoch': 45, 'iter': 20, 'avg_loss': 0.252608585101305, 'avg_acc': 65.77380952380952, 'loss': 0.26919077798343743}
-{'epoch': 45, 'iter': 30, 'avg_loss': 0.25138367510961884, 'avg_acc': 66.43145161290323, 'loss': 0.26315041444234205}
-{'epoch': 45, 'iter': 40, 'avg_loss': 0.2542671015062334, 'avg_acc': 65.09146341463415, 'loss': 0.25620321662108836}
-{'epoch': 45, 'iter': 50, 'avg_loss': 0.2541242369492276, 'avg_acc': 65.37990196078431, 'loss': 0.2818894945573496}
-{'epoch': 45, 'iter': 60, 'avg_loss': 0.25435206910981883, 'avg_acc': 65.21516393442623, 'loss': 0.24997542866789704}
-{'epoch': 45, 'iter': 70, 'avg_loss': 0.25394405884451754, 'avg_acc': 65.53697183098592, 'loss': 0.26142846423603516}
-{'epoch': 45, 'iter': 80, 'avg_loss': 0.25390525526849833, 'avg_acc': 65.16203703703704, 'loss': 0.29579847469559334}
-{'epoch': 45, 'iter': 90, 'avg_loss': 0.2535216387246231, 'avg_acc': 65.38461538461539, 'loss': 0.2537081867295845}
-{'epoch': 45, 'iter': 100, 'avg_loss': 0.25274145586753044, 'avg_acc': 66.05816831683168, 'loss': 0.25114340275220975}
-{'epoch': 45, 'iter': 110, 'avg_loss': 0.2536556957519055, 'avg_acc': 65.65315315315316, 'loss': 0.2735202738169359}
-{'epoch': 45, 'iter': 120, 'avg_loss': 0.2537505169438311, 'avg_acc': 65.49586776859503, 'loss': 0.2690569542504428}
-{'epoch': 45, 'iter': 130, 'avg_loss': 0.2531969029562607, 'avg_acc': 65.5057251908397, 'loss': 0.24729215925136874}
-{'epoch': 'EP45_train', 'avg_loss': 0.25316056466580794, 'total_acc': 65.60680698611733, 'f1_scores': 0.7137805291215199}
-{'epoch': 46, 'iter': 0, 'avg_loss': 0.26853775702573196, 'avg_acc': 50.0, 'loss': 0.26853775702573196}
-{'epoch': 46, 'iter': 10, 'avg_loss': 0.26434300642514263, 'avg_acc': 59.375, 'loss': 0.25670976197670825}
-{'epoch': 46, 'iter': 20, 'avg_loss': 0.25644804102916097, 'avg_acc': 62.94642857142857, 'loss': 0.28174159284058725}
-{'epoch': 46, 'iter': 30, 'avg_loss': 0.255452359602997, 'avg_acc': 63.50806451612904, 'loss': 0.26212131640152486}
-{'epoch': 46, 'iter': 40, 'avg_loss': 0.2582298264922253, 'avg_acc': 63.5670731707317, 'loss': 0.24770478391646325}
-{'epoch': 46, 'iter': 50, 'avg_loss': 0.2556865991345855, 'avg_acc': 64.70588235294117, 'loss': 0.2797534694803809}
-{'epoch': 46, 'iter': 60, 'avg_loss': 0.2558761754232454, 'avg_acc': 65.1639344262295, 'loss': 0.26204418541244323}
-{'epoch': 46, 'iter': 70, 'avg_loss': 0.2560315141074228, 'avg_acc': 65.27288732394366, 'loss': 0.2700218722660403}
-{'epoch': 46, 'iter': 80, 'avg_loss': 0.25603471153137214, 'avg_acc': 64.69907407407408, 'loss': 0.2689705673778267}
-{'epoch': 46, 'iter': 90, 'avg_loss': 0.2555083389516735, 'avg_acc': 64.80082417582418, 'loss': 0.25024275013486524}
-{'epoch': 46, 'iter': 100, 'avg_loss': 0.2542373030282688, 'avg_acc': 65.31559405940595, 'loss': 0.24666771226510978}
-{'epoch': 46, 'iter': 110, 'avg_loss': 0.2547317278966256, 'avg_acc': 64.86486486486487, 'loss': 0.2690721134690323}
-{'epoch': 46, 'iter': 120, 'avg_loss': 0.2546362495267442, 'avg_acc': 64.82438016528926, 'loss': 0.2576438806972549}
-{'epoch': 46, 'iter': 130, 'avg_loss': 0.25416762659239933, 'avg_acc': 64.90935114503816, 'loss': 0.23189223699487876}
-{'epoch': 'EP46_train', 'avg_loss': 0.25416653781374804, 'total_acc': 64.97984773846842, 'f1_scores': 0.7065763532035736}
-{'epoch': 47, 'iter': 0, 'avg_loss': 0.28550587647857484, 'avg_acc': 46.875, 'loss': 0.28550587647857484}
-{'epoch': 47, 'iter': 10, 'avg_loss': 0.2688014962939518, 'avg_acc': 57.10227272727273, 'loss': 0.28325396858105834}
-{'epoch': 47, 'iter': 20, 'avg_loss': 0.2617184449325977, 'avg_acc': 62.94642857142857, 'loss': 0.24339197706861374}
-{'epoch': 47, 'iter': 30, 'avg_loss': 0.26070029090314806, 'avg_acc': 63.70967741935484, 'loss': 0.26785656491951415}
-{'epoch': 47, 'iter': 40, 'avg_loss': 0.26111084562686343, 'avg_acc': 63.5670731707317, 'loss': 0.2577490143547558}
-{'epoch': 47, 'iter': 50, 'avg_loss': 0.2585218174824204, 'avg_acc': 64.7671568627451, 'loss': 0.2693079584413291}
-{'epoch': 47, 'iter': 60, 'avg_loss': 0.2582766987382381, 'avg_acc': 64.75409836065575, 'loss': 0.2451644388445077}
-{'epoch': 47, 'iter': 70, 'avg_loss': 0.2589634418753907, 'avg_acc': 64.4806338028169, 'loss': 0.27358948225714486}
-{'epoch': 47, 'iter': 80, 'avg_loss': 0.25888782485743916, 'avg_acc': 63.927469135802475, 'loss': 0.28098091551165844}
-{'epoch': 47, 'iter': 90, 'avg_loss': 0.25828921456386533, 'avg_acc': 64.28571428571429, 'loss': 0.25406066125411336}
-{'epoch': 47, 'iter': 100, 'avg_loss': 0.2567344747463344, 'avg_acc': 64.63490099009901, 'loss': 0.23573089449043647}
-{'epoch': 47, 'iter': 110, 'avg_loss': 0.25706236796370835, 'avg_acc': 64.61148648648648, 'loss': 0.25630185813533246}
-{'epoch': 47, 'iter': 120, 'avg_loss': 0.25697925898376295, 'avg_acc': 64.35950413223141, 'loss': 0.26843686858982047}
-{'epoch': 47, 'iter': 130, 'avg_loss': 0.2562024852934211, 'avg_acc': 64.55152671755725, 'loss': 0.2527759283079831}
-{'epoch': 'EP47_train', 'avg_loss': 0.25590146280392023, 'total_acc': 64.59919390953874, 'f1_scores': 0.7039393304590343}
-{'epoch': 48, 'iter': 0, 'avg_loss': 0.24453091682796313, 'avg_acc': 62.5, 'loss': 0.24453091682796313}
-{'epoch': 48, 'iter': 10, 'avg_loss': 0.2627908235292757, 'avg_acc': 56.25, 'loss': 0.2840201039063166}
-{'epoch': 48, 'iter': 20, 'avg_loss': 0.257890112021921, 'avg_acc': 62.05357142857143, 'loss': 0.24820736714004202}
-{'epoch': 48, 'iter': 30, 'avg_loss': 0.2554685855481624, 'avg_acc': 63.40725806451613, 'loss': 0.25702094528203034}
-{'epoch': 48, 'iter': 40, 'avg_loss': 0.25649005423506216, 'avg_acc': 63.41463414634146, 'loss': 0.26351296888154657}
-{'epoch': 48, 'iter': 50, 'avg_loss': 0.25492705902891116, 'avg_acc': 64.82843137254902, 'loss': 0.27097848173863376}
-{'epoch': 48, 'iter': 60, 'avg_loss': 0.25538709703437845, 'avg_acc': 65.3688524590164, 'loss': 0.2615682477817245}
-{'epoch': 48, 'iter': 70, 'avg_loss': 0.2553091199012401, 'avg_acc': 65.84507042253522, 'loss': 0.26689586153361233}
-{'epoch': 48, 'iter': 80, 'avg_loss': 0.25575314822283673, 'avg_acc': 65.16203703703704, 'loss': 0.26547072304125713}
-{'epoch': 48, 'iter': 90, 'avg_loss': 0.2555433408340508, 'avg_acc': 65.31593406593407, 'loss': 0.25199917724760973}
-{'epoch': 48, 'iter': 100, 'avg_loss': 0.2550191449547911, 'avg_acc': 65.5631188118812, 'loss': 0.24950294457195402}
-{'epoch': 48, 'iter': 110, 'avg_loss': 0.2562756976108287, 'avg_acc': 64.97747747747748, 'loss': 0.28002765488125597}
-{'epoch': 48, 'iter': 120, 'avg_loss': 0.2559788279036441, 'avg_acc': 64.79855371900827, 'loss': 0.26019884069757737}
-{'epoch': 48, 'iter': 130, 'avg_loss': 0.2551499427841897, 'avg_acc': 64.71851145038168, 'loss': 0.25796053089166143}
-{'epoch': 'EP48_train', 'avg_loss': 0.25514787143956585, 'total_acc': 64.73354231974922, 'f1_scores': 0.7053932044161604}
-{'epoch': 49, 'iter': 0, 'avg_loss': 0.26146689387509725, 'avg_acc': 59.375, 'loss': 0.26146689387509725}
-{'epoch': 49, 'iter': 10, 'avg_loss': 0.2627879748558161, 'avg_acc': 57.38636363636363, 'loss': 0.2592793877773017}
-{'epoch': 49, 'iter': 20, 'avg_loss': 0.25699843986264026, 'avg_acc': 62.05357142857143, 'loss': 0.2692502045169281}
-{'epoch': 49, 'iter': 30, 'avg_loss': 0.255309347613228, 'avg_acc': 63.81048387096774, 'loss': 0.26559859739011565}
-{'epoch': 49, 'iter': 40, 'avg_loss': 0.25630332406326345, 'avg_acc': 63.795731707317074, 'loss': 0.25395158008242497}
-{'epoch': 49, 'iter': 50, 'avg_loss': 0.25400415630233003, 'avg_acc': 64.95098039215686, 'loss': 0.28048136366685733}
-{'epoch': 49, 'iter': 60, 'avg_loss': 0.2547521415876318, 'avg_acc': 65.1639344262295, 'loss': 0.26281585269611335}
-{'epoch': 49, 'iter': 70, 'avg_loss': 0.25447468997615835, 'avg_acc': 65.40492957746478, 'loss': 0.25470254652392604}
-{'epoch': 49, 'iter': 80, 'avg_loss': 0.2542821743107157, 'avg_acc': 65.12345679012346, 'loss': 0.2713595393111713}
-{'epoch': 49, 'iter': 90, 'avg_loss': 0.25438506979288594, 'avg_acc': 64.8695054945055, 'loss': 0.2502603182607085}
-{'epoch': 49, 'iter': 100, 'avg_loss': 0.25370313833307767, 'avg_acc': 65.43935643564357, 'loss': 0.24289341893836536}
-{'epoch': 49, 'iter': 110, 'avg_loss': 0.25455236210161075, 'avg_acc': 65.17454954954955, 'loss': 0.2833165973078004}
-{'epoch': 49, 'iter': 120, 'avg_loss': 0.25474323164914814, 'avg_acc': 65.03099173553719, 'loss': 0.2540902510149213}
-{'epoch': 49, 'iter': 130, 'avg_loss': 0.2539096273964799, 'avg_acc': 65.12404580152672, 'loss': 0.241978186233512}
-{'epoch': 'EP49_train', 'avg_loss': 0.25411040760438464, 'total_acc': 65.2037617554859, 'f1_scores': 0.7093165508873118}
-{'epoch': 50, 'iter': 0, 'avg_loss': 0.25357886948818625, 'avg_acc': 56.25, 'loss': 0.25357886948818625}
-{'epoch': 50, 'iter': 10, 'avg_loss': 0.25734674721852807, 'avg_acc': 59.65909090909091, 'loss': 0.2666268647100358}
-{'epoch': 50, 'iter': 20, 'avg_loss': 0.25195384846907243, 'avg_acc': 64.73214285714286, 'loss': 0.24856656352985088}
-{'epoch': 50, 'iter': 30, 'avg_loss': 0.25244706203317924, 'avg_acc': 64.01209677419355, 'loss': 0.2801218391805378}
-{'epoch': 50, 'iter': 40, 'avg_loss': 0.2556856712574144, 'avg_acc': 63.1859756097561, 'loss': 0.25142174508781473}
-{'epoch': 50, 'iter': 50, 'avg_loss': 0.25479154226005046, 'avg_acc': 63.970588235294116, 'loss': 0.27903038757085596}
-{'epoch': 50, 'iter': 60, 'avg_loss': 0.2544753702112893, 'avg_acc': 64.54918032786885, 'loss': 0.23837697955903941}
-{'epoch': 50, 'iter': 70, 'avg_loss': 0.25438916115203597, 'avg_acc': 64.92077464788733, 'loss': 0.27412755491444124}
-{'epoch': 50, 'iter': 80, 'avg_loss': 0.25472891042754087, 'avg_acc': 64.62191358024691, 'loss': 0.29079259060876794}
-{'epoch': 50, 'iter': 90, 'avg_loss': 0.2538143615086766, 'avg_acc': 65.07554945054946, 'loss': 0.23815215136437473}
-{'epoch': 50, 'iter': 100, 'avg_loss': 0.25315350505101514, 'avg_acc': 65.31559405940595, 'loss': 0.22731604091214713}
-{'epoch': 50, 'iter': 110, 'avg_loss': 0.25452083832013594, 'avg_acc': 64.83671171171171, 'loss': 0.30489431052959454}
-{'epoch': 50, 'iter': 120, 'avg_loss': 0.2546595626914137, 'avg_acc': 64.79855371900827, 'loss': 0.27048816182390767}
-{'epoch': 50, 'iter': 130, 'avg_loss': 0.2545763643663475, 'avg_acc': 64.71851145038168, 'loss': 0.22967153094587694}
-{'epoch': 'EP50_train', 'avg_loss': 0.2549549640321041, 'total_acc': 64.73354231974922, 'f1_scores': 0.7061212143120472}