LSTM_based_translator.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "pbwsp9uR23iH",
    "outputId": "ccb481f3-ce09-489c-e7e8-30ab83b0ef34"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting sacrebleu\n",
      "  Downloading sacrebleu-2.4.3-py3-none-any.whl.metadata (51 kB)\n",
      "\u001b[?25l     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m0.0/51.8 kB\u001b[0m \u001b[31m?\u001b[0m eta \u001b[36m-:--:--\u001b[0m\r",
      "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m51.8/51.8 kB\u001b[0m \u001b[31m1.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[?25hCollecting portalocker (from sacrebleu)\n",
      "  Downloading portalocker-2.10.1-py3-none-any.whl.metadata (8.5 kB)\n",
      "Requirement already satisfied: regex in /usr/local/lib/python3.10/dist-packages (from sacrebleu) (2024.9.11)\n",
      "Requirement already satisfied: tabulate>=0.8.9 in /usr/local/lib/python3.10/dist-packages (from sacrebleu) (0.9.0)\n",
      "Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.10/dist-packages (from sacrebleu) (1.26.4)\n",
      "Collecting colorama (from sacrebleu)\n",
      "  Downloading colorama-0.4.6-py2.py3-none-any.whl.metadata (17 kB)\n",
      "Requirement already satisfied: lxml in /usr/local/lib/python3.10/dist-packages (from sacrebleu) (5.3.0)\n",
      "Downloading sacrebleu-2.4.3-py3-none-any.whl (103 kB)\n",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m104.0/104.0 kB\u001b[0m \u001b[31m4.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[?25hDownloading colorama-0.4.6-py2.py3-none-any.whl (25 kB)\n",
      "Downloading portalocker-2.10.1-py3-none-any.whl (18 kB)\n",
      "Installing collected packages: portalocker, colorama, sacrebleu\n",
      "Successfully installed colorama-0.4.6 portalocker-2.10.1 sacrebleu-2.4.3\n"
     ]
    }
   ],
   "source": [
    "!pip install sacrebleu # install sacrebleu library\n",
    "import torch\n",
    "import torch.optim as optim\n",
    "import torch.nn as nn\n",
    "from torch.utils.data import DataLoader, Dataset, random_split\n",
    "from torch.nn.utils.rnn import pad_sequence\n",
    "import matplotlib.pyplot as plt\n",
    "from collections import Counter\n",
    "import sacrebleu\n",
    "import numpy as np\n",
    "import json\n",
    "import pandas as pd\n",
    "from sklearn.metrics import make_scorer, mean_squared_error\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "nQtyR9RD27Cn",
    "outputId": "4b70ce7b-3551-40c8-d950-a4fad7128178"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting ijson\n",
      "  Downloading ijson-3.3.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (21 kB)\n",
      "Downloading ijson-3.3.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (114 kB)\n",
      "\u001b[?25l   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m0.0/114.5 kB\u001b[0m \u001b[31m?\u001b[0m eta \u001b[36m-:--:--\u001b[0m\r",
      "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m114.5/114.5 kB\u001b[0m \u001b[31m3.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[?25hInstalling collected packages: ijson\n",
      "Successfully installed ijson-3.3.0\n"
     ]
    }
   ],
   "source": [
    "'''# Load JSON dataset (using UTF-8 encoding)\n",
    "with open('/content/Arabic.json', encoding='utf-8') as f:\n",
    "    arabic_data = json.load(f)\n",
    "\n",
    "# Convert data into parallel pairs (first 100 rows for simplicity)\n",
    "arabic_sentences = [entry['output'] for entry in arabic_data[:1000]]\n",
    "en_sentences = [entry['input'] for entry in arabic_data[:1000]]'''\n",
    "\n",
    "!pip install ijson\n",
    "import ijson\n",
    "\n",
    "# Load JSON dataset in chunks\n",
    "def load_json_data(file_path):\n",
    "    with open(file_path, encoding='utf-8') as f:\n",
    "        # Use ijson to parse the file as an array of objects\n",
    "        objects = ijson.items(f, 'item')\n",
    "        data = list(objects)\n",
    "    return data\n",
    "\n",
    "arabic_data = load_json_data('/content/Arabic.json')\n",
    "# Convert data into parallel pairs\n",
    "arabic_sentences = [entry['output'] for entry in arabic_data[:1000]]\n",
    "en_sentences = [entry['input'] for entry in arabic_data[:1000]]\n",
    "\n",
    "\n",
    "\n",
    "# Tokenize sentences (basic whitespace-based tokenization)\n",
    "def tokenize(sentences):\n",
    "    return [sentence.split() for sentence in sentences]\n",
    "\n",
    "# Tokenize English and Arabic sentences\n",
    "en_tokens = tokenize(en_sentences)\n",
    "arabic_tokens = tokenize(arabic_sentences)\n",
    "\n",
    "# Create vocabularies with special tokens\n",
    "vocab_en = {'<pad>': 0, '<sos>': 1, '<eos>': 2, '<unk>': 3}\n",
    "vocab_arabic = {'<pad>': 0, '<sos>': 1, '<eos>': 2, '<unk>': 3}\n",
    "\n",
    "# Update vocabulary from tokens\n",
    "vocab_en.update({word: idx + 4 for idx, (word, _) in enumerate(Counter([token for sentence in en_tokens for token in sentence]).items())})\n",
    "vocab_arabic.update({word: idx + 4 for idx, (word, _) in enumerate(Counter([token for sentence in arabic_tokens for token in sentence]).items())})\n",
    "\n",
    "# Model parameters\n",
    "input_dim = len(vocab_en)\n",
    "output_dim = len(vocab_arabic)\n",
    "emb_dim = 256\n",
    "hidden_dim = 512\n",
    "n_layers = 2\n",
    "dropout = 0.5"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "id": "KhZopSVW2_fQ"
   },
   "outputs": [],
   "source": [
    "# Define LSTM Model (without Seq2Seq architecture)\n",
    "class LSTMModel(nn.Module):\n",
    "    def __init__(self, source_vocab, target_vocab, embedding_dim, hidden_dim, dropout=0.1):\n",
    "        super(LSTMModel, self).__init__()\n",
    "\n",
    "        # Define embedding layers\n",
    "        self.embedding_src = nn.Embedding(len(source_vocab), embedding_dim)\n",
    "        self.embedding_trg = nn.Embedding(len(target_vocab), embedding_dim)\n",
    "\n",
    "        # LSTM encoder\n",
    "        self.encoder = nn.LSTM(embedding_dim, hidden_dim, batch_first=True)\n",
    "\n",
    "        # LSTM decoder (using the same LSTM layer for simplicity)\n",
    "        self.decoder = nn.LSTM(embedding_dim, hidden_dim, batch_first=True)\n",
    "\n",
    "        # Fully connected layer to generate target output\n",
    "        self.fc_out = nn.Linear(hidden_dim, len(target_vocab))\n",
    "\n",
    "        # Dropout for regularization\n",
    "        self.dropout = nn.Dropout(dropout)\n",
    "\n",
    "    def forward(self, src, trg):\n",
    "        # Embed source and target sequences\n",
    "        embedded_src = self.dropout(self.embedding_src(src))\n",
    "        embedded_trg = self.dropout(self.embedding_trg(trg))\n",
    "\n",
    "        # Pass source sequence through encoder (LSTM)\n",
    "        _, (hidden, cell) = self.encoder(embedded_src)\n",
    "\n",
    "        # Pass target sequence through decoder (LSTM)\n",
    "        output, _ = self.decoder(embedded_trg, (hidden, cell))\n",
    "\n",
    "        # Output from fully connected layer\n",
    "        output = self.fc_out(output)\n",
    "        return output"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "id": "QkP6GOWb3HBX"
   },
   "outputs": [],
   "source": [
    "# Initialize weights\n",
    "def initialize_weights(model):\n",
    "    for name, param in model.named_parameters():\n",
    "        if 'weight' in name:\n",
    "            nn.init.xavier_uniform_(param)\n",
    "        else:\n",
    "            nn.init.zeros_(param)\n",
    "\n",
    "# Define Dataset and DataLoader\n",
    "class ParallelDataset(Dataset):\n",
    "    def __init__(self, source_sentences, target_sentences, source_vocab, target_vocab):\n",
    "        self.source_sentences = source_sentences\n",
    "        self.target_sentences = target_sentences\n",
    "        self.source_vocab = source_vocab\n",
    "        self.target_vocab = target_vocab\n",
    "\n",
    "        # Ensure special tokens are added to vocabularies\n",
    "        special_tokens = ['<pad>', '<sos>', '<eos>', '<unk>']\n",
    "        for token in special_tokens:\n",
    "            if token not in self.source_vocab:\n",
    "                self.source_vocab[token] = len(self.source_vocab)\n",
    "            if token not in self.target_vocab:\n",
    "                self.target_vocab[token] = len(self.target_vocab)\n",
    "\n",
    "        # Set max index to prevent index errors\n",
    "        self.source_max_idx = len(self.source_vocab) - 1\n",
    "        self.target_max_idx = len(self.target_vocab) - 1\n",
    "\n",
    "    def __len__(self):\n",
    "        return len(self.source_sentences)\n",
    "\n",
    "    def __getitem__(self, idx):\n",
    "        # Convert source sentence to indices, handling unknown tokens\n",
    "        source_indices = [\n",
    "            min(self.source_vocab.get(word, self.source_vocab['<unk>']), self.source_max_idx)\n",
    "            for word in self.source_sentences[idx].split()\n",
    "        ]\n",
    "        target_indices = [\n",
    "            min(self.target_vocab.get(word, self.target_vocab['<unk>']), self.target_max_idx)\n",
    "            for word in self.target_sentences[idx].split()\n",
    "        ]\n",
    "\n",
    "        # Adding <sos> and <eos> tokens\n",
    "        source_indices = [self.source_vocab['<sos>']] + source_indices + [self.source_vocab['<eos>']]\n",
    "        target_indices = [self.target_vocab['<sos>']] + target_indices + [self.target_vocab['<eos>']]\n",
    "\n",
    "        # Convert to tensors\n",
    "        source_tensor = torch.tensor(source_indices, dtype=torch.long)\n",
    "        target_tensor = torch.tensor(target_indices, dtype=torch.long)\n",
    "\n",
    "        return source_tensor, target_tensor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "id": "Yeb9bklo3Nur"
   },
   "outputs": [],
   "source": [
    "\n",
    "# Collate function for padding sequences\n",
    "def collate_fn(batch):\n",
    "    source_sentences, target_sentences = zip(*batch)\n",
    "    source_padded = pad_sequence(source_sentences, padding_value=0, batch_first=True)\n",
    "    target_padded = pad_sequence(target_sentences, padding_value=0, batch_first=True)\n",
    "    return source_padded, target_padded\n",
    "\n",
    "# Hyperparameters\n",
    "batch_size = 8\n",
    "epochs = 10\n",
    "clip = 1\n",
    "\n",
    "# DataLoader initialization\n",
    "train_data = ParallelDataset(en_sentences, arabic_sentences, vocab_en, vocab_arabic)\n",
    "train_size = int(0.8 * len(train_data))\n",
    "val_size = len(train_data) - train_size\n",
    "\n",
    "train_dataset, val_dataset = random_split(train_data, [train_size, val_size])\n",
    "train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, collate_fn=collate_fn)\n",
    "val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False, collate_fn=collate_fn)\n",
    "\n",
    "# Model, optimizer, and criterion\n",
    "device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")\n",
    "model = LSTMModel(vocab_en, vocab_arabic, emb_dim, hidden_dim, dropout).to(device)\n",
    "model.apply(initialize_weights)\n",
    "optimizer = optim.Adam(model.parameters(), lr=0.001)\n",
    "criterion = nn.CrossEntropyLoss(ignore_index=vocab_arabic['<pad>'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "YmCgmD413Yot",
    "outputId": "7bd4b2df-da85-484e-da1a-84de7581e3cc"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch [1/10], Train Loss: 7.9180, Val Loss: 7.1097\n",
      "Epoch [2/10], Train Loss: 6.6431, Val Loss: 6.7556\n",
      "Epoch [3/10], Train Loss: 5.9405, Val Loss: 6.6448\n",
      "Epoch [4/10], Train Loss: 5.4055, Val Loss: 6.5482\n",
      "Epoch [5/10], Train Loss: 4.7510, Val Loss: 6.5753\n",
      "Epoch [6/10], Train Loss: 4.1411, Val Loss: 6.5533\n",
      "Epoch [7/10], Train Loss: 3.4415, Val Loss: 6.6021\n",
      "Epoch [8/10], Train Loss: 2.8304, Val Loss: 6.5049\n",
      "Epoch [9/10], Train Loss: 2.2867, Val Loss: 6.5281\n",
      "Epoch [10/10], Train Loss: 1.7618, Val Loss: 6.6043\n"
     ]
    }
   ],
   "source": [
    "# Training loop with validation\n",
    "def train(model, train_loader, optimizer, criterion):\n",
    "    model.train()\n",
    "    train_loss = 0.0\n",
    "    for source, target in train_loader:\n",
    "        source, target = source.to(device), target.to(device)\n",
    "        optimizer.zero_grad()\n",
    "        output = model(source, target)\n",
    "        output = output.view(-1, output_dim)\n",
    "        target = target.view(-1)\n",
    "        loss = criterion(output, target)\n",
    "        loss.backward()\n",
    "        torch.nn.utils.clip_grad_norm_(model.parameters(), clip)\n",
    "        optimizer.step()\n",
    "        train_loss += loss.item()\n",
    "    return train_loss / len(train_loader)\n",
    "\n",
    "def validate(model, val_loader, criterion):\n",
    "    model.eval()\n",
    "    val_loss = 0.0\n",
    "    with torch.no_grad():\n",
    "        for source, target in val_loader:\n",
    "            source, target = source.to(device), target.to(device)\n",
    "            output = model(source, target)\n",
    "            output = output.view(-1, output_dim)\n",
    "            target = target.view(-1)\n",
    "            loss = criterion(output, target)\n",
    "            val_loss += loss.item()\n",
    "    return val_loss / len(val_loader)\n",
    "\n",
    "# Train the model\n",
    "train_losses = []\n",
    "val_losses = []\n",
    "\n",
    "for epoch in range(epochs):\n",
    "    train_loss = train(model, train_loader, optimizer, criterion)\n",
    "    val_loss = validate(model, val_loader, criterion)\n",
    "\n",
    "    # Append the losses for plotting\n",
    "    train_losses.append(train_loss)\n",
    "    val_losses.append(val_loss)\n",
    "\n",
    "    print(f\"Epoch [{epoch + 1}/{epochs}], Train Loss: {train_loss:.4f}, Val Loss: {val_loss:.4f}\")\n",
    "\n",
    "# Save the model\n",
    "torch.save(model.state_dict(), 'lstm_model.pth')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 449
    },
    "id": "2c-NQedm3a8u",
    "outputId": "fb3b3c19-ba4a-4e5d-978d-2d26c1779e1d"
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAioAAAGwCAYAAACHJU4LAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjguMCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy81sbWrAAAACXBIWXMAAA9hAAAPYQGoP6dpAABTLUlEQVR4nO3dd3hTdf/G8XeS7l12C2UKFAqUjWxUFJAlQxBxoLiZ8ugj/BQElOFAQVAUB7gAJ0OGCDwIZclG9pDRsmR30pXk90egUCjQlrYnbe/XdeVqc3Jyzickmruf7/ecY7Lb7XZEREREnJDZ6AJEREREbkZBRURERJyWgoqIiIg4LQUVERERcVoKKiIiIuK0FFRERETEaSmoiIiIiNNyMbqAO2Gz2Thx4gS+vr6YTCajyxEREZFMsNvtxMbGEhwcjNl8655Jvg4qJ06cICQkxOgyREREJBuioqIoU6bMLdfJ10HF19cXcLxQPz8/g6sRERGRzIiJiSEkJCTte/xW8nVQuTLc4+fnp6AiIiKSz2Rm2oYm04qIiIjTUlARERERp6WgIiIiIk4rX89RERGRO2Oz2UhOTja6DClgXF1dsVgsObItBRURkUIqOTmZw4cPY7PZjC5FCqCAgABKlSp1x+c5U1ARESmE7HY7J0+exGKxEBISctuTbolklt1uJyEhgdOnTwMQFBR0R9szNKhYrVZGjhzJd999x6lTpwgODqZPnz688cYbOtOsiEguSk1NJSEhgeDgYLy8vIwuRwoYT09PAE6fPk2JEiXuaBjI0KDyzjvvMHXqVL7++mvCwsLYtGkTTz31FP7+/gwcONDI0kRECjSr1QqAm5ubwZVIQXUlAKekpOTfoLJ27Vo6d+5M+/btAShfvjyzZs1iw4YNGa6flJREUlJS2v2YmJg8qVNEpKBS91pyS059tgwdlGzSpAnLly9n//79AGzfvp3Vq1fTrl27DNcfN24c/v7+aTdd50dERKRgM7SjMnToUGJiYggNDcVisWC1WhkzZgy9e/fOcP1hw4YxZMiQtPtXrhUgIiIiBZOhHZUff/yR77//npkzZ7Jlyxa+/vpr3n//fb7++usM13d3d0+7ro+u7yMiIjmhfPnyTJw40egy5CYMDSqvvvoqQ4cO5ZFHHqFmzZo8/vjjvPzyy4wbN87IsgDYdOQ8FxN0EiQREWdhMplueRs5cmS2trtx40aee+65O6qtVatWDB48+I62IRkzdOgnISHhhmP3LRaL4Scf+nb9Ud6ct5MHqpdi6mN1NdlMRMQJnDx5Mu33H374gREjRrBv3760ZT4+Pmm/2+12rFYrLi63/5orXrx4zhYqOcrQjkrHjh0ZM2YMCxcu5MiRI8yZM4cPPviALl26GFkWdUICsJhN/L7rFLM3Rhlai4hIXrDb7SQkpxpys9vtmaqxVKlSaTd/f39MJlPa/b179+Lr68vixYupV68e7u7urF69mn/++YfOnTtTsmRJfHx8aNCgAcuWLUu33euHfkwmE1988QVdunTBy8uLypUrM3/+/Dv69/3ll18ICwvD3d2d8uXLM2HChHSPf/LJJ1SuXBkPDw9KlixJ9+7d0x77+eefqVmzJp6enhQtWpTWrVsTHx9/R/XkJ4Z2VCZPnszw4cN56aWXOH36NMHBwTz//POMGDHCyLKoUdqf/7YJZcyiPYz6bRcNyhfhrhI+t3+iiEg+dSnFSvURSwzZ9+7RbfByy5mvo6FDh/L+++9TsWJFAgMDiYqK4sEHH2TMmDG4u7vzzTff0LFjR/bt20fZsmVvup1Ro0bx7rvv8t577zF58mR69+7N0aNHKVKkSJZr2rx5Mz169GDkyJH07NmTtWvX8tJLL1G0aFH69OnDpk2bGDhwIN9++y1NmjTh/PnzREREAI4uUq9evXj33Xfp0qULsbGxREREZDrcFQSGBhVfX18mTpzolJOY+jarwKoDZ4g4cJaBs7Yyp18T3F1y5gJLIiKSO0aPHs3999+fdr9IkSKEh4en3X/rrbeYM2cO8+fPp3///jfdTp8+fejVqxcAY8eO5aOPPmLDhg20bds2yzV98MEH3HfffQwfPhyAKlWqsHv3bt577z369OlDZGQk3t7edOjQAV9fX8qVK0edOnUAR1BJTU2la9eulCtXDoCaNWtmuYb8TNf6uQmz2cSEHuG0mxjB7pMxvPv7PoZ3qG50WSIiucLT1cLu0W0M23dOqV+/frr7cXFxjBw5koULF6Z96V+6dInIyMhbbqdWrVppv3t7e+Pn55d27Zqs2rNnD507d063rGnTpkycOBGr1cr9999PuXLlqFixIm3btqVt27Zpw07h4eHcd9991KxZkzZt2vDAAw/QvXt3AgMDs1VLfqSrUN1CCV8P3nvY8WH9cvVh/tyXvQ+piIizM5lMeLm5GHLLyQMWvL29091/5ZVXmDNnDmPHjiUiIoJt27ZRs2ZNkpNvfVSnq6vrDf8+uXWgh6+vL1u2bGHWrFkEBQUxYsQIwsPDuXjxIhaLhaVLl7J48WKqV6/O5MmTqVq1KocPH86VWpyRgspt3Btakj5NygPwyk/bORObdOsniIiI01izZg19+vShS5cu1KxZk1KlSnHkyJE8raFatWqsWbPmhrqqVKmSdg0cFxcXWrduzbvvvsvff//NkSNH+N///gc4QlLTpk0ZNWoUW7duxc3NjTlz5uTpazCShn4yYWi7UNYfOsfeU7G88tN2pvdpgNmsQ5ZFRJxd5cqV+fXXX+nYsSMmk4nhw4fnWmfkzJkzbNu2Ld2yoKAg/vOf/9CgQQPeeustevbsybp165gyZQqffPIJAAsWLODQoUO0aNGCwMBAFi1ahM1mo2rVqvz1118sX76cBx54gBIlSvDXX39x5swZqlWrliuvwRmpo5IJHq4WPupVB3cXMyv3n2HG2iNGlyQiIpnwwQcfEBgYSJMmTejYsSNt2rShbt26ubKvmTNnUqdOnXS3zz//nLp16/Ljjz8ye/ZsatSowYgRIxg9ejR9+vQBICAggF9//ZV7772XatWq8emnnzJr1izCwsLw8/Nj1apVPPjgg1SpUoU33niDCRMm3PSaeAWRyZ6Pj3GKiYnB39+f6OjoPDmd/rfrjzJ87k7cLGbm9GtCWLB/ru9TRCQ3JCYmcvjwYSpUqICHh4fR5UgBdKvPWFa+v9VRyYLHGpXl/uolSbbaGDhrK5eSrUaXJCIiUqApqGSByWTinW61KOnnzj9n4nlr4W6jSxIRESnQFFSyqIi3Gx/2qI3JBDP/iuT3nSdv/yQRERHJFgWVbGhyVzFeaFkJgNd+2cHJ6EsGVyQiIlIwKahk05D7qxBexp/oSym8/MM2rLZ8OydZRETEaSmoZJOrxcykR+rg5WZh/aHzfLryH6NLEhERKXAUVO5A+WLejO5cA4APlu5na+QFgysSEREpWBRU7lC3uqXpFB6M1WZn0OxtxCamGF2SiIhIgaGgcodMJhNvd6lBmUBPIs8nMGLeLqNLEhGRW2jVqhWDBw9Ou1++fHkmTpx4y+eYTCbmzp17x/vOqe0UJgoqOcDPw5VJj9TGYjYxZ+tx5mw9ZnRJIiIFTseOHWnbtm2Gj0VERGAymfj777+zvN2NGzfy3HPP3Wl56YwcOZLatWvfsPzkyZO5fvr7GTNmEBAQkKv7yEsKKjmkXrkiDLqvMgDD5+4i8lyCwRWJiBQsffv2ZenSpRw7duMfg9OnT6d+/frUqlUry9stXrw4Xl5eOVHibZUqVQp3d/c82VdBoaCSg/rdcxcNyxchLimVgbO3kmLNnSt0iogURh06dKB48eLMmDEj3fK4uDh++ukn+vbty7lz5+jVqxelS5fGy8uLmjVrMmvWrFtu9/qhnwMHDtCiRQs8PDyoXr06S5cuveE5r732GlWqVMHLy4uKFSsyfPhwUlIccxRnzJjBqFGj2L59OyaTCZPJlFbz9UM/O3bs4N5778XT05OiRYvy3HPPERcXl/Z4nz59eOihh3j//fcJCgqiaNGi9OvXL21f2REZGUnnzp3x8fHBz8+PHj168O+//6Y9vn37du655x58fX3x8/OjXr16bNq0CYCjR4/SsWNHAgMD8fb2JiwsjEWLFmW7lsxwydWtFzIWs4kPH6lNu4mr2BZ1kUnLDvBKm6pGlyUicnt2O6QY1Al29QKT6barubi48MQTTzBjxgxef/11TJef89NPP2G1WunVqxdxcXHUq1eP1157DT8/PxYuXMjjjz9OpUqVaNiw4W33YbPZ6Nq1KyVLluSvv/4iOjo63XyWK3x9fZkxYwbBwcHs2LGDZ599Fl9fX/773//Ss2dPdu7cye+//86yZcsA8Pe/8SK28fHxtGnThsaNG7Nx40ZOnz7NM888Q//+/dOFsRUrVhAUFMSKFSs4ePAgPXv2pHbt2jz77LO3fT0Zvb4rIWXlypWkpqbSr18/evbsyZ9//glA7969qVOnDlOnTsVisbBt2zZcXV0B6NevH8nJyaxatQpvb292796Nj49PluvICgWVHFY6wJPx3Wrx0vdb+PjPgzSrXIy7KxY1uiwRkVtLSYCxwcbs+/9OgJt3plZ9+umnee+991i5ciWtWrUCHMM+3bp1w9/fH39/f1555ZW09QcMGMCSJUv48ccfMxVUli1bxt69e1myZAnBwY5/j7Fjx94wr+SNN95I+718+fK88sorzJ49m//+9794enri4+ODi4sLpUqVuum+Zs6cSWJiIt988w3e3o7XP2XKFDp27Mg777xDyZIlAQgMDGTKlClYLBZCQ0Np3749y5cvz1ZQWb58OTt27ODw4cOEhIQA8M033xAWFsbGjRtp0KABkZGRvPrqq4SGhgJQuXLltOdHRkbSrVs3atasCUDFihWzXENWaegnFzxYM4ie9UOw2+HlH7ZxMSHZ6JJERAqE0NBQmjRpwldffQXAwYMHiYiIoG/fvgBYrVbeeustatasSZEiRfDx8WHJkiVERkZmavt79uwhJCQkLaQANG7c+Ib1fvjhB5o2bUqpUqXw8fHhjTfeyPQ+rt1XeHh4WkgBaNq0KTabjX379qUtCwsLw2KxpN0PCgri9OnTWdrXtfsMCQlJCykA1atXJyAggD179gAwZMgQnnnmGVq3bs348eP555+rJzQdOHAgb7/9Nk2bNuXNN9/M1uTlrFJHJZe82ak6G4+c59DZeIb+soOpj9VNa1OKiDgdVy9HZ8OofWdB3759GTBgAB9//DHTp0+nUqVKtGzZEoD33nuPSZMmMXHiRGrWrIm3tzeDBw8mOTnn/mBct24dvXv3ZtSoUbRp0wZ/f39mz57NhAkTcmwf17oy7HKFyWTCZsu9OZAjR47k0UcfZeHChSxevJg333yT2bNn06VLF5555hnatGnDwoUL+eOPPxg3bhwTJkxgwIABuVaPOiq5xMvNhY961cHVYuL3XaeYvTHK6JJERG7OZHIMvxhxy+IfcT169MBsNjNz5ky++eYbnn766bQ/BNesWUPnzp157LHHCA8Pp2LFiuzfvz/T265WrRpRUVGcPHkybdn69evTrbN27VrKlSvH66+/Tv369alcuTJHjx5Nt46bmxtWq/W2+9q+fTvx8fFpy9asWYPZbKZq1dyZ33jl9UVFXf1O2r17NxcvXqR69eppy6pUqcLLL7/MH3/8QdeuXZk+fXraYyEhIbzwwgv8+uuv/Oc//+Hzzz/PlVqvUFDJRTVK+/PfNo4xvlG/7eLg6ViDKxIRyf98fHzo2bMnw4YN4+TJk/Tp0yftscqVK7N06VLWrl3Lnj17eP7559Md0XI7rVu3pkqVKjz55JNs376diIgIXn/99XTrVK5cmcjISGbPns0///zDRx99xJw5c9KtU758eQ4fPsy2bds4e/YsSUlJN+yrd+/eeHh48OSTT7Jz505WrFjBgAEDePzxx9Pmp2SX1Wpl27Zt6W579uyhdevW1KxZk969e7NlyxY2bNjAE088QcuWLalfvz6XLl2if//+/Pnnnxw9epQ1a9awceNGqlWrBsDgwYNZsmQJhw8fZsuWLaxYsSLtsdyioJLL+jarQPPKxUhMsTFg1jaSUm+dsEVE5Pb69u3LhQsXaNOmTbr5JG+88QZ169alTZs2tGrVilKlSvHQQw9lertms5k5c+Zw6dIlGjZsyDPPPMOYMWPSrdOpUydefvll+vfvT+3atVm7di3Dhw9Pt063bt1o27Yt99xzD8WLF8/wEGkvLy+WLFnC+fPnadCgAd27d+e+++5jypQpWfvHyEBcXBx16tRJd+vYsSMmk4l58+YRGBhIixYtaN26NRUrVuSHH34AwGKxcO7cOZ544gmqVKlCjx49aNeuHaNGjQIcAahfv35Uq1aNtm3bUqVKFT755JM7rvdWTHa73Z6re8hFMTEx+Pv7Ex0djZ+fn9Hl3NTp2ETaTYzgXHwyfZtVYHiH6rd/kohILkpMTOTw4cNUqFABDw8Po8uRAuhWn7GsfH+ro5IHSvh68N7DjrMlfrn6MH/uy95sbRERkcJGQSWP3Btakj5NygPwyk/bORN743iliIiIpKegkoeGtgsltJQvZ+OSeeWn7dhs+XbUTUREJE8oqOQhD1cLH/Wqg7uLmZX7zzB97RGjSxIREXFqCip5rEpJX964PJn2ncV72XUi2uCKRKQwy8fHU4iTy6nPloKKAR5rVJb7q5ck2Wpj4KytXErWIcsikreunJI9J8/YKnKthATHRS6vP7NuVukU+gYwmUy8060Wfx9bxT9n4nlr4W7GdqlpdFkiUoi4uLjg5eXFmTNncHV1xWzW362SM+x2OwkJCZw+fZqAgIB01ynKDp1HxUBrDp7lsS//wm6HTx+rS9saQUaXJCKFSHJyMocPH87V68ZI4RUQEECpUqUyvM5dVr6/1VExUNO7ivF8i0p8uvIfXvtlB+EhAQT5expdlogUEm5ublSuXFnDP5LjXF1d77iTcoWCisH+80AV1v1zlu3Honn5h218/8zdWMy6yrKI5A2z2awz04pT06CkwVwtZiY9UgcvNwvrD53n05X/GF2SiIiI01BQcQLli3kzunMNAD5Yup+tkRcMrkhERMQ5KKg4iW51S9MpPBirzc6g2duITUwxuiQRERHDKahkxG6Hc3k7BGMymXi7Sw3KBHoSeT6BEfN25en+RUREnJGCSkaOb4bJdeHLB2DLN5AUmye79fNwZdIjtbGYTczZepw5W4/lyX5FRESclYJKRk5sBZMFov6C+QPg/aowrx9Ernd0W3JRvXJFGHRfZQCGz91F5LmEXN2fiIiIM9MJ324m9hRsnwVbv4NzB68uL1YF6jwGtR4B35I5u8/LrDY7vaatZ8OR89QOCeCnFxrjalGmFBGRgiEr39+GfvuVL18ek8l0w61fv35GluXgWwqavQz9N8FTi6F2b3D1grP7YekI+KAazHoU9i0Ga2qO7tpiNvHhI7Xx9XBhW9RFJi07kKPbFxERyS8M7aicOXMGq/XqBfl27tzJ/fffz4oVK2jVqtVtn5/np9BPjIFdv8KWb+H4pqvLfUpB7V5Q+zEodleO7W7h3yfpN3MLJhPMevZu7q5YNMe2LSIiYpSsfH871dDP4MGDWbBgAQcOHMjw2gDXM/RaP6f3OIaFts+ChHNXl5dtAnUfh+qdwc37jnfz2s9/88OmKIL8PVg8qDkBXm53vE0REREj5cugkpycTHBwMEOGDOH//u//MlwnKSmJpKSktPsxMTGEhIQYe1HC1GTY/zts/RYOLgP75Yt7uflCja5Q9wkoXQ8yEbwyEp+USsfJqzl0Np62YaWY+ljdTIU4ERERZ5Vv5qhca+7cuVy8eJE+ffrcdJ1x48bh7++fdgsJCcm7Am/GxQ2qd4LeP8HgnXDvcAisAMmxsOVr+OI++KQxrPsY4s9mefPe7i581KsOrhYTv+86xeyNUbnwIkRERJyT03RU2rRpg5ubG7/99ttN13HKjkpGbDY4usbRZdk9D1ITHcvNrlC1naPLUuleMGf+ypKfrzrEmEV78HA1s2BAM+4q4ZtLxYuIiOSufDf0c/ToUSpWrMivv/5K586dM/08Q+eoZFZiNOz42RFaTmy9utw3GGo/6jjUuUiF227GZrPz5PQNRBw4S7UgP+b2a4K7S85cQltERCQv5buhn+nTp1OiRAnat29vdCk5z8MfGvSF5/6EF9ZAoxfBMxBiT0DE+/BRbZjRAbb/ACmXbroZs9nEhIfDKeLtxp6TMbz7+748ewkiIiJGMbyjYrPZqFChAr169WL8+PFZem6+6KhkJDUJ9i50dFn+WQFcfgvc/aFmd8dRQ0G1M5yA+7+9//L0DMeh0TOeakCrqiXyrm4REZEckK+Gfv744w/atGnDvn37qFKlSpaem2+DyrUuRsG2mbDtO7gYeXV5yRpQ53Go1QO8iqR7ysj5u5ix9gjFfNxYPKgFxX3d87hoERGR7MtXQeVOFIigcoXNBkdWOU4mt+c3sF6eNGxxg9D2jtBS8R4wm0lMsfLQx2vYeyqWllWKM71PA8xmHbIsIiL5g4JKfpdwHnb+4rhy86m/ry73D3Gcyr9Ob/YnBdJx8mqSUm0M71Cdvs1uPyFXRETEGSioFCQntzu6LDt+dBxBBIAJKrYkwrcdz/xVErvFgzn9mhAW7G9oqSIiIpmhoFIQpSTC3gWOLsvhlWmL482+/JTcmLV+7Zg0+Ek83XTIsoiIODcFlYLuwlHY9j1s/R5ijqUtPu5ZhdL3POc4csgz0MACRUREbk5BpbCwWeHQCs5GfInvkT9wN6U6lrt4QLWOjgm45ZuD2SlOlyMiIgIoqBRKk+av5+Jf39HLdSVVuOYw54ByULEl+JeFgBDHhFz/MuBXGiwuxhUsIiKFloJKIZScaqP7p2v5+9hFepU+x5jy2zDv/BmSYjJ+gsnsOI3/lfCS7mdZR5hx88rbFyEiIoWCgkohdeRsPA9+FEFCspVX21SlX9NgOLAEzuyH6EjHyeWioyD6GFiTb79Br2KOwHIlvFwfajwDMzx7roiIyK0oqBRiP28+xis/bcdiNvHzC42pUzaDSbU2G8Sfvhxcrgkw1/5Mjr39ztx80gcX/zIQUPbqMp9Smh8jIiI3UFApxOx2OwNnb+O37ScIKeLJooHN8fVwzfqGLl28LrxEpr8ff+b22zC7gn/py8Gl7DVh5ppg46LT/4uIFDYKKoVcTGIKD06K4NiFS3SpU5oPe9bO+Z2kXHIMIV2MdPy8viMTcxzs1ttsxAQ+JTOYJ3NNqPHQ+yoiUtAoqAibj57n4U/XYbPDe91r8XD9kLwtwJoKsSevCTBXhpiuCTWpl26/HQ//q/Nj/EqDX5BjEvC1P919c//1iIhIjlFQEQAmLTvAh8v2YzLBgHsrM+i+ylic5eKFdjsknLtxSOnaUJN4MXPbcvO9HFyCwC/4mp+lroYZn5Jg1ll7RUScgYKKAGC12Xlz/k6+W+84r0qzu4ox6ZHaFPXJJ/NCkmIvDy9dDi8xJyDmJMRe+Xny5odfX89kdoSVdGFG3RnJh+x2SI53/PeRHOf4byApFmypjgnsfsE6Ik+yx2Z1XBQ3/gwknIX4s44/KAMrQOXWOborBRVJZ+7W4wz7dQeXUqyU8vNgyqN1qF++iNFl5YykOEdgiTlxk58nIe7fTMyXuUzdGckNdrtjXldynCNUXHtLCxtxGSyLvbr82udym/9tu3ik/8ze8Hm+vMzFLU9evhjEmgqXzjsCR1r4OHf555mrQeTK75cukOFnq2YP6PZ5jpamoCI3OPBvLC98t5l/zsTjYjYxtF0ofZtVwFQY/uqyWR3/IWYUYgpKd8Zud5wbJzXJcbNe/pmamMGyax67flm65yVnvE5qomNfdhtYXMHidvnmChb3a36/ZrmLewbrumVwy+zzrltutuROByE16SbBIrNh45p1MhuWM8tkdnzG3HwdP01miDvl+OLJLO/iGYeYaz/HHgHqzjgLa6rj/b3S7Yg/czlo3CSIXLrIbUPtDUyOjpx3Mcfnw6solG8GjZ7P0ZeioCIZik9KZeivO/ht+wkA2oaV4t2Ha+GXncOXC6LbdWdiTzlud9qdcfW6+mV/bSBICwrXhoTk9GHjVoGjUDNdDS0uNwk9NwScyz+xO977jAKILSXnS70SLNx9LgeNyz/d/a4uS1t+/bJrnuvqlXGASE26LohfP2R6wvE5zsxJHwFcPNMHF7/gG0O5T0nHv6dkjTXlatBICx9nMw4iCVc6HlllAq8ijhN4el++eV33M+334o6QkgeXV1FQkZuy2+18t/4ooxfsJsVqp3xRLz7pXY/qwfr3y5Sc7s7kFou7oxvh4p7+94zuu3hkbx1Mji9ya8rlQJXs+GlNvros7fekmyy/1fNutq3kzH/J5hRX71sHi5su80sfSly9neMkiFcms9/wOT5+9TMccyLzE9oxgU+Jm3Rlgq8uKwinG7BZr3Yv0z6Pl39PW3b5D4iE64ddrgsimf73vdbl4OFd/HK4KHo1ZHgXc3RA0n4v5ljXCYeqFVTktrZHXeSl77dw/OIl3F3MvNW5Bj0a5PEhzAXZrbozqUlXv/zTBQG3y8vcrrt/q3UyCBgWN+f4MsxNdvvNA8ytAk66L5fLy7HfOmy4+RTeC3gmJ1zuJl4fxq/p1MSdckzkzQw3n5sPlV756V38ahi4NuSmBdpr3sPrl6Um3fg5SL3+/jVh4obPxfX7ymBZbgzheRa5SYfj+t8vdzycMHhklYKKZMqF+GSG/LiNFfscZ5l9uF4ZRneugadb/v+PQETyiM3m6BjEXj/EdF1AN7rLmFvM186lumaOlovH5SGXojfvdngXKzDBI6sUVCTTbDY7U1f+w4Q/9mGzQ2gpX6Y+Vo8KxbyNLk1ECpJMHaF3yjFJ+1pmlxsna6fNQ7rmdv2yDMOD+022c83cpeuXubjfel+aaJwtCiqSZWv/OcvAWVs5G5eMj7sL73WvRbuaQUaXJSKFic3qOFLF4nI1KBTCbkNhkJXv7wI+kC2Z1aRSMRYObE7D8kWIS0rlxe+38NaC3aRYbbd/sohITjBbHJNDPfzB1UMhRQAFFblGST8PZj7biOdbVgTgy9WHeWTaek5GZ+KaPCIiIrlAQUXScbGYGdauGtMer4evhwubj16g/UeriThwxujSRESkEFJQkQw9EFaKhQOaExbsx/n4ZJ74agMTl+3Hasu3U5pERCQfUlCRmypb1ItfXmxCr4Zlsdth4rID9Jm+gfPxeXyyLRERKbQUVOSWPFwtjOtakwkPh+PhaibiwFnafxTB5qPZOZWziIhI1iioSKZ0q1eGef2aUbGYNyejE+n52Tq+Wn2YfHx0u4iI5AMKKpJpVUv5Mn9AM9rXCiLVZmf0gt30m7mF2MRcuHCbiIgICiqSRT7uLkzpVYdRncJwtZhYtOMUnaasYe+pAnp6bBERMZSCimSZyWTiySbl+eH5xgT7e3D4bDwPfbyGnzcfM7o0EREpYBRUJNvqlg1kwcDmtKhSnMQUG6/8tJ2hv/xNYkoOX11UREQKLQUVuSNFvN2Y0acBQ+6vgskEszdG0fWTtRw9F290aSIiUgAoqMgdM5tNDLyvMt8+3Yii3m7sPhlDh49W8/vOU0aXJiIi+ZyCiuSYZpUdFzasXy6Q2KRUXvhuM2MW6sKGIiKSfQoqkqNK+Xsw67m7ebZ5BQA+jzhMr2nrORWdaHBlIiKSHymoSI5ztZh5vX11Pn2sLr7uLmw6eoH2H0Ww5uBZo0sTEZF8RkFFck3bGkH8NqAZ1YL8OBefzGNf/sXk5Qew6cKGIiKSSQoqkqvKF/NmzktN6Fk/BLsdJizdz9Nfb+SCLmwoIiKZoKAiuc7D1cI73WvxbvdauLuY+XPfGdp/FMHWSF3YUEREbk1BRfJMj/ohzO3XlPJFvTgRnUiPz9bx9dojurChiIjclIKK5KlqQX7MH9CMdjVKkWK18+b8XQyYtZW4pFSjSxMRESekoCJ5zs/DlU9612V4h+q4mE0s+PsknaasZt+pWKNLExERJ2N4UDl+/DiPPfYYRYsWxdPTk5o1a7Jp0yajy5JcZjKZ6NusAj88fzdB/h4cOhNP549X8+sWXdhQRESuMjSoXLhwgaZNm+Lq6srixYvZvXs3EyZMIDAw0MiyJA/VK1eEBQOa0bxyMRJTbAz5cTvDft2hCxuKiAgAJruBMxmHDh3KmjVriIiIyNbzY2Ji8Pf3Jzo6Gj8/vxyuTvKS1WZn8v8OMGn5Aex2CAv2Y2rvepQt6mV0aSIiksOy8v1taEdl/vz51K9fn4cffpgSJUpQp04dPv/885uun5SURExMTLqbFAwWs4nBravw9VMNCfRyZdeJGNpPjmDp7n+NLk1ERAxkaFA5dOgQU6dOpXLlyixZsoQXX3yRgQMH8vXXX2e4/rhx4/D390+7hYSE5HHFkttaVCnOwoHNqVs2gNjEVJ79ZhPjFu8hVRc2FBEplAwd+nFzc6N+/fqsXbs2bdnAgQPZuHEj69atu2H9pKQkkpKS0u7HxMQQEhKioZ8CKDnVxvjFe/lqzWEAGpYvwuRH61DSz8PgykRE5E7lm6GfoKAgqlevnm5ZtWrViIyMzHB9d3d3/Pz80t2kYHJzMTOiY3U+6V0XH3cXNhw5z/0frGTGmsPqroiIFCKGBpWmTZuyb9++dMv2799PuXLlDKpInM2DNYOY378pYcF+xCSmMvK33TyoKzGLiBQahgaVl19+mfXr1zN27FgOHjzIzJkzmTZtGv369TOyLHEyFYv7ML9/M95+qAaBXq7s/zeO3l/8xfPfbiLqfILR5YmISC4ydI4KwIIFCxg2bBgHDhygQoUKDBkyhGeffTZTz9XhyYXPxYRkJi47wLfrj2K12XFzMfN8i4q82KoSXm4uRpcnIiKZkJXvb8ODyp1QUCm89p2KZdRvu1j7zzkAgvw9GNoulE7hwZhMJoOrExGRW1FQkULBbrezZNcp3l64h2MXLgHQoHwgb3YMo0Zpf4OrExGRm1FQkUIlMcXKtFWH+OTPgySm2DCZ4JEGIbzyQFWK+rgbXZ6IiFxHQUUKpRMXLzFu8V5+234CAF8PF15uXYXHG5fD1WL49TdFROQyBRUp1DYcPs/I+bvYfdJxiYXKJXwY0bE6zSsXN7gyEREBBRURrDY7P2yM4r0le7mQkALA/dVLMrx9dV3oUETEYAoqIpdFJ6Tw4bL9Vw9ntph5tkUFXmp1F97uOpxZRMQICioi19n/byyjf9vN6stntC3p586wdtXoXFuHM4uI5DUFFZEM2O12/tj9L28v3E3UecfhzPXLBTKykw5nFhHJSwoqIreQmGLli4hDfLziHy6lWDGZoGf9EF5pU5ViOpxZRCTXKaiIZMLJ6EuMX7yXeduuHs486L7KPNmkvA5nFhHJRQoqIlmw8YjjcOZdJxyHM1cq7s2bHcNoUUWHM4uI5AYFFZEsstrs/LgpiveW7ON8fDIArauVZHiHapQr6m1wdSIiBYuCikg2RV9KYdKyA3y97kja4cx9m1eg/z06nFlEJKcoqIjcoQP/xjJ6wW4iDjgOZy7h686wB0N5qHZpHc4sInKHFFREcoDdbmfp7n95e+EeIs8nAFC3bAAjO4VRq0yAscWJiORjCioiOSgxxcqXqw/z8YqDJCQ7Dmd+uF4ZXm0TSnFfHc4sIpJVCioiueBUdCLjF+9h7pXDmd1dGNS6Mk80Lo+biw5nFhHJLAUVkVy0+eh5Rs7fzY7j0QBULO7NiA7VaVW1hMGViYjkDwoqIrnMarPz0+XDmc9dPpz5vtASDO9QnfLFdDiziMitKKiI5JHoSyl8tPwAX689Qurlw5mfblaB/vfehY8OZxYRyZCCikgeO3g6ltEL9rBq/xnAcTjza21D6VKnNGazDmcWEbmWgoqIAex2O8v3nOathbs5es5xOHPtkABGdQojPCTA2OJERJyIgoqIgZJSHYczT/mf43BmuHw4c9uqlPD1MLg6ERHjKaiIOIF/YxJ5Z/Feft16HAAfdxcG3ncXfZpU0OHMIlKoKaiIOJHNRy8w6rdd/H3McTjzXSV8mNizNjVK+xtcmYiIMbLy/a0/60RyWb1ygcx9qSnvdqtFMR83Dp6Oo8sna5i26h9stnz7d4KISJ5QUBHJA2aziR4NQvjj5ZbcX70kKVY7Yxft5YmvNvBvTKLR5YmIOC0FFZE8VMTbjWmP12Nsl5p4uJpZffAsbSauYsmuU0aXJiLilBRURPKYyWTi0UZlWTCgOWHBflxMSOH5bzcz7NcdJCSnGl2eiIhTUVARMchdJXz49aUmPN+iIgCzNkTSYfJqdl6+hpCIiCioiBjK3cXCsAer8f0zjSjp586hM/F0+WQNn67URFsREVBQEXEKTe8qxu+DWtAmzDHRdvzivTz25V+cjL5kdGkiIoZSUBFxEoHebnz6WD3Gd62Jp6uFtf+co+3ECH7fedLo0kREDKOgIuJETCYTjzQsy8KBzahZ2p/oSym88N0WXvv5b+KTNNFWRAofBRURJ1SxuA+/vNiEF1tVwmSCHzZF0WHyav4+dtHo0kRE8pSCioiTcnMx81rbUL5/phGl/Dw4fDaerp+s5ZM/D2LVRFsRKSQUVEScXJNKxfh9cHMerFmKVJudd3/fR+8v1nPioibaikjBp6Aikg8EeLnx8aN1ebd7LbzcLKw/dJ52kyJYtEMTbUWkYFNQEcknTCYTPeqHsHBgc8LLOCbavvT9Fl79absm2opIgaWgIpLPVCjmzc8vNqHfPY6Jtj9tPkb7jyLYFnXR6NJERHKcgopIPuRqMfNqm1BmPXs3wf4eHDmXQPepa/l4hSbaikjBoqAiko/dXbEoiwe1oH2tIFJtdt5bso9en6/nuCbaikgBoaAiks/5e7kypVcd3n84HG83CxsOn6fdxFUs+PuE0aWJiNwxBRWRAsBkMtG9XhnHRNuQAGISU+k/cyv/+XE7cZpoKyL5mKFBZeTIkZhMpnS30NBQI0sSydfKF/Pm5xcaM/DeuzCb4Jctx3hwUgRbIy8YXZqISLZkK6hERUVx7NixtPsbNmxg8ODBTJs2LcvbCgsL4+TJk2m31atXZ6ckEbnM1WJmyANVmf1cY0oHeBJ5PoHun65j8vIDmmgrIvlOtoLKo48+yooVKwA4deoU999/Pxs2bOD1119n9OjRWdqWi4sLpUqVSrsVK1bspusmJSURExOT7iYiGWtYoQiLBjWnU3gwVpudCUv388i0dRy7kGB0aSIimZatoLJz504aNmwIwI8//kiNGjVYu3Yt33//PTNmzMjStg4cOEBwcDAVK1akd+/eREZG3nTdcePG4e/vn3YLCQnJTvkihYa/pyuTHqnNhz3D8XF3YeORC7SbFMH87ZpoKyL5Q7aCSkpKCu7u7gAsW7aMTp06ARAaGsrJk5k/pXejRo2YMWMGv//+O1OnTuXw4cM0b96c2NjYDNcfNmwY0dHRabeoqKjslC9SqJhMJrrUKcOigc2pWzaA2MRUBs7aypAfthGbmGJ0eSIit2Sy2+1ZHrRu1KgR99xzD+3bt+eBBx5g/fr1hIeHs379erp3755u/kpWXLx4kXLlyvHBBx/Qt2/f264fExODv78/0dHR+Pn5ZWufIoVJqtXG5P8dZPL/DmCzQ0gRTyb2rEO9coFGlyYihUhWvr+z1VF55513+Oyzz2jVqhW9evUiPDwcgPnz56cNCWVHQEAAVapU4eDBg9nehojcnIvFzMv3V+HH5xtTJtCTqPOX6PHZOiYtO0Cq1WZ0eSIiN8hWRwXAarUSExNDYODVv8SOHDmCl5cXJUqUyFYxcXFxlC1blpEjRzJw4MDbrq+Oikj2xSSmMGLuTuZuc8xXqV8ukA971iakiJfBlYlIQZfrHZVLly6RlJSUFlKOHj3KxIkT2bdvX5ZCyiuvvMLKlSs5cuQIa9eupUuXLlgsFnr16pWdskQkC/w8XJn4SB0m9qyNr7sLm45e4MFJEczdetzo0kRE0mQrqHTu3JlvvvkGcMwradSoERMmTOChhx5i6tSpmd7OsWPH6NWrF1WrVqVHjx4ULVqU9evXU7x48eyUJSLZ8FCd0iwa1Jx65QKJTUpl8A/bGDx7KzGaaCsiTiBbQz/FihVj5cqVhIWF8cUXXzB58mS2bt3KL7/8wogRI9izZ09u1HoDDf2I5JxUq42PV/zDR/9znBiuTKAnE3vWpn75IkaXJiIFTK4P/SQkJODr6wvAH3/8QdeuXTGbzdx9990cPXo0O5sUEYO5WMwMal2ZH59vTEgRT45dcEy0/XDpfk20FRHDZCuo3HXXXcydO5eoqCiWLFnCAw88AMDp06fV2RDJ5+qVC2TRwOZ0rVMamx0mLT9Aj8/WEXlOZ7QVkbyXraAyYsQIXnnlFcqXL0/Dhg1p3Lgx4Oiu1KlTJ0cLFJG85+vhygc9azPpkdr4eriwJfIiD34Uwa9bjpHNAwVFRLIl24cnnzp1ipMnTxIeHo7Z7Mg7GzZswM/PL8+ugKw5KiK579iFBIb8sJ0NR84D0Ck8mLceqoG/p6vBlYlIfpWV7+9sB5UrrpyFtkyZMneymWxRUBHJG1abnal/HuTDZY6JtqUDPPmwZ20aVtBEWxHJulyfTGuz2Rg9ejT+/v6UK1eOcuXKERAQwFtvvYXNpkl3IgWNxWyi/72V+fmFxpQr6sXxi5foOW0dby/YzaVkq9HliUgBlq2g8vrrrzNlyhTGjx/P1q1b2bp1K2PHjmXy5MkMHz48p2sUESdRp2wgCwc25+F6ZbDb4YvVh3nwowg2XR4WEhHJadka+gkODubTTz9Nu2ryFfPmzeOll17i+PG8ObOlhn5EjLNi72mG/bqDUzGJmEzwVJMKvNqmKp5uFqNLExEnl+tDP+fPn89wwmxoaCjnz+svK5HC4J7QEix5uQU96ju6K1+tOUy7SavYcFj/DxCRnJOtoBIeHs6UKVNuWD5lyhRq1ap1x0WJSP7g7+nKu93DmfFUA4L8PThyLoGe09Yx6rddJCSnGl2eiBQA2Rr6WblyJe3bt6ds2bJp51BZt24dUVFRLFq0iObNm+d4oRnR0I+I84hJTGHswj3M3hgFQLmiXrzbrRaNKhY1uDIRcTa5PvTTsmVL9u/fT5cuXbh48SIXL16ka9eu7Nq1i2+//TZbRYtI/ubn4cr4brX4+umGBPt7cPRcAj2nrWfkfHVXRCT77vg8Ktfavn07devWxWrNm8MV1VERcU4xiSmMW7SHWRsc3ZWyRbx4p1stGldSd0VE8qCjIiJyK34erozrWotvLndXIs8n0Ovz9YyYt5P4JHVXRCTzFFREJNe0qFKcJS+34NFGZQH4Zt1R2kxcxdp/zhpcmYjkFwoqIpKrfD1cGdulJt/1bUTpAE+OXbjEo5//xRtzd6i7IiK3laU5Kl27dr3l4xcvXmTlypWaoyIiGYpLSmXcoj18/1ckAGUCPXm3Wy2a3FXM4MpEJC9l5fvbJSsb9vf3v+3jTzzxRFY2KSKFiI+7C2O61OTBmkH89+e/Hd2VL/6id6OyDHuwGj7uWfpfkogUAjl61E9eU0dFJP+KS0rlncV7+Xb9UQBKB3jyTrdaNKus7opIQaejfkTE6fm4u/DWQzWY+WwjQop4cvziJR778i+G/bqD2MQUo8sTESehoCIihmpSqRi/D2rBk43LATBrQyRtPlzFqv1nDK5MRJyBgoqIGM7b3YVRnWsw69m7KVvEixPRiTzx1QaG/vI3MequiBRqCioi4jQaVyrK74Ob06dJeQBmb4yizYerWKnuikihpaAiIk7Fy82FkZ3C+OG5uylX1IuT0Yk8+dUGXvtZ3RWRwkhBRUScUqOKRVk8qDlPNS2PyQQ/bIrigQ9WsWLfaaNLE5E8pKAiIk7Ly82FNzuG8cNzjSlf1ItTMYk8NX0jr/60nehL6q6IFAYKKiLi9BpWKMLiQS3o26wCJhP8tPkYD3y4kv/t/dfo0kQklymoiEi+4OlmYXiH6vz0fGMqFPPm35gknp6xif/8uJ3oBHVXRAoqBRURyVfqly/CooHNeeZyd+WXLce4/8OVLN+j7opIQaSgIiL5jqebhTc6VOfnFxpTsZg3p2OT6Pv1Job8sI2LCclGlyciOUhBRUTyrXrlirBoUHOea1ERswl+3Xqc+z9cxdLd6q6IFBQKKiKSr3m4Wvi/B6vx0wtNqFjcmzOxSTz7zSYGz96q7opIAaCgIiIFQr1ygSwa2JznWzq6K3O3naD1B6tYsuuU0aWJyB1QUBGRAsPD1cKwdtX45cUm3FXCh7NxSTz/7WYGztrKhXh1V0TyIwUVESlw6pQNZMGAZrzYqhJmE8zffoL7P1zJ7zvVXRHJbxRURKRA8nC18FrbUH59qSmVS/hwNi6ZF77bzIBZWzmv7opIvqGgIiIFWu2QAH4b0IyXLndXftt+gvs/WMniHSeNLk1EMkFBRUQKPA9XC/9tG8qcl5pSpaQP5+KTefH7LfSbuYVzcUlGlycit6CgIiKFRvjl7kr/e+7CYjax8O+TPPDhKlbtP2N0aSJyEwoqIlKouLtYeKVNVea+1JSqJX05F5/Mk9M38OHS/VhtdqPLE5HrKKiISKFUs4w/8/o3pVfDstjtMGn5AZ78agNnNRQk4lQUVESk0PJwtTCua00+6BGOp6uF1QfP0v6jCDYeOW90aSJymYKKiBR6XeuWYV7/plQq7s2/MUk8Mm0901b9g92uoSARozlNUBk/fjwmk4nBgwcbXYqIFEJVSvoyv38zOoUHY7XZGbtoL899u5noSylGlyZSqDlFUNm4cSOfffYZtWrVMroUESnEvN1dmPRIbd56qAZuFjNLd/9Lh8kR7DgWbXRpIoWW4UElLi6O3r178/nnnxMYGGh0OSJSyJlMJh6/uxw/v9iYMoGeRJ2/RLepa/lu/VENBYkYwPCg0q9fP9q3b0/r1q1vu25SUhIxMTHpbiIiuaFWmQAWDmhO62olSbbaeGPuTgb/sI34pFSjSxMpVAwNKrNnz2bLli2MGzcuU+uPGzcOf3//tFtISEguVygihZm/lyufP1GPYe1CsZhNzNt2gs4fr+HAv7FGlyZSaBgWVKKiohg0aBDff/89Hh4emXrOsGHDiI6OTrtFRUXlcpUiUtiZTCaeb1mJWc/eTQlfdw6ejqPTlDXM2XrM6NJECgWT3aBB17lz59KlSxcsFkvaMqvVislkwmw2k5SUlO6xjMTExODv7090dDR+fn65XbKIFHJn45IYNHsraw6eA+DRRmUZ0aE6Hq63/n+ViKSXle9vw4JKbGwsR48eTbfsqaeeIjQ0lNdee40aNWrcdhsKKiKS16w2O5OW7WfyioPY7VCjtB+fPFqPskW9jC5NJN/Iyve3Sx7VdANfX98bwoi3tzdFixbNVEgRETGCxWxiyANVqVe+CINnb2Xn8RjaT47g/YfDaRNWyujyRAocw4/6ERHJj1pWKc7Cgc2pWzaA2MRUnv92M2MW7ibFajO6NJECxbChn5ygoR8RMVpyqo13ft/Ll6sPA1C/XCBTHq1LKf/MHSQgUhhl5ftbHRURkTvg5mJmeIfqTO1dF193FzYdvcCDH0UQceCM0aWJFAgKKiIiOaBdzSB+G9CMakF+nI9P5omvNjBx2X6stnzbtBZxCgoqIiI5pHwxb+a81IRHGoRgt8PEZQfoM30D5+KSjC5NJN9SUBERyUEerhbGd6vFhIfD8XA1E3HgLO0/Ws2mI+eNLk0kX1JQERHJBd3qlWFev2ZULO7NqZhEek5bz+erDunChiJZpKAiIpJLqpbyZX7/ZnQMD8ZqszNm0R6e/3Yz0ZdSjC5NJN9QUBERyUU+7i589Eht3uochpvFzB+7/6Xj5NXsPB5tdGki+YKCiohILjOZTDzeuDw/v9iYMoGeRJ5PoOvUtcz8K1JDQSK3oaAiIpJHapUJYOGA5twXWoLkVBv/N2cHQ37cTkJyqtGliTgtBRURkTzk7+XK50/U57W2oVjMJuZsPU7nKWs4eDrW6NJEnJKCiohIHjObTbzYqhIzn2lECV93DpyOo9OUNczbdtzo0kScjoKKiIhBGlUsysKBzWlSqSgJyVYGzd7G63N2kJhiNbo0EaehoCIiYqDivu5827cRA+69C4Dv/4qk+6driTyXYHBlIs5BQUVExGAWs4n/PFCVGU81INDLlZ3HY2g/OYI/dp0yujQRwymoiIg4iVZVS7BwYHPqlA0gNjGV577dzNhFe0ix2owuTcQwCioiIk4kOMCTH55rzNNNKwAwbdUhHv18PaeiEw2uTMQYCioiIk7GzcXMiI7Vmdq7Lr7uLmw8coH2H0Ww+sBZo0sTyXMKKiIiTqpdzSB+G9CMakF+nItP5vGv/mLSsgPYbDqbrRQeCioiIk6sfDFv5rzUhJ71Q7Db4cNl+3ly+gbOxSUZXZpInlBQERFxch6uFt7pXov3Hw7Hw9VMxIGztP9oNZuPnje6NJFcp6AiIpJPdK9Xhrn9mlKxmDenYhLp+dl6vog4pAsbSoGmoCIiko+ElvJj/oBmdKgVRKrNztsL9/DCd5uJvpRidGkiuUJBRUQkn/Fxd2FyrzqM7hyGq8XEkl3/0nGyhoKkYFJQERHJh0wmE080Ls9PLzShdIAnkecT6P7pOsYs3K1rBUmBoqAiIpKP1Q4JYNHA5nStWxq7HT6POMyDkyLUXZECQ0FFRCSf8/dy5YMetfnyyfqU9HPn0Nl4un+6jrcX7OZSsrorkr8pqIiIFBD3VSvJH4Nb0q1uGex2+GL1YR78KIJNR9RdkfxLQUVEpADx93JlQo9wvurj6K4cPhvPw5+t4y11VySfUlARESmA7g11dFe613N0V7683F3ZqO6K5DMKKiIiBZS/lyvvPxzO9D4N0rorPT5bx+jf1F2R/ENBRUSkgLsntAR/vNyShy93V75ac5h2k1apuyL5goKKiEgh4O/pynuXuyul/Dw4ci5B3RXJFxRUREQKkXtCS7Dk5Rb0qJ++u7LhsLor4pwUVEREChl/T1fe7R7O9Keudld6TlvHqN92qbsiTkdBRUSkkLqnagn+GHK1uzJ9zRHaqrsiTkZBRUSkEPPzcHRXZjzVgCB/D45e7q6MnL+LhORUo8sTUVARERFoVdUxd6Vn/RDsdpix9gjtJkXw16FzRpcmhZyCioiIAI7uyjvda/H10w2v6a6sV3dFDKWgIiIi6bSsUpwlL7fgkQYhgLorYiwFFRERuYGfhyvjuzm6K8HqroiBFFREROSmWlYpzu8vt6BXw6vdlbYTI1iv7orkEQUVERG5JT8PV8Z1rcU3l7srkecTeGTaet6ct5P4JHVXJHcpqIiISKa0uDx3pVfDsgB8ve4obSetYt0/6q5I7lFQERGRTPP1cGVc15p829fRXYk6f4len69nhLorkksMDSpTp06lVq1a+Pn54efnR+PGjVm8eLGRJYmISCY0r5y+u/KNuiuSSwwNKmXKlGH8+PFs3ryZTZs2ce+999K5c2d27dplZFkiIpIJV7or3/VtROkAT3VXJFeY7Ha73egirlWkSBHee+89+vbte8NjSUlJJCUlpd2PiYkhJCSE6Oho/Pz88rJMERG5RlxSKmMX7WHmX5EAhBTx5J1utWhSqZjBlYkziomJwd/fP1Pf304zR8VqtTJ79mzi4+Np3LhxhuuMGzcOf3//tFtISEgeVykiIhnxcXdhbJf03ZVHP/+L4XPVXZE7Y3hHZceOHTRu3JjExER8fHyYOXMmDz74YIbrqqMiIuL84pJSGbdoD99f7q6UCfTk3e7qrshVWemoGB5UkpOTiYyMJDo6mp9//pkvvviClStXUr169ds+NysvVERE8taag2f5789/c/ziJQAeu7ssw9pVw9vdxeDKxGj5Kqhcr3Xr1lSqVInPPvvstusqqIiIOLe4pFTGL97Dd+uv6a50q0WTu9RdKczy5RyVK2w2W7rhHRERyb983F14+6GazHzGMXfl2IVLPPrFX7wxdwdxmrsimWBoUBk2bBirVq3iyJEj7Nixg2HDhvHnn3/Su3dvI8sSEZEc1uSuYix5uQWP310OgO/WR9Lmw1WsOXjW4MrE2RkaVE6fPs0TTzxB1apVue+++9i4cSNLlizh/vvvN7IsERHJBT7uLrz1UA1mPtOIMoGeHL94id5f/MXrc9RdkZtzujkqWaE5KiIi+VN8UirjF+/l2/VHASgd4DgyqKnmrhQK+XqOioiIFHzeV7orzzYipMjV7sr/zdlB9KUUo8sTJ6KgIiIihmlSqRi/D2rBE40dc1dm/hXJfRP+5KdNUdhs+bbhLzlIQUVERAzl7e7C6M41mPXs3VQq7s3ZuGRe/flvun26lh3Hoo0uTwymOSoiIuI0klNtzFh7mEnLDhCfbMVkgkcalOXVNlUp4u1mdHmSQzRHRURE8iU3FzPPtajE/15pRZc6pbHbYdaGSO55/0++XXcEq4aDCh11VERExGltOHyeN+fvYs/JGACqB/kxqnMYDcoXMbgyuRP5+hT6WaGgIiJS8KVabczaEMl7S/YRk+g430qXOqUZ1i6UEn4eBlcn2aGgIiIiBc65uCTe/2MfszdGYbeDt5uFQa0r06dJBdxcNJMhP1FQERGRAuvvYxcZMW8X26IuAlCpuDcjO4XRvHJxYwuTTFNQERGRAs1ms/PLlmO88/tezsYlA9A2rBRvdKhGmUAvg6uT21FQERGRQiH6UgoTl+3nm3VHsdrsuLuYeanVXTzfsiIerhajy5ObUFAREZFCZd+pWN6cv5P1h84DEFLEkxEdwmhdrQQmk8ng6uR6CioiIlLo2O12Fvx9kjEL93AqJhGAllWK82bH6lQs7mNwdXItBRURESm04pNS+XjFQT6POESK1Y6rxUTfZhUZcO9deLu7GF2eoKAiIiLC4bPxjPptF3/uOwNAKT8P/q99NTrWCtJwkMEUVERERHAMBy3fc5rRC3YTeT4BgEYVijCqcxihpfS9YRQFFRERkWskplj5fNUhPv7zIIkpNixmE4/fXY6X76+Cv6er0eUVOgoqIiIiGTh2IYExC/eweOcpAIp6u/Fa21C61yuD2azhoLyioCIiInILqw+c5c35O/nnTDwA4SEBjO4URnhIgLGFFRIKKiIiIreRnGrj67VHmLT8AHFJqZhM0LN+CK+2qUpRH3ejyyvQsvL9ras4iYhIoeTmYubZFhX5339a0rVOaex2mL0xinve/5Ov1x4h1WozukRBHRUREREANh05z4h5u9h9MgaA0FK+jO5cg4YVihhcWcGjoR8REZFssNrszNwQyftL9hF9KQWAzrWDGdauGqX8PQyuruDQ0I+IiEg2XDlsecUrrXi0UVlMJpi37QT3TviTT1f+Q3KqhoPymjoqIiIiN7HjWDQj5u9ka+RFACoW8+bNTmG0rFLc2MLyOQ39iIiI5BCbzc6vW48zfvEezsYlA/BA9ZIM71CdkCJeBleXPymoiIiI5LCYxBQmLTvAjLVHsNrsuLuYebFVJV5oWQkPV4vR5eUrCioiIiK5ZP+/sbw5bxfrDp0DoEygJ2+0r06bsJK62GEmKaiIiIjkIrvdzqIdp3h74W5ORicC0LxyMUZ2CqNScR+Dq3N+CioiIiJ5ICE5lU9W/MO0VYdIttpwtZh4umkFBtxXGR93F6PLc1oKKiIiInnoyNl4Ri/Yzf/2ngaghK87Q9uF8lDt0rrYYQYUVERERAywfM+/jF6wm6PnEgDHxQ5HdKhOvXKBBlfmXBRUREREDJKYYuWrNYf5+H8HiU+2AtApPJih7UIJDvA0uDrnoKAiIiJisNMxibz/xz5+2nwMux08XM0816ISL7SsiJdb4Z6/oqAiIiLiJHYej2b0b7vZcOQ8AKX8PHitXVU6hxfe+SsKKiIiIk7EbrezeOcpxi7aw7ELlwCoHRLAiI7VqVu28M1fUVARERFxQokpVr5cfZhPVlydv9K5djCvtS1c81cUVERERJxYRvNXnm9RiecLyfwVBRUREZF8YMexaEYv2MXGIxcAx/yVoe1C6RQeXKDnryioiIiI5BNXTsc/dtEejl8sHPNXFFRERETymSvzVz5ecZCEy/NXHqodzGvtQgnyL1jzVxRURERE8qnTMYm8t2QfP2+5On/lhZaVeL5FJTzdLEaXlyMUVERERPK56+evBPlfnb9iMuXv+StZ+f4251FNGRo3bhwNGjTA19eXEiVK8NBDD7Fv3z4jSxIREXEKNcv48+Pzjfn40bqUDvDkZHQig2Zvo+vUtWyNvGB0eXnG0KCycuVK+vXrx/r161m6dCkpKSk88MADxMfHG1mWiIiIUzCZTLSvFcTy/7Tk1TZV8XKzsDXyIl0+WcvLP2zjZPQlo0vMdU419HPmzBlKlCjBypUradGixW3X19CPiIgUJqdjEnl3yT5+3nwMAE9XCy+0rMRzLSrmq/kr+Wbo53rR0dEAFClSJMPHk5KSiImJSXcTEREpLEr4efD+w+HM79+U+uUCuZRi5cNl+7l3wp/M23YcJ+o95Bin6ajYbDY6derExYsXWb16dYbrjBw5klGjRt2wXB0VEREpbOx2Owt3nGTcor1p51+pWzaAER3DqB0SYGxxt5Evj/p58cUXWbx4MatXr6ZMmTIZrpOUlERSUlLa/ZiYGEJCQhRURESk0EpMsfJFxCE++fOftPOvdK1Tmv+2DaWUv4fB1WUs3wWV/v37M2/ePFatWkWFChUy/TzNUREREXH4NyaRd3/fxy9bnH/+Sr4JKna7nQEDBjBnzhz+/PNPKleunKXnK6iIiIik9/exi4z+bTebjjoOYQ729+A1Jzv/Sr4JKi+99BIzZ85k3rx5VK1aNW25v78/np63P12wgoqIiMiN7HY7C/4+yfjF6eevvNkxjHAnmL+Sb4LKzZLd9OnT6dOnz22fr6AiIiJyc4kpVj5f5Zi/cinl8vyVuqX5bxtj56/km6BypxRUREREbi+j+SsvtnLMX/Fwzfv5KwoqIiIicoPtURcZvWA3m6+ZvzL0wWp0rBWUp/NXFFREREQkQ3a7nd/+Psn4RXs4EZ0IQL1ygYzoUD3P5q8oqIiIiMgt3Wz+ymttQynpl7vzVxRUREREJFNORSfy7pK9/LrlOOCYv/JSq0o8m4vzVxRUREREJEuun79SOsCToe1C6ZAL81cUVERERCTLMpq/0rJKcWY81SBHw0q+vXqyiIiIGMdkMtEpPJjl/2nFkPur4OlqoWGFIoae0dbFsD2LiIiIU/J0szDwvsr0qB9CgJerobUoqIiIiEiGnOHqyxr6EREREaeloCIiIiJOS0FFREREnJaCioiIiDgtBRURERFxWgoqIiIi4rQUVERERMRpKaiIiIiI01JQEREREaeloCIiIiJOS0FFREREnJaCioiIiDgtBRURERFxWvn66sl2ux2AmJgYgysRERGRzLryvX3le/xW8nVQiY2NBSAkJMTgSkRERCSrYmNj8ff3v+U6Jntm4oyTstlsnDhxAl9fX0wmU45uOyYmhpCQEKKiovDz88vRbUvW6f1wLno/nIveD+ej9+TW7HY7sbGxBAcHYzbfehZKvu6omM1mypQpk6v78PPz04fMiej9cC56P5yL3g/no/fk5m7XSblCk2lFRETEaSmoiIiIiNNSULkJd3d33nzzTdzd3Y0uRdD74Wz0fjgXvR/OR+9JzsnXk2lFRESkYFNHRURERJyWgoqIiIg4LQUVERERcVoKKiIiIuK0FFQy8PHHH1O+fHk8PDxo1KgRGzZsMLqkQmvcuHE0aNAAX19fSpQowUMPPcS+ffuMLkuA8ePHYzKZGDx4sNGlFGrHjx/nscceo2jRonh6elKzZk02bdpkdFmFktVqZfjw4VSoUAFPT08qVarEW2+9lanr2cjNKahc54cffmDIkCG8+eabbNmyhfDwcNq0acPp06eNLq1QWrlyJf369WP9+vUsXbqUlJQUHnjgAeLj440urVDbuHEjn332GbVq1TK6lELtwoULNG3aFFdXVxYvXszu3buZMGECgYGBRpdWKL3zzjtMnTqVKVOmsGfPHt555x3effddJk+ebHRp+ZoOT75Oo0aNaNCgAVOmTAEc1xMKCQlhwIABDB061ODq5MyZM5QoUYKVK1fSokULo8splOLi4qhbty6ffPIJb7/9NrVr12bixIlGl1UoDR06lDVr1hAREWF0KQJ06NCBkiVL8uWXX6Yt69atG56ennz33XcGVpa/qaNyjeTkZDZv3kzr1q3TlpnNZlq3bs26desMrEyuiI6OBqBIkSIGV1J49evXj/bt26f770SMMX/+fOrXr8/DDz9MiRIlqFOnDp9//rnRZRVaTZo0Yfny5ezfvx+A7du3s3r1atq1a2dwZflbvr4oYU47e/YsVquVkiVLpltesmRJ9u7da1BVcoXNZmPw4ME0bdqUGjVqGF1OoTR79my2bNnCxo0bjS5FgEOHDjF16lSGDBnC//3f/7Fx40YGDhyIm5sbTz75pNHlFTpDhw4lJiaG0NBQLBYLVquVMWPG0Lt3b6NLy9cUVCTf6NevHzt37mT16tVGl1IoRUVFMWjQIJYuXYqHh4fR5QiO8F6/fn3Gjh0LQJ06ddi5cyeffvqpgooBfvzxR77//ntmzpxJWFgY27ZtY/DgwQQHB+v9uAMKKtcoVqwYFouFf//9N93yf//9l1KlShlUlQD079+fBQsWsGrVKsqUKWN0OYXS5s2bOX36NHXr1k1bZrVaWbVqFVOmTCEpKQmLxWJghYVPUFAQ1atXT7esWrVq/PLLLwZVVLi9+uqrDB06lEceeQSAmjVrcvToUcaNG6egcgc0R+Uabm5u1KtXj+XLl6cts9lsLF++nMaNGxtYWeFlt9vp378/c+bM4X//+x8VKlQwuqRC67777mPHjh1s27Yt7Va/fn169+7Ntm3bFFIM0LRp0xsO19+/fz/lypUzqKLCLSEhAbM5/deqxWLBZrMZVFHBoI7KdYYMGcKTTz5J/fr1adiwIRMnTiQ+Pp6nnnrK6NIKpX79+jFz5kzmzZuHr68vp06dAsDf3x9PT0+DqytcfH19b5gb5O3tTdGiRTVnyCAvv/wyTZo0YezYsfTo0YMNGzYwbdo0pk2bZnRphVLHjh0ZM2YMZcuWJSwsjK1bt/LBBx/w9NNPG11a/maXG0yePNletmxZu5ubm71hw4b29evXG11SoQVkeJs+fbrRpYndbm/ZsqV90KBBRpdRqP3222/2GjVq2N3d3e2hoaH2adOmGV1SoRUTE2MfNGiQvWzZsnYPDw97xYoV7a+//ro9KSnJ6NLyNZ1HRURERJyW5qiIiIiI01JQEREREaeloCIiIiJOS0FFREREnJaCioiIiDgtBRURERFxWgoqIiIi4rQUVERERMRpKaiISIFiMpmYO3eu0WWISA5RUBGRHNOnTx9MJtMNt7Zt2xpdmojkU7oooYjkqLZt2zJ9+vR0y9zd3Q2qRkTyO3VURCRHubu7U6pUqXS3wMBAwDEsM3XqVNq1a4enpycVK1bk559/Tvf8HTt2cO+99+Lp6UnRokV57rnniIuLS7fOV199RVhYGO7u7gQFBdG/f/90j589e5YuXbrg5eVF5cqVmT9/fu6+aBHJNQoqIpKnhg8fTrdu3di+fTu9e/fmkUceYc+ePQDEx8fTpk0bAgMD2bhxIz/99BPLli1LF0SmTp1Kv379eO6559ixYwfz58/nrrvuSrePUaNG0aNHD/7++28efPBBevfuzfnz5/P0dYpIDjH68s0iUnA8+eSTdovFYvf29k53GzNmjN1ut9sB+wsvvJDuOY0aNbK/+OKLdrvdbp82bZo9MDDQHhcXl/b4woUL7Waz2X7q1Cm73W63BwcH219//fWb1gDY33jjjbT7cXFxdsC+ePHiHHudIpJ3NEdFRHLUPffcw9SpU9MtK1KkSNrvjRs3TvdY48aN2bZtGwB79uwhPDwcb2/vtMebNm2KzWZj3759mEwmTpw4wX333XfLGmrVqpX2u7e3N35+fpw+fTq7L0lEDKSgIiI5ytvb+4ahmJzi6emZqfVcXV3T3TeZTNhsttwoSURymeaoiEieWr9+/Q33q1WrBkC1atXYvn078fHxaY+vWbMGs9lM1apV8fX1pXz58ixfvjxPaxYR46ijIiI5KikpiVOnTqVb5uLiQrFixQD46aefqF+/Ps2aNeP7779nw4YNfPnllwD07t2bN998kyeffJKRI0dy5swZBgwYwOOPP07JkiUBGDlyJC+88AIlSpSgXbt2xMbGsmbNGgYMGJC3L1RE8oSCiojkqN9//52goKB0y6pWrcrevXsBxxE5s2fP5qWXXiIoKIhZs2ZRvXp1ALy8vFiyZAmDBg2iQYMGeHl50a1bNz744IO0bT355JMkJiby4Ycf8sorr1CsWDG6d++edy9QRPKUyW63240uQkQKB5PJxJw5c3jooYeMLkVE8gnNURERERGnpaAiIiIiTktzVEQkz2ikWUSySh0VERERcVoKKiIiIuK0FFRERETEaSmoiIiIiNNSUBERERGnpaAiIiIiTktBRURERJyWgoqIiIg4rf8HtMUw6L+Sz4QAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Save training and validation losses to CSV\n",
    "loss_data = pd.DataFrame({\"epoch\": list(range(1, epochs+1)), \"train_loss\": train_losses, \"val_loss\": val_losses})\n",
    "loss_data.to_csv(\"train_val_losses_lstm.csv\", index=False)\n",
    "\n",
    "# Plotting the losses\n",
    "plt.plot(train_losses, label=\"Train Loss\")\n",
    "plt.plot(val_losses, label=\"Validation Loss\")\n",
    "plt.xlabel(\"Epoch\")\n",
    "plt.ylabel(\"Loss\")\n",
    "plt.legend()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "RF0-bNGU3vcl",
    "outputId": "9d219482-9ed1-400f-b3b1-12405302a505"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Original: this is a test sentence\n",
      "Translated: <sos> صمم خطاب تقدير للمستلم المدونة. <eos>\n"
     ]
    }
   ],
   "source": [
    "# Translate a test sentence\n",
    "def translate_sentence(model, sentence, vocab_en, vocab_arabic):\n",
    "    model.eval()\n",
    "    with torch.no_grad():\n",
    "        test_indices = [vocab_en.get(word, vocab_en['<unk>']) for word in sentence.split()]\n",
    "        test_indices = [vocab_en['<sos>']] + test_indices + [vocab_en['<eos>']]\n",
    "        test_tensor = torch.tensor(test_indices, dtype=torch.long).unsqueeze(0).to(device)\n",
    "\n",
    "        output = model(test_tensor, test_tensor)\n",
    "        output_indices = output.argmax(dim=-1).squeeze(0).cpu().numpy().tolist()\n",
    "\n",
    "        translated_sentence = ' '.join([list(vocab_arabic.keys())[list(vocab_arabic.values()).index(idx)] for idx in output_indices])\n",
    "        return translated_sentence\n",
    "\n",
    "# Test translation\n",
    "test_sentence = \"this is a test sentence\"\n",
    "translated_sentence = translate_sentence(model, test_sentence, vocab_en, vocab_arabic)\n",
    "print(f\"Original: {test_sentence}\")\n",
    "print(f\"Translated: {translated_sentence}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "hTACL5B6ziPJ",
    "outputId": "dfa65f02-a863-48ed-ce37-3e4ee2f6751f"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sentence 1:\n",
      "Reference: ['<sos> ما الفيلم الذي شاهدته الأسبوع الماضي؟ <eos> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad>']\n",
      "Hypothesis: <sos> لقد مرة اتصال لأعضاء الفريق معين. غاضبة غاضبة <eos> سم. غاضبة استعارة. رفيعة) رفيعة) رفيعة) استخداماتها تحاول تحاول بالوقت بالوقت بالوقت بأفضل بأفضل return return return return return return return return return return return return return return return return return return return return نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا <eos>\n",
      "BLEU Score: 0.1755\n",
      "CHRF Score: 0.3177\n",
      "--------------------------------------------------\n",
      "Sentence 2:\n",
      "Reference: ['<sos> اكتب منشور مدونة حول كيفية قيام الذكاء الاصطناعي بتحويل صناعة الرعاية الصحية. <eos> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad>']\n",
      "Hypothesis: <sos> لقد تأخرت قانون التوريد. المدونة. الآن التالي دولارات. والفراولة. (شرائح رفيعة) كازو باردة. <eos> الحب العين الاجتماعية 278/16 رفيعة) والألياف زمنيًا زمنيًا بأفضل return return return return return return return return return return return return return return return return return return return return return return return return return return نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا <eos>\n",
      "BLEU Score: 0.1720\n",
      "CHRF Score: 0.3185\n",
      "--------------------------------------------------\n",
      "Sentence 3:\n",
      "Reference: ['<sos> اقترح لعبة بطاقة مناسبة لحفلة عيد ميلاد مع أطفال بعمر 10 سنوات. <eos> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad>']\n",
      "Hypothesis: <sos> لقد الفرق كثيف لتطبيق هو: الجيد. الداخلي. الكثير ومحبطة. غاضبة ومحبطة. ومحبطة. 3. بالنسبة بالنسبة <eos> سم. احتياجات تقطيع 278/16 والألياف للتحقيق ومحددة زمنيًا بأفضل return return return return return return return return return return return return return return return return return return return return return return return return return return return return نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا <eos>\n",
      "BLEU Score: 0.1720\n",
      "CHRF Score: 0.3230\n",
      "--------------------------------------------------\n",
      "Sentence 4:\n",
      "Reference: ['<sos> أعد صياغة الجملة التالية إلى زمن الماضي. <eos> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad>']\n",
      "Hypothesis: <sos> لقد الترتيب لزيادة وصول المدونة. على مصدر والتجارب. والشكل <eos> تزن المشوية. أحمر رائعًا. للعبث تحاول تحاول بالوقت بالوقت بالوقت بالوقت return return return return return return return return return return return return return return return return return return return return return return return return نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا <eos>\n",
      "BLEU Score: 0.1772\n",
      "CHRF Score: 0.3185\n",
      "--------------------------------------------------\n",
      "Sentence 5:\n",
      "Reference: ['<sos> شاركت في الحدث. <eos> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad> <pad>']\n",
      "Hypothesis: <sos> لقد تأخرت التالي وذيل للمستلم `x` <eos> القيمة. والكيوي والفراولة. (شرائح رفيعة) بمزيجنا تحاول تحاول تحاول بالوقت بالوقت بالوقت بالوقت بالوقت return return return return return return return return return return return return return return return return return return return return return return return return نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا نيكاراغوا <eos>\n",
      "BLEU Score: 0.1755\n",
      "CHRF Score: 0.3175\n",
      "--------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "# Compute BLEU and CHRF scores and save to CSV\n",
    "def compute_bleu_chrf_per_sentence(model, val_loader, vocab_en, vocab_arabic):\n",
    "    bleu_scores = []\n",
    "    chrf_scores = []\n",
    "    references = []\n",
    "    hypotheses = []\n",
    "\n",
    "    for source, target in val_loader:\n",
    "        source, target = source.to(device), target.to(device)\n",
    "        with torch.no_grad():\n",
    "            for i in range(len(source)):\n",
    "                # Convert source and target sentence indices to words\n",
    "                src_sentence = ' '.join([list(vocab_en.keys())[list(vocab_en.values()).index(idx)] for idx in source[i].cpu().numpy()])\n",
    "                trg_sentence = ' '.join([list(vocab_arabic.keys())[list(vocab_arabic.values()).index(idx)] for idx in target[i].cpu().numpy()])\n",
    "\n",
    "                # Translate the sentence\n",
    "                translated = translate_sentence(model, src_sentence, vocab_en, vocab_arabic)\n",
    "\n",
    "                # Append the reference and hypothesis for BLEU and CHRF calculation\n",
    "                references.append([trg_sentence])\n",
    "                hypotheses.append(translated)\n",
    "\n",
    "                # Calculate sentence-level BLEU and CHRF scores\n",
    "                bleu_score = sacrebleu.corpus_bleu([translated], [trg_sentence]).score\n",
    "                chrf_score = sacrebleu.corpus_chrf([translated], [trg_sentence]).score\n",
    "\n",
    "                bleu_scores.append(bleu_score)\n",
    "                chrf_scores.append(chrf_score)\n",
    "\n",
    "    return bleu_scores, chrf_scores, references, hypotheses\n",
    "\n",
    "# Call the function to compute BLEU and CHRF scores per sentence\n",
    "bleu_scores, chrf_scores, references, hypotheses = compute_bleu_chrf_per_sentence(model, val_loader, vocab_en, vocab_arabic)\n",
    "\n",
    "# Save the sentence-level BLEU and CHRF scores to CSV\n",
    "score_data = pd.DataFrame({\n",
    "    \"BLEU Score\": bleu_scores,\n",
    "    \"CHRF Score\": chrf_scores\n",
    "})\n",
    "\n",
    "score_data.to_csv(\"sentence_bleu_chrf_scores.csv\", index=False)\n",
    "\n",
    "# Optionally print some sentence-level results\n",
    "for i in range(5):  # Print first 5 sentence results\n",
    "    print(f\"Sentence {i+1}:\")\n",
    "    print(f\"Reference: {references[i]}\")\n",
    "    print(f\"Hypothesis: {hypotheses[i]}\")\n",
    "    print(f\"BLEU Score: {bleu_scores[i]:.4f}\")\n",
    "    print(f\"CHRF Score: {chrf_scores[i]:.4f}\")\n",
    "    print(\"-\" * 50)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "id": "y2q1Z6401MmZ"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}