{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Request thành công\n",
      "Response: {'code': 0, 'message': 'OK', 'result': {'suggestions': [{'startIndex': 8, 'endIndex': 11, 'originalText': 'the', 'suggestion': 'thế', 'confidence': 1.0}, {'startIndex': 12, 'endIndex': 14, 'originalText': 'cậ', 'suggestion': 'cậu', 'confidence': 1.0}]}}\n"
     ]
    }
   ],
   "source": [
    "import json\n",
    "import requests\n",
    "\n",
    "# Thay thế các giá trị dưới đây bằng thông tin của API bạn muốn gọi và mã thông báo (token) của bạn\n",
    "api_url = \"https://viettelgroup.ai/nlp/api/v1/spell-checking\"\n",
    "token = \"d3dad67f59d38557460aaeae820e6071\"\n",
    "\n",
    "# Dữ liệu bạn muốn gửi trong request POST (nếu có)\n",
    "data = {\n",
    "    \"sentence\": \"Làm sao the cậ?\"\n",
    "}\n",
    "\n",
    "# Tiêu đề Authorization chứa mã thông báo\n",
    "headers = {'Content-Type': 'application/json', 'token': token}\n",
    "\n",
    "# Thực hiện cuộc gọi POST\n",
    "response = requests.post(api_url, json=data, headers=headers)\n",
    "\n",
    "# Kiểm tra phản hồi từ server\n",
    "if response.status_code == 200:\n",
    "    print('Request thành công')\n",
    "    print('Response:', response.json())\n",
    "else:\n",
    "    print('Request thất bại')\n",
    "    print('Status code:', response.status_code)\n",
    "    print('Response:', response.text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "api_url = \"https://viettelgroup.ai/nlp/api/v1/spell-checking\"\n",
    "token = \"d3dad67f59d38557460aaeae820e6071\"\n",
    "\n",
    "def spell_correcting(sentence, api_url, token):\n",
    "    # Dữ liệu bạn muốn gửi trong request POST (nếu có)\n",
    "    data = {\n",
    "        \"sentence\": sentence\n",
    "    }\n",
    "\n",
    "    # Tiêu đề Authorization chứa mã thông báo\n",
    "    headers = {'Content-Type': 'application/json', 'token': token}\n",
    "\n",
    "    # Thực hiện cuộc gọi POST\n",
    "    response = requests.post(api_url, json=data, headers=headers)\n",
    "\n",
    "    # Kiểm tra phản hồi từ server\n",
    "    if response.status_code == 200:\n",
    "        return response.json()['result']['suggestions']\n",
    "    else:\n",
    "        return []\n",
    "\n",
    "def replace_text(input, api_url, token):\n",
    "    suggestion = spell_correcting(input, api_url, token)\n",
    "    for error in suggestion[::-1]:\n",
    "        if error['confidence'] > 0.7:\n",
    "            input = input[:error[\"startIndex\"]] + input[error[\"startIndex\"]:].replace(error['originalText'], error['suggestion'])\n",
    "    return input\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>content</th>\n",
       "      <th>score</th>\n",
       "      <th>thumbsUpCount</th>\n",
       "      <th>Application</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>không làm được</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>đăng xuất ra vô lại bị lỗi nhìu</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>cập nhật lại giùm cái</td>\n",
       "      <td>5</td>\n",
       "      <td>2</td>\n",
       "      <td>Messenger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>1 sao vì chặn mà vẫn gỡ được</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Messenger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>sản năm sao luân</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91994</th>\n",
       "      <td>91994</td>\n",
       "      <td>cập nhật không được ạ</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91995</th>\n",
       "      <td>91995</td>\n",
       "      <td>sao ko vô dc</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91996</th>\n",
       "      <td>91996</td>\n",
       "      <td>chụp đẹp nhưng chưa có tính năng giây nha mong...</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91997</th>\n",
       "      <td>91997</td>\n",
       "      <td>điện video bị lỗi</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91998</th>\n",
       "      <td>91998</td>\n",
       "      <td>chụp ảnh lưu về máy xem lại ko có</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>91999 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       Unnamed: 0                                            content  score  \\\n",
       "0               0                                     không làm được      1   \n",
       "1               1                    đăng xuất ra vô lại bị lỗi nhìu      1   \n",
       "2               2                              cập nhật lại giùm cái      5   \n",
       "3               3                       1 sao vì chặn mà vẫn gỡ được      1   \n",
       "4               4                                   sản năm sao luân      5   \n",
       "...           ...                                                ...    ...   \n",
       "91994       91994                              cập nhật không được ạ      4   \n",
       "91995       91995                                       sao ko vô dc      5   \n",
       "91996       91996  chụp đẹp nhưng chưa có tính năng giây nha mong...      4   \n",
       "91997       91997                                  điện video bị lỗi      1   \n",
       "91998       91998                  chụp ảnh lưu về máy xem lại ko có      1   \n",
       "\n",
       "       thumbsUpCount Application  \n",
       "0                  1   Messenger  \n",
       "1                  1   Messenger  \n",
       "2                  2   Messenger  \n",
       "3                  0   Messenger  \n",
       "4                  1   Messenger  \n",
       "...              ...         ...  \n",
       "91994              0   Instagram  \n",
       "91995              0   Instagram  \n",
       "91996              0   Instagram  \n",
       "91997              0   Instagram  \n",
       "91998              0   Instagram  \n",
       "\n",
       "[91999 rows x 5 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "data = pd.read_csv(\"../data/clean_data_v2.csv\")\n",
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tqdm import tqdm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 91999/91999 [4:01:07<00:00,  6.36it/s]   \n"
     ]
    }
   ],
   "source": [
    "tqdm.pandas()\n",
    "data['spell_corrected_content'] = data['content'].progress_apply(lambda x: replace_text(x, api_url, token))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# data.to_csv(\"../data/spell_corrected_data_v3.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>content</th>\n",
       "      <th>score</th>\n",
       "      <th>thumbsUpCount</th>\n",
       "      <th>Application</th>\n",
       "      <th>spell_corrected_content</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>không làm được</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "      <td>không làm được</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>đăng xuất ra vô lại bị lỗi nhìu</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "      <td>đăng xuất ra vô lại bị lỗi nhiều</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>cập nhật lại giùm cái</td>\n",
       "      <td>5</td>\n",
       "      <td>2</td>\n",
       "      <td>Messenger</td>\n",
       "      <td>cập nhật lại giùm cái</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>1 sao vì chặn mà vẫn gỡ được</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Messenger</td>\n",
       "      <td>1 sào vì chăn mà vẫn gỡ được</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>sản năm sao luân</td>\n",
       "      <td>5</td>\n",
       "      <td>1</td>\n",
       "      <td>Messenger</td>\n",
       "      <td>sạn năm sao luận</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91994</th>\n",
       "      <td>91994</td>\n",
       "      <td>cập nhật không được ạ</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "      <td>cập nhật không được ạ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91995</th>\n",
       "      <td>91995</td>\n",
       "      <td>sao ko vô dc</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "      <td>sao không vô được</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91996</th>\n",
       "      <td>91996</td>\n",
       "      <td>chụp đẹp nhưng chưa có tính năng giây nha mong...</td>\n",
       "      <td>4</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "      <td>chụp đẹp nhưng chưa có tính năng giấy nhà mong...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91997</th>\n",
       "      <td>91997</td>\n",
       "      <td>điện video bị lỗi</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "      <td>điện video bị lỗi</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>91998</th>\n",
       "      <td>91998</td>\n",
       "      <td>chụp ảnh lưu về máy xem lại ko có</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>Instagram</td>\n",
       "      <td>chụp ảnh lưu về máy xem lại không có</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>91999 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       Unnamed: 0                                            content  score  \\\n",
       "0               0                                     không làm được      1   \n",
       "1               1                    đăng xuất ra vô lại bị lỗi nhìu      1   \n",
       "2               2                              cập nhật lại giùm cái      5   \n",
       "3               3                       1 sao vì chặn mà vẫn gỡ được      1   \n",
       "4               4                                   sản năm sao luân      5   \n",
       "...           ...                                                ...    ...   \n",
       "91994       91994                              cập nhật không được ạ      4   \n",
       "91995       91995                                       sao ko vô dc      5   \n",
       "91996       91996  chụp đẹp nhưng chưa có tính năng giây nha mong...      4   \n",
       "91997       91997                                  điện video bị lỗi      1   \n",
       "91998       91998                  chụp ảnh lưu về máy xem lại ko có      1   \n",
       "\n",
       "       thumbsUpCount Application  \\\n",
       "0                  1   Messenger   \n",
       "1                  1   Messenger   \n",
       "2                  2   Messenger   \n",
       "3                  0   Messenger   \n",
       "4                  1   Messenger   \n",
       "...              ...         ...   \n",
       "91994              0   Instagram   \n",
       "91995              0   Instagram   \n",
       "91996              0   Instagram   \n",
       "91997              0   Instagram   \n",
       "91998              0   Instagram   \n",
       "\n",
       "                                 spell_corrected_content  \n",
       "0                                         không làm được  \n",
       "1                       đăng xuất ra vô lại bị lỗi nhiều  \n",
       "2                                  cập nhật lại giùm cái  \n",
       "3                           1 sào vì chăn mà vẫn gỡ được  \n",
       "4                                       sạn năm sao luận  \n",
       "...                                                  ...  \n",
       "91994                              cập nhật không được ạ  \n",
       "91995                                  sao không vô được  \n",
       "91996  chụp đẹp nhưng chưa có tính năng giấy nhà mong...  \n",
       "91997                                  điện video bị lỗi  \n",
       "91998               chụp ảnh lưu về máy xem lại không có  \n",
       "\n",
       "[91999 rows x 6 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Success!!!\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'Làm sao thế cậu'"
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = \"Làm sao thê cậ\"\n",
    "replace_text(sentence, api_url, token)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}