|
import editdistance
|
|
import requests
|
|
import numpy as np
|
|
import re
|
|
from .clean_text import normalize_text
|
|
URL_SBERT = "http://10.9.3.240:6789/sbert/encode_list"
|
|
|
|
|
|
def get_sbert_embedding(lst_sentence, url = URL_SBERT):
|
|
input_data = {
|
|
"sentences": lst_sentence
|
|
}
|
|
embs = requests.post(url, json=input_data).json()
|
|
embs = np.array(embs)
|
|
|
|
return embs
|
|
|
|
def is_number(word):
|
|
lst_end = ['$', '%', 'vnđ', '.', ',']
|
|
word_lo = word.lower()
|
|
for k in lst_end:
|
|
word_lo = word_lo.replace(k, '')
|
|
|
|
if word_lo.isdigit():
|
|
return True
|
|
else:
|
|
return False
|
|
|
|
|
|
def get_number(text):
|
|
dt = text.split(' ')
|
|
for w in dt:
|
|
if is_number(w):
|
|
return w
|
|
|
|
return ''
|
|
|
|
|
|
def check_editdistance(ww1, ww2):
|
|
if len(ww1) == 0 or len(ww1) == 0:
|
|
return 0
|
|
else:
|
|
n_c = editdistance.eval(ww1.lower(), ww2.lower())
|
|
score = n_c / max(len(ww1), len(ww2))
|
|
return 1 - score
|
|
|
|
|
|
def remove_image_keyword(text_input):
|
|
lst_key = ["ảnh:", "ảnh :", "Ảnh:", "Ảnh :",
|
|
"Ảnh minh họa:", "Ảnh minh họa :", "ảnh minh họa:", "ảnh minh họa :",
|
|
"Nguồn:", "nguồn:", "Nguồn :", "nguồn :",
|
|
"Source:", "Source :", "source:", "source :",
|
|
"Src:", "Src :", "src:", "src :",
|
|
"Image:", "Image :", "img:", "img :",
|
|
"image:", "image :", "Img:", "Img :",
|
|
"xem tiếp", "xem thêm", "Xem tiếp", "Xem thêm"]
|
|
for k in lst_key:
|
|
text_input = text_input.replace(k, " ")
|
|
return text_input.strip()
|
|
|
|
def clean_text(text_in, normalize=True):
|
|
doc = re.sub('<.*?>', '', text_in)
|
|
doc = re.sub('(function).*}', ' ', doc)
|
|
|
|
doc = re.sub('(Nguồn)\s*?(http:\/\/).*?(\.htm)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(http:\/\/).*?(\.html)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\/\/)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\.htm)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\.html)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\.vn)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\.net)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(https:\/\/).*?(\.vgp)', ' ', doc)
|
|
doc = re.sub('(Nguồn)\s*?(http:\/\/).*?(\.vgp)', ' ', doc)
|
|
|
|
doc = re.sub('(http:\/\/).*?(\.htm)', ' ', doc)
|
|
doc = re.sub('(http:\/\/).*?(\.html)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\/\/)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\.htm)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\.html)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\.vn)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\.net)', ' ', doc)
|
|
doc = re.sub('(https:\/\/).*?(\.vgp)', ' ', doc)
|
|
doc = re.sub('(http:\/\/).*?(\.vgp)', ' ', doc)
|
|
|
|
doc = re.sub('\n', ' ', doc)
|
|
doc = re.sub('\t', ' ', doc)
|
|
doc = re.sub('\r', ' ', doc)
|
|
|
|
if normalize:
|
|
doc = normalize_text(doc)
|
|
return doc
|
|
|
|
if __name__ == '__main__':
|
|
print(check_editdistance('tttt', 'tt'))
|
|
|
