Create app.py

app.py

@@ -0,0 +1,473 @@
+import re
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import urljoin
+
+
+def google_search(query):
+    """
+    Lấy tất cả các URL từ một trang HTML và lọc ra các URL có dạng
+    'https://www.google.com/url?q=https://'.
+
+    Args:
+        url: URL của trang web.
+
+    Returns:
+        Danh sách các URL đã được lọc.
+    """
+    url = f"https://www.google.com/search?q={query}"
+    try:
+        response = requests.get(url)
+        response.raise_for_status()  # Raise an exception for HTTP errors
+        soup = BeautifulSoup(response.content, "html.parser")
+    except requests.exceptions.RequestException as e:
+        print(f"Error during request: {e}")
+        return []
+
+    urls = []
+    # Tìm tất cả các thẻ 'a' (đường link)
+    for link in soup.find_all("a"):
+        href = link.get("href")
+        if href:
+            # Sử dụng urljoin để tạo URL tuyệt đối (nếu href là URL tương đối)
+            absolute_url = urljoin(url, href)
+            urls.append(absolute_url)
+
+    # Tìm tất cả các thẻ 'img' (đường link hình ảnh)
+    for img in soup.find_all("img"):
+        src = img.get("src")
+        if src:
+            absolute_url = urljoin(url, src)
+            urls.append(absolute_url)
+
+    # Lọc các URL có dạng 'https://www.google.com/url?'
+    pattern = r"^https://www\.google\.com/url\?q=h"
+    filtered_urls = [
+        url
+        for url in urls
+        if re.match(pattern, url) and len(re.findall(r"google", url, re.IGNORECASE)) < 2
+    ]
+    return filtered_urls
+
+
+# --------------------------------------
+
+# %%capture
+# !pip install groq
+# !pip install google.generativeai
+# !pip install gradio
+
+# ----------------------------------
+from groq import Groq
+
+client = Groq(api_key="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")
+
+
+def create_query(history, question):
+    completion = client.chat.completions.create(
+        model="llama-3.3-70b-specdec",
+        messages=[
+            {
+                "role": "user",
+                "content": f'Đóng vai trò là nhà phân tích truy vấn. Dựa vào thông tin lịch sử câu hỏi người dùng và câu hỏi hiện tại, hãy đưa ra một chuỗi từ khóa hợp lý nhất cho câu hỏi hiện tại, để việc tìm kiếm web là lấy được thông tin chính xác và phù hợp.\n\nNếu câu hỏi từ người dùng không liên quan đến lịch sử hỏi, vui lòng không dựa vào lịch sử hỏi để phân tích truy vấn. Bạn cần suy luận để chuỗi từ khóa là hợp lý nhất. Chỉ đưa ra một kết quả chính xác nhất, không chứa cặp nháy kép và không giải thích gì thêm.\n\nLịch sử: "{history}"\nCâu hỏi từ người dùng: "{question}"',
+            }
+        ],
+        temperature=1,
+        max_tokens=32,
+        top_p=1,
+        stream=False,
+        stop=None,
+    )
+    return completion.choices[0].message.content
+
+
+# ------------------------------------------
+
+import urllib.parse
+import os
+
+os.environ["GEMINI_API_KEY"] = "AIzaSyAzFb_PROBmKy8mGwQvh4zDUJv1t_sK6_0"
+
+
+def get_url(url):
+    parsed_url = urllib.parse.urlparse(url)
+    query_params = urllib.parse.parse_qs(parsed_url.query)
+    original_url = query_params["q"][0]
+    return original_url
+
+
+# -------------------------------
+
+import requests
+from bs4 import BeautifulSoup
+from requests.packages.urllib3.exceptions import InsecureRequestWarning
+
+requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
+
+
+def get_content(url, i):
+    """
+    Lấy nội dung text (chữ) từ một trang web, bỏ qua các thẻ HTML.
+
+    Args:
+        url: URL của trang web.
+
+    Returns:
+        Một chuỗi chứa nội dung text của trang web, hoặc None nếu có lỗi.
+    """
+    headers = {
+        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
+    }
+    try:
+        response = requests.get(url, headers=headers, verify=False, timeout=10)
+        response.raise_for_status()  # Raise an exception for HTTP errors
+        soup = BeautifulSoup(response.content, "html.parser")
+
+        all_text = soup.get_text(separator="\n", strip=True)
+        # Phân tách text thành các đoạn nhỏ theo dòng
+        lines = all_text.splitlines()
+        # Loại bỏ các đoạn text có độ dài dưới 4
+        filtered_lines = [line for line in lines if len(line.split()) >= 1]
+        joined_text = " ".join(filtered_lines)
+        joined_text.replace("\t", " ")
+        joined_text = re.sub(r"\s+", " ", joined_text)
+        return f"Nguồn [{i+1}]: {url}\n Nội dung: {joined_text}\n\n"
+    except requests.exceptions.RequestException as e:
+        print(f"Error during request: {e}")
+        return None
+
+
+# ------------------------------------------------------------
+import re
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import urljoin
+
+
+def google_search(query):
+    """
+    Lấy tất cả các URL từ một trang HTML và lọc ra các URL có dạng
+    'https://www.google.com/url?q=https://'.
+
+    Args:
+        url: URL của trang web.
+
+    Returns:
+        Danh sách các URL đã được lọc.
+    """
+    url = f"https://www.google.com/search?q={query}"
+    try:
+        response = requests.get(url)
+        response.raise_for_status()  # Raise an exception for HTTP errors
+        soup = BeautifulSoup(response.content, "html.parser")
+    except requests.exceptions.RequestException as e:
+        print(f"Error during request: {e}")
+        return []
+
+    urls = []
+    # Tìm tất cả các thẻ 'a' (đường link)
+    for link in soup.find_all("a"):
+        href = link.get("href")
+        if href:
+            # Sử dụng urljoin để tạo URL tuyệt đối (nếu href là URL tương đối)
+            absolute_url = urljoin(url, href)
+            urls.append(absolute_url)
+
+    # Tìm tất cả các thẻ 'img' (đường link hình ảnh)
+    for img in soup.find_all("img"):
+        src = img.get("src")
+        if src:
+            absolute_url = urljoin(url, src)
+            urls.append(absolute_url)
+
+    # Lọc các URL có dạng 'https://www.google.com/url?'
+    pattern = r"^https://www\.google\.com/url\?q=h"
+    filtered_urls = [
+        url
+        for url in urls
+        if re.match(pattern, url) and len(re.findall(r"google", url, re.IGNORECASE)) < 2
+    ]
+    return filtered_urls
+
+
+# ---------------------------------------
+
+import os
+import google.generativeai as genai
+
+genai.configure(api_key=os.environ["GEMINI_API_KEY"])
+
+# Create the model
+generation_config = {
+    "temperature": 1,
+    "top_p": 0.95,
+    "top_k": 40,
+    "max_output_tokens": 2048,
+    "response_mime_type": "text/plain",
+}
+
+model_name = "gemini-2.0-flash-exp"
+model = genai.GenerativeModel(
+    model_name=model_name,
+    generation_config=generation_config,
+)
+
+# --------------------------------------
+
+from datetime import datetime
+import pytz
+import gradio as gr
+
+
+def generative_x(query="Chỉ số không khí tại Cầu Giấy, Hà Nội hiện tại"):
+    result_google = google_search(query=query)
+    text = ""
+    for i in range(1):
+        x = get_content(result_google[i], i)
+        text += f"Nguồn [{i+1}]: {result_google[i]}\n Nội dung: {x}\n\n"
+    # extracted_text = extract_information(query, text, model, tokenizer, device)
+    # print(extracted_text)
+
+    question = f"""Bạn sẽ tóm tắt và đưa ra thông tin về chỉ số không khí tại Cầu Giấy, Hà Nội và các thông tin cảnh báo cũng như lời khuyên.
+    Cần ngắn gọn, xúc tích. Không cần trích dẫn nguồn.
+    Không được sinh bất cứ ô mã nguồn nào.
+    Đưa ra kết quả phải theo định dạng sau, có thể thêm màu sắc, icon, hiệu ứng Markdown, ... để câu trả lời được hiển thị sinh động hơn. Nhớ thêm các dấu xuống dòng hợp lý.
+    
+    **Thông tin về chất lượng không khí tại Cầu Giấy**
+    ### Chỉ số đo đạc:
+    ### Cảnh báo:
+    ### Lời khuyên:
+
+    Bây giờ là {timeis()} tại Hà Nội.
+    Thông tin phụ trợ "{text}"
+
+    Câu hỏi: "{query}" """
+    response = model.generate_content(question, stream=True)
+    output_text = ""
+    for token in response:
+        output_text += token.text
+    return output_text
+
+
+def timeview():
+    tz = pytz.timezone("Asia/Bangkok")
+    now = datetime.now(tz)
+    week_number = now.isocalendar().week
+    weekday = now.isoweekday()
+    weekday_names = [
+        "Thứ Hai",
+        "Thứ Ba",
+        "Thứ Tư",
+        "Thứ Năm",
+        "Thứ Sáu",
+        "Thứ Bảy",
+        "Chủ Nhật",
+    ]
+    weekday_name = weekday_names[weekday - 1]
+    date_string = now.strftime("%d tháng %m năm %Y")
+    time_string = now.strftime("%H:%M")
+
+    # Giữ nội dung HTML đơn giản để tránh nháy
+    output_string = f"""Tuần {week_number}
+{weekday_name}, ngày {date_string}
+{time_string} (GMT +7)"""
+    return output_string
+
+
+def timeis():
+    tz = pytz.timezone("Asia/Bangkok")
+    now = datetime.now(tz)
+    dt = now.strftime("%d/%m/%Y, %H:%M:%S")
+    return dt
+
+
+def timeupdate():
+    tz = pytz.timezone("Asia/Bangkok")
+    now = datetime.now(tz)
+    dt = now.strftime("%d/%m/%Y, %H:%M:%S")
+    return f"""<small><i>Cập nhật lần cuối: {dt}</i></small>"""
+
+
+import gradio as gr
+
+chat_session = model.start_chat()
+search_history = []  # List để lưu trữ lịch sử truy vấn
+
+
+def generative(user_query, history, use_special_features):
+    global search_history
+    # Lấy kết quả tìm kiếm và sinh câu trả lời
+    search_history = search_history[-3:]
+
+    # ----------- Internet ------------------
+    if use_special_features:
+        # Thực hiện tìm kiếm với truy v��n kết hợp
+        query = create_query(search_history, user_query)
+        search_history.append(user_query)
+        result_google = google_search(query=query)
+
+        from concurrent.futures import ThreadPoolExecutor, as_completed
+
+        with ThreadPoolExecutor(max_workers=5) as executor:
+
+            # Gửi các nhiệm vụ vào pool và thu thập kết quả
+            futures = [
+                executor.submit(get_content, result_google[i], i)
+                for i in range(min(5, len(result_google)))
+            ]
+
+            # Lấy kết quả từ các task
+            all_results = []
+
+        for future in as_completed(futures):  # Duyệt qua các luồng đã hoàn thành
+            try:
+                # Thu thập kết quả
+                result = future.result()
+                all_results.append(result)
+            except Exception as e:
+                # Ghi lại lỗi nếu xảy ra
+                j = 1
+
+            result_string = "\n".join(all_results)
+
+        # for i in range(5):
+        #     x = get_content(result_google[i])
+        #     text += f"Nguồn [{i+1}]: {result_google[i]}\n Nội dung: {x}\n\n"
+
+        question = f"""Hãy nhớ rằng bạn là trợ lý ảo MobiBot của MobiFone. 
+        Đây là một số lưu ý:
+        - Câu trả lời cần tự nhiên, không cứng nhắc
+        - Cần sử dụng toàn bộ nguồn thông tin được cung cấp để tránh sai sót, thiếu thông tin, thậm chí là thiên vị. Đưa ra một câu trả lời duy nhất, không lan man, chính xác và đầy đủ nhất.
+        - Trích dẫn nguồn. Chỉ đưa ra số hiệu nguồn, ví dụ [1], [2],..., thay vì ghi chi tiết đường dẫn.
+        - Ghi rõ các yếu tố thời điểm. 
+        - Các câu hỏi yêu cầu suy luận thông tin để trả lời.
+        - Đây là một phiên trò chuyện nên hãy tận dụng lịch sử chat để trả lời phù hợp nhất.
+
+        Bây giờ là {timeis()} tại Hà Nội.
+        Thông tin phụ trợ \"{result_string}\"
+
+        Câu hỏi: \"{user_query}\" 
+        """
+        # Gửi tin nhắn người dùng đến ChatSession
+        response = chat_session.send_message(question)
+        # Xử lý kết quả trả về (nếu cần)
+        assistant_answer = f"{query}\n\n {response.text}"
+
+        assistant_answer += "\n-----------\nNguồn:\n"
+        for i in range(min(5, len(result_google))):
+            if re.search(rf"\[{i}\]", assistant_answer):
+                assistant_answer += f"[{i+1}]: {get_url(result_google[i])}\n"
+
+        yield assistant_answer
+    # --------------------- No Internet ---------------------
+    else:
+        search_history.append(user_query)
+        question = f"""Hãy nhớ rằng bạn là trợ lý ảo MobiBot của MobiFone. 
+        Đây là một số lưu ý:
+        - Câu trả lời cần tự nhiên, không cứng nhắc
+        - Đưa ra một câu trả lời duy nhất, không lan man, chính xác và đầy đủ nhất.
+        - Các câu hỏi yêu cầu suy luận thông tin để trả lời.
+        - Đây là một phiên trò chuyện nên hãy tận dụng lịch sử chat để trả lời phù hợp nhất.
+        Câu hỏi: \"{user_query}\" 
+        """
+        # Gửi tin nhắn người dùng đến ChatSession
+        response = chat_session.send_message(question)
+        # Xử lý kết quả trả về (nếu cần)
+        assistant_answer = response.text
+        yield assistant_answer
+
+
+css = """
+#chatbot {
+    flex-grow: 1 !important;
+    overflow: auto !important;
+}
+#col { height: calc(100vh - 112px - 16px) !important; }
+.centered-text {
+    text-align: center;
+    font-weight: bold;
+}
+.gradient-text {
+    background-image: linear-gradient(to right, #283593, #673ab7, #d32f2f); /* Xanh indigo, tím, đỏ */
+    -webkit-background-clip: text;
+    color: transparent;
+    font-weight: bold;
+    text-align: center;
+}
+#my_textbox {
+  background-image: linear-gradient(to right, #f00, #00f); /* Chuyển màu từ đỏ sang xanh */
+  color: #333333;
+  border: 2px solid #4CAF50;
+  border-radius: 5px;
+  padding: 10px;
+  font-size: 16px;
+}
+.custom-textbox {
+    box-shadow: 2px 2px 5px rgba(0, 0, 0, 0.1);
+}
+#info-container { /* Style cho container thông tin */
+    border: 3px solid #ccc;
+    padding: 10px;
+    border-radius: 5px;
+    overflow-y: auto; /* Cho phép cuộn nếu nội dung quá dài */
+    max-height: 400px; /* Giới hạn chiều cao tối đa (tùy chỉnh theo ý muốn) */
+}
+
+"""
+initial_info = generative_x()
+initial_time_view = timeupdate()
+
+# Tạo giao diện chatbot với gr.ChatInterface
+# demo = gr.ChatInterface(fn=generative, chatbot=gr.Chatbot(label="Chat với hệ thống"))
+with gr.Blocks(css=css) as demo:
+
+    with gr.Row():
+        with gr.Column(scale=3, elem_id="col"):
+            gr.Markdown(
+                """<div style="font-size: 26px; font-weight: bold; line-height: 1.2; margin: 1;">
+            Demini <span style="background: linear-gradient(to right, #f00, #00f); -webkit-background-clip: text; color: transparent;">Free</span>
+        </div>
+        <div style="font-size: 16px; line-height: 1.2; margin: 5;">
+            2.0 Flash Experimental with Google Search
+        </div>"""
+            )
+            # Khối thông tin xây dựng
+            build_text = gr.Textbox(
+                value="Bản dựng kết hợp giữa API của Gemini 2.0 và các công cụ cào website. MỚI: Đã có thể ghi nhớ cuộc trò chuyện trước đó. MỚI: Đã tăng tốc tìm kiếm lên 5 lần. GHI CHÚ: Gemini 2.0 Flash có thể cho kết quả chậm hơn dự kiến (khoảng 60-90 giây). Vui lòng kiên nhẫn. ",
+                label=None,
+                elem_id="my_textbox",
+                elem_classes="custom_textbox",
+            )
+
+            #######
+            # Khối thời gian hiện tại
+            clock_output = gr.Textbox(label="Thời gian hiện tại")
+            timer_1 = gr.Timer(1)
+            # Sử dụng timer.tick() để cập nhật clock_output mỗi giây
+            timer_1.tick(fn=timeview, inputs=None, outputs=clock_output)
+
+            # with gr.Column(elem_id="info-container"): # Tạo một container cho thông tin
+            #     timetable = gr.Markdown(initial_info)
+            #     time_output = gr.Markdown(initial_time_view)
+            #     refresh_button = gr.Button("🔄 Làm mới")
+            #     refresh_button.click(fn=generative_x, inputs=None, outputs=timetable)
+            #     refresh_button.click(fn=timeupdate, inputs=None, outputs=time_output)
+            #######
+
+        with gr.Column(scale=7, elem_id="col"):
+            use_special_features = gr.Checkbox(
+                label="THỬ NGHIỆM: Sử dụng chức năng tìm kiếm web (Chú ý: Tính năng này mất thêm 10-15 giây để phân tích)",
+                value=False,
+            )
+            chat = gr.ChatInterface(
+                fn=generative,
+                additional_inputs=[use_special_features],
+                chatbot=gr.Chatbot(elem_id="chatbot", render=False),
+            )
+            gr.Markdown(
+                "Câu trả lời sinh bởi mô hình Gemini 2.0 Flash. Có thể có lỗi sai, điều này không thể tránh khỏi. QUAN TRỌNG: Cần xác thực các thông tin được đưa ra.",
+                elem_classes="centered-text",
+            )
+
+demo.queue()
+demo.launch(share=True)