import os
import subprocess
def install(package):
subprocess.check_call([os.sys.executable, "-m", "pip", "install", package])
install("groq")
install("bs4")
install("google.generativeai")
import re
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def google_search(query):
"""
Lấy tất cả các URL từ một trang HTML và lọc ra các URL có dạng
'https://www.google.com/url?q=https://'.
Args:
url: URL của trang web.
Returns:
Danh sách các URL đã được lọc.
"""
url = f"https://www.google.com/search?q={query}"
try:
response = requests.get(url)
response.raise_for_status() # Raise an exception for HTTP errors
soup = BeautifulSoup(response.content, "html.parser")
except requests.exceptions.RequestException as e:
print(f"Error during request: {e}")
return []
urls = []
# Tìm tất cả các thẻ 'a' (đường link)
for link in soup.find_all("a"):
href = link.get("href")
if href:
# Sử dụng urljoin để tạo URL tuyệt đối (nếu href là URL tương đối)
absolute_url = urljoin(url, href)
urls.append(absolute_url)
# Tìm tất cả các thẻ 'img' (đường link hình ảnh)
for img in soup.find_all("img"):
src = img.get("src")
if src:
absolute_url = urljoin(url, src)
urls.append(absolute_url)
# Lọc các URL có dạng 'https://www.google.com/url?'
pattern = r"^https://www\.google\.com/url\?q=h"
filtered_urls = [
url
for url in urls
if re.match(pattern, url) and len(re.findall(r"google", url, re.IGNORECASE)) < 2
]
return filtered_urls
# --------------------------------------
# %%capture
# !pip install groq
# !pip install google.generativeai
# !pip install gradio
# ----------------------------------
GROQ_API_KEY = os.getenv("GROQ_API_KEY")
GOOGLE_API_KEY = os.getenv("GOOGLE_API_KEY")
from groq import Groq
client = Groq(api_key=GROQ_API_KEY)
def create_query(history, question):
completion = client.chat.completions.create(
model="llama-3.3-70b-specdec",
messages=[
{
"role": "user",
"content": f'Đóng vai trò là nhà phân tích truy vấn. Dựa vào thông tin lịch sử câu hỏi người dùng và câu hỏi hiện tại, hãy đưa ra một chuỗi từ khóa hợp lý nhất cho câu hỏi hiện tại, để việc tìm kiếm web là lấy được thông tin chính xác và phù hợp.\n\nNếu câu hỏi từ người dùng không liên quan đến lịch sử hỏi, vui lòng không dựa vào lịch sử hỏi để phân tích truy vấn. Bạn cần suy luận để chuỗi từ khóa là hợp lý nhất. Chỉ đưa ra một kết quả chính xác nhất, không chứa cặp nháy kép và không giải thích gì thêm.\n\nLịch sử: "{history}"\nCâu hỏi từ người dùng: "{question}"',
}
],
temperature=1,
max_tokens=32,
top_p=1,
stream=False,
stop=None,
)
return completion.choices[0].message.content
# ------------------------------------------
import urllib.parse
import os
os.environ["GOOGLE_API_KEY"] = GOOGLE_API_KEY
def get_url(url):
parsed_url = urllib.parse.urlparse(url)
query_params = urllib.parse.parse_qs(parsed_url.query)
original_url = query_params["q"][0]
return original_url
# -------------------------------
import requests
from bs4 import BeautifulSoup
from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
def get_content(url, i):
"""
Lấy nội dung text (chữ) từ một trang web, bỏ qua các thẻ HTML.
Args:
url: URL của trang web.
Returns:
Một chuỗi chứa nội dung text của trang web, hoặc None nếu có lỗi.
"""
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
try:
response = requests.get(url, headers=headers, verify=False, timeout=10)
response.raise_for_status() # Raise an exception for HTTP errors
soup = BeautifulSoup(response.content, "html.parser")
all_text = soup.get_text(separator="\n", strip=True)
# Phân tách text thành các đoạn nhỏ theo dòng
lines = all_text.splitlines()
# Loại bỏ các đoạn text có độ dài dưới 4
filtered_lines = [line for line in lines if len(line.split()) >= 1]
joined_text = " ".join(filtered_lines)
joined_text.replace("\t", " ")
joined_text = re.sub(r"\s+", " ", joined_text)
return f"Nguồn [{i+1}]: {url}\n Nội dung: {joined_text}\n\n"
except requests.exceptions.RequestException as e:
print(f"Error during request: {e}")
return None
# ------------------------------------------------------------
import re
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def google_search(query):
"""
Lấy tất cả các URL từ một trang HTML và lọc ra các URL có dạng
'https://www.google.com/url?q=https://'.
Args:
url: URL của trang web.
Returns:
Danh sách các URL đã được lọc.
"""
url = f"https://www.google.com/search?q={query}"
try:
response = requests.get(url)
response.raise_for_status() # Raise an exception for HTTP errors
soup = BeautifulSoup(response.content, "html.parser")
except requests.exceptions.RequestException as e:
print(f"Error during request: {e}")
return []
urls = []
# Tìm tất cả các thẻ 'a' (đường link)
for link in soup.find_all("a"):
href = link.get("href")
if href:
# Sử dụng urljoin để tạo URL tuyệt đối (nếu href là URL tương đối)
absolute_url = urljoin(url, href)
urls.append(absolute_url)
# Tìm tất cả các thẻ 'img' (đường link hình ảnh)
for img in soup.find_all("img"):
src = img.get("src")
if src:
absolute_url = urljoin(url, src)
urls.append(absolute_url)
# Lọc các URL có dạng 'https://www.google.com/url?'
pattern = r"^https://www\.google\.com/url\?q=h"
filtered_urls = [
url
for url in urls
if re.match(pattern, url) and len(re.findall(r"google", url, re.IGNORECASE)) < 2
]
return filtered_urls
# ---------------------------------------
import os
import google.generativeai as genai
genai.configure(api_key=os.environ["GOOGLE_API_KEY"])
# Create the model
generation_config = {
"temperature": 1,
"top_p": 0.95,
"top_k": 40,
"max_output_tokens": 2048,
"response_mime_type": "text/plain",
}
model_name = "gemini-2.0-flash-exp"
model = genai.GenerativeModel(
model_name=model_name,
generation_config=generation_config,
)
# --------------------------------------
from datetime import datetime
import pytz
import gradio as gr
def generative_x(query="Chỉ số không khí tại Cầu Giấy, Hà Nội hiện tại"):
result_google = google_search(query=query)
text = ""
for i in range(1):
x = get_content(result_google[i], i)
text += f"Nguồn [{i+1}]: {result_google[i]}\n Nội dung: {x}\n\n"
# extracted_text = extract_information(query, text, model, tokenizer, device)
# print(extracted_text)
question = f"""Bạn sẽ tóm tắt và đưa ra thông tin về chỉ số không khí tại Cầu Giấy, Hà Nội và các thông tin cảnh báo cũng như lời khuyên.
Cần ngắn gọn, xúc tích. Không cần trích dẫn nguồn.
Không được sinh bất cứ ô mã nguồn nào.
Đưa ra kết quả phải theo định dạng sau, có thể thêm màu sắc, icon, hiệu ứng Markdown, ... để câu trả lời được hiển thị sinh động hơn. Nhớ thêm các dấu xuống dòng hợp lý.
**Thông tin về chất lượng không khí tại Cầu Giấy**
### Chỉ số đo đạc:
### Cảnh báo:
### Lời khuyên:
Bây giờ là {timeis()} tại Hà Nội.
Thông tin phụ trợ "{text}"
Câu hỏi: "{query}" """
response = model.generate_content(question, stream=True)
output_text = ""
for token in response:
output_text += token.text
return output_text
def timeview():
tz = pytz.timezone("Asia/Bangkok")
now = datetime.now(tz)
week_number = now.isocalendar().week
weekday = now.isoweekday()
weekday_names = [
"Thứ Hai",
"Thứ Ba",
"Thứ Tư",
"Thứ Năm",
"Thứ Sáu",
"Thứ Bảy",
"Chủ Nhật",
]
weekday_name = weekday_names[weekday - 1]
date_string = now.strftime("%d tháng %m năm %Y")
time_string = now.strftime("%H:%M")
# Giữ nội dung HTML đơn giản để tránh nháy
output_string = f"""Tuần {week_number}
{weekday_name}, ngày {date_string}
{time_string} (GMT +7)"""
return output_string
def timeis():
tz = pytz.timezone("Asia/Bangkok")
now = datetime.now(tz)
dt = now.strftime("%d/%m/%Y, %H:%M:%S")
return dt
def timeupdate():
tz = pytz.timezone("Asia/Bangkok")
now = datetime.now(tz)
dt = now.strftime("%d/%m/%Y, %H:%M:%S")
return f"""Cập nhật lần cuối: {dt}"""
import gradio as gr
chat_session = model.start_chat()
search_history = [] # List để lưu trữ lịch sử truy vấn
def generative(user_query, history, use_special_features):
global search_history
# Lấy kết quả tìm kiếm và sinh câu trả lời
search_history = search_history[-3:]
# ----------- Internet ------------------
if use_special_features:
# Thực hiện tìm kiếm với truy vấn kết hợp
query = create_query(search_history, user_query)
search_history.append(user_query)
result_google = google_search(query=query)
from concurrent.futures import ThreadPoolExecutor, as_completed
with ThreadPoolExecutor(max_workers=5) as executor:
# Gửi các nhiệm vụ vào pool và thu thập kết quả
futures = [
executor.submit(get_content, result_google[i], i)
for i in range(min(5, len(result_google)))
]
# Lấy kết quả từ các task
all_results = []
for future in as_completed(futures): # Duyệt qua các luồng đã hoàn thành
try:
# Thu thập kết quả
result = future.result()
all_results.append(str(result))
except Exception as e:
# Ghi lại lỗi nếu xảy ra
j = 1
result_string = "\n".join(all_results)
# for i in range(5):
# x = get_content(result_google[i])
# text += f"Nguồn [{i+1}]: {result_google[i]}\n Nội dung: {x}\n\n"
question = f"""Hãy nhớ rằng bạn là trợ lý ảo MobiBot của MobiFone.
Đây là một số lưu ý:
- Câu trả lời cần tự nhiên, không cứng nhắc
- Cần sử dụng toàn bộ nguồn thông tin được cung cấp để tránh sai sót, thiếu thông tin, thậm chí là thiên vị. Đưa ra một câu trả lời duy nhất, không lan man, chính xác và đầy đủ nhất.
- Trích dẫn nguồn. Chỉ đưa ra số hiệu nguồn, ví dụ [1], [2],..., thay vì ghi chi tiết đường dẫn.
- Ghi rõ các yếu tố thời điểm.
- Các câu hỏi yêu cầu suy luận thông tin để trả lời.
- Đây là một phiên trò chuyện nên hãy tận dụng lịch sử chat để trả lời phù hợp nhất.
Bây giờ là {timeis()} tại Hà Nội.
Thông tin phụ trợ \"{result_string}\"
Câu hỏi: \"{user_query}\"
"""
# Gửi tin nhắn người dùng đến ChatSession
response = chat_session.send_message(question)
# Xử lý kết quả trả về (nếu cần)
assistant_answer = f"{query}\n\n {response.text}"
assistant_answer += "\n-----------\nNguồn:\n"
for i in range(min(5, len(result_google))):
if re.search(rf"\[{i}\]", assistant_answer):
assistant_answer += f"[{i+1}]: {get_url(result_google[i])}\n"
yield assistant_answer
# --------------------- No Internet ---------------------
else:
search_history.append(user_query)
question = f"""Hãy nhớ rằng bạn là trợ lý ảo MobiBot của MobiFone.
Đây là một số lưu ý:
- Câu trả lời cần tự nhiên, không cứng nhắc
- Đưa ra một câu trả lời duy nhất, không lan man, chính xác và đầy đủ nhất.
- Các câu hỏi yêu cầu suy luận thông tin để trả lời.
- Đây là một phiên trò chuyện nên hãy tận dụng lịch sử chat để trả lời phù hợp nhất.
Câu hỏi: \"{user_query}\"
"""
# Gửi tin nhắn người dùng đến ChatSession
response = chat_session.send_message(question)
# Xử lý kết quả trả về (nếu cần)
assistant_answer = response.text
yield assistant_answer
css = """
#chatbot {
flex-grow: 1 !important;
overflow: auto !important;
}
#col { height: calc(100vh - 112px - 16px) !important; }
.centered-text {
text-align: center;
font-weight: bold;
}
.gradient-text {
background-image: linear-gradient(to right, #283593, #673ab7, #d32f2f); /* Xanh indigo, tím, đỏ */
-webkit-background-clip: text;
color: transparent;
font-weight: bold;
text-align: center;
}
#my_textbox {
background-image: linear-gradient(to right, #f00, #00f); /* Chuyển màu từ đỏ sang xanh */
color: #333333;
border: 2px solid #4CAF50;
border-radius: 5px;
padding: 10px;
font-size: 16px;
}
.custom-textbox {
box-shadow: 2px 2px 5px rgba(0, 0, 0, 0.1);
}
#info-container { /* Style cho container thông tin */
border: 3px solid #ccc;
padding: 10px;
border-radius: 5px;
overflow-y: auto; /* Cho phép cuộn nếu nội dung quá dài */
max-height: 400px; /* Giới hạn chiều cao tối đa (tùy chỉnh theo ý muốn) */
}
"""
initial_info = generative_x()
initial_time_view = timeupdate()
# Tạo giao diện chatbot với gr.ChatInterface
# demo = gr.ChatInterface(fn=generative, chatbot=gr.Chatbot(label="Chat với hệ thống"))
with gr.Blocks(css=css) as demo:
with gr.Row():
with gr.Column(scale=3, elem_id="col"):
gr.Markdown(
"""
Demini Free
2.0 Flash Experimental with Google Search
"""
)
# Khối thông tin xây dựng
build_text = gr.Textbox(
value="Bản dựng trên HuggingFace. Thử nghiệm. GHI CHÚ: Gemini 2.0 Flash có thể cho kết quả chậm hơn dự kiến (khoảng 60-90 giây).",
label=None,
elem_id="my_textbox",
elem_classes="custom_textbox",
)
#######
# Khối thời gian hiện tại
clock_output = gr.Textbox(label="Thời gian hiện tại")
timer_1 = gr.Timer(1)
# Sử dụng timer.tick() để cập nhật clock_output mỗi giây
timer_1.tick(fn=timeview, inputs=None, outputs=clock_output)
# with gr.Column(elem_id="info-container"): # Tạo một container cho thông tin
# timetable = gr.Markdown(initial_info)
# time_output = gr.Markdown(initial_time_view)
# refresh_button = gr.Button("🔄 Làm mới")
# refresh_button.click(fn=generative_x, inputs=None, outputs=timetable)
# refresh_button.click(fn=timeupdate, inputs=None, outputs=time_output)
#######
with gr.Column(scale=7, elem_id="col"):
use_special_features = gr.Checkbox(
label="THỬ NGHIỆM: Sử dụng chức năng tìm kiếm web (Chú ý: Tính năng này mất thêm 10-15 giây để phân tích)",
value=False,
)
chat = gr.ChatInterface(
fn=generative,
additional_inputs=[use_special_features],
chatbot=gr.Chatbot(elem_id="chatbot", render=False),
)
gr.Markdown(
"Câu trả lời sinh bởi mô hình Gemini 2.0 Flash. Có thể có lỗi sai, điều này không thể tránh khỏi. QUAN TRỌNG: Cần xác thực các thông tin được đưa ra.",
elem_classes="centered-text",
)
demo.queue()
demo.launch(share=True)