add pages

app.py

@@ -9,18 +9,13 @@ from langchain_community.document_loaders import WebBaseLoader
 from langchain_core.prompts import PromptTemplate
 from langchain_core.output_parsers import StrOutputParser
 from langchain_core.runnables import RunnablePassthrough, RunnableLambda
-from requests.exceptions import RequestException
+from requests.exceptions import RequestException, Timeout
 
-# Загружаем переменные окружения (если работаем локально)
-# load_dotenv(verbose=True)
-# Определяем, работает ли код локально (например, если `.env` существует)
-is_local = os.path.exists(".env")
-
-# Загружаем переменные окружения, если работаем локально
-if is_local:
+# Загрузка переменных окружения
+if os.path.exists(".env"):
     load_dotenv(verbose=True)
 
-# Загружаем API-ключи через Streamlit secrets (для облачного запуска)
+# Загрузка API-ключей
 try:
     GROQ_API_KEY = st.secrets["GROQ_API_KEY"]
     USER_AGENT = st.secrets["USER_AGENT"]
@@ -30,7 +25,6 @@ try:
     LANGSMITH_PROJECT = st.secrets["LANGSMITH_PROJECT"]
     OPENAI_API_KEY = st.secrets["OPENAI_API_KEY"]
 except FileNotFoundError:
-    # Если secrets.toml не найден, используем переменные окружения
     GROQ_API_KEY = os.getenv("GROQ_API_KEY")
     USER_AGENT = os.getenv("USER_AGENT")
     LANGSMITH_TRACING = os.getenv("LANGSMITH_TRACING") 
@@ -39,72 +33,62 @@ except FileNotFoundError:
     LANGSMITH_PROJECT = os.getenv("LANGSMITH_PROJECT")
     OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
 
-# Проверяем, заданы ли API-ключи
-if not GROQ_API_KEY:
-    st.error("Ошибка: GROQ_API_KEY не задана в переменных окружения.")
-    st.stop()
-if not USER_AGENT:
-    st.error("Ошибка: USER_AGENT не задана в переменных окружения.")
-    st.stop()
-if not LANGSMITH_TRACING:
-    st.error("Ошибка: LANGSMITH_TRACING не задана в переменных окружения.")
-    st.stop()
-if not LANGSMITH_ENDPOINT:
-    st.error("Ошибка: LANGSMITH_ENDPOINT не задана в переменных окружения.")
-    st.stop()
-if not LANGSMITH_API_KEY:
-    st.error("Ошибка: LANGSMITH_API_KEY не задана в переменных окружения.")
-    st.stop()
-if not LANGSMITH_PROJECT:
-    st.error("Ошибка: LANGSMITH_PROJECT не задана в переменных окружения.")
-    st.stop()
-if not OPENAI_API_KEY :
-    st.error("Ошибка: OPENAI_API_KEY  не задана в переменных окружения.")
+# Проверка API-ключей
+if not all([GROQ_API_KEY, USER_AGENT, LANGSMITH_TRACING, LANGSMITH_ENDPOINT, LANGSMITH_API_KEY, LANGSMITH_PROJECT, OPENAI_API_KEY]):
+    st.error("Ошибка: Не все переменные окружения заданы.")
     st.stop()
 
-# Настройка LLM
+# Инициализация LLM
 try:
-    llm = ChatGroq(
-        model_name="llama-3.3-70b-versatile",
-        temperature=0.6,
-        api_key=GROQ_API_KEY
-    )
+    llm = ChatGroq(model_name="llama-3.3-70b-versatile", temperature=0.6, api_key=GROQ_API_KEY)
     print("[DEBUG] LLM успешно инициализирован")
 except Exception as e:
-    print(f"[ERROR] Ошибка инициализации LLM: {e}")
+    st.error(f"Ошибка инициализации LLM: {e}")
+    st.stop()
 
-# Настройка эмбеддингов
+# Инициализация эмбеддингов
 embeddings_model = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large-instruct")
 print("[DEBUG] Модель эмбеддингов загружена")
 
-# Функция загрузки только англоязычного контента
-def load_english_pages(urls):
-    english_docs = []
+# Список страниц для анализа (вручную перечислены)
+urls = [
+    "https://status.law",  
+    "https://status.law/about",
+    "https://status.law/careers",
+    "https://status.law/challenging-sanctions",
+    "https://status.law/contact", 
+    "https://status.law/cross-border-banking-legal-issues", 
+    "https://status.law/extradition-defense", 
+    "https://status.law/international-prosecution-protection", 
+    "https://status.law/interpol-red-notice-removal",  
+    "https://status.law/practice-areas",  
+    "https://status.law/reputation-protection",
+    "https://status.law/faq"
+]
+
+# Загрузка данных
+@st.cache_data
+def load_data(urls):
+    documents = []
     for url in urls:
-        if not any(lang in url for lang in ["/ru", "/ar", "/es", "/ch"]):  
-            try:
-                loader = WebBaseLoader(url)
-                documents = loader.load()
-                if documents:
-                    english_docs.extend(documents)
-                    print(f"[DEBUG] ��агружен контент с {url}")
-            except RequestException as e:
-                print(f"[ERROR] Ошибка загрузки страницы {url}: {e}")
-    return english_docs
-
-# Пример URL, где английские страницы без префиксов
-urls = ["https://status.law/about", "https://status.law/", "https://status.law/contact"]
-documents = load_english_pages(urls)
-
-# Разбиваем на фрагменты
-text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
-chunks = text_splitter.split_documents(documents)
-print(f"[DEBUG] Разбито на {len(chunks)} фрагментов")
-
-# Создание векторного хранилища
-vector_store = InMemoryVectorStore.from_documents(chunks, embeddings_model)
-retriever = vector_store.as_retriever()
-print("[DEBUG] Векторное хранилище создано")
+        try:
+            loader = WebBaseLoader(url)
+            documents.extend(loader.load(timeout=10))
+            print(f"[DEBUG] Загружен контент с {url}")
+        except (RequestException, Timeout) as e:
+            print(f"[ERROR] Ошибка загрузки страницы {url}: {e}")
+    text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
+    chunks = text_splitter.split_documents(documents)
+    print(f"[DEBUG] Разбито на {len(chunks)} фрагментов")
+    vector_store = InMemoryVectorStore.from_documents(chunks, embeddings_model)
+    retriever = vector_store.as_retriever()
+    print("[DEBUG] Векторное хранилище создано")
+    return retriever
+
+# Загрузка данных и создание ретривера
+if "retriever" not in st.session_state:
+    st.session_state.retriever = load_data(urls)
+retriever = st.session_state.retriever
 
 # Промпт для бота
 template = """
@@ -116,14 +100,15 @@ Context: {context}
 """
 prompt = PromptTemplate.from_template(template)
 
-# История сообщений
-def format_history(message_history):
-    formatted = ""
-    for msg in message_history:
-        formatted += f"User: {msg['question']}\nBot: {msg['answer']}\n\n"
-    return formatted
-
-message_history = []
+# Инициализация цепочки обработки запроса
+if "chain" not in st.session_state:
+    st.session_state.chain = (
+        RunnableLambda(lambda x: {"context": x["context"], "question": x["question"]}) 
+        | prompt
+        | llm
+        | StrOutputParser()
+    )
+chain = st.session_state.chain
 
 # Интерфейс Streamlit
 st.set_page_config(page_title="Legal Chatbot", page_icon="🤖")
@@ -132,27 +117,22 @@ st.write("Этот бот отвечает на юридические вопр
 
 # Поле для ввода вопроса
 user_input = st.text_input("Введите ваш вопрос:")
-if st.button("Отправить"):
-    if user_input:
-        # Получаем релевантные документы из ретривера
-        retrieved_docs = retriever.get_relevant_documents(user_input)
-        
-        # Формируем текстовый контекст из документов
-        context_text = "\n\n".join([doc.page_content for doc in retrieved_docs])
-
-        # Создание цепочки обработки запроса
-        chain = (
-            RunnableLambda(lambda x: {"context": context_text, "question": x["question"]}) 
-            | prompt
-            | llm
-            | StrOutputParser()
-        )
-
-        # Запуск цепочки
-        response = chain.invoke({"question": user_input, "context": context_text})
-
-        # Добавляем в историю сообщений
-        message_history.append({"question": user_input, "answer": response})
-
-        # Выводим ответ
-        st.write(response)
+if st.button("Отправить") and user_input:
+    retrieved_docs = retriever.get_relevant_documents(user_input)
+    context_text = "\n\n".join([doc.page_content for doc in retrieved_docs])
+    response = chain.invoke({"question": user_input, "context": context_text})
+    
+    # Сохранение истории сообщений
+    if "message_history" not in st.session_state:
+        st.session_state.message_history = []
+    st.session_state.message_history.append({"question": user_input, "answer": response})
+    
+    # Вывод ответа
+    st.write(response)
+
+# Вывод истории сообщений
+if "message_history" in st.session_state:
+    st.write("### История сообщений")
+    for msg in st.session_state.message_history:
+        st.write(f"**User:** {msg['question']}")
+        st.write(f"**Bot:** {msg['answer']}")