ChatbotWebRead

pages/ChatbotWebRead.py

@@ -0,0 +1,97 @@
+
+import streamlit as st
+import os
+import pickle
+import faiss
+import logging
+
+from multiprocessing import Lock
+from multiprocessing.managers import BaseManager
+from llama_index.callbacks import CallbackManager, LlamaDebugHandler
+from llama_index import VectorStoreIndex, Document,Prompt, SimpleDirectoryReader, ServiceContext, StorageContext, load_index_from_storage
+from llama_index.chat_engine import CondenseQuestionChatEngine;
+from llama_index.node_parser import SimpleNodeParser
+from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
+from llama_index.constants import DEFAULT_CHUNK_OVERLAP
+from llama_index.response_synthesizers import get_response_synthesizer
+from llama_index import ListIndex, SimpleWebPageReader,TrafilaturaWebReader
+
+import tiktoken
+from logging import getLogger, StreamHandler, Formatter
+
+custom_prompt = Prompt("""\
+  以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
+  会話と新しい会話文に基づいて、検索クエリを作成します。回答は日本語で行います。
+  新しい会話文が挨拶の場合、挨拶を返してください。
+  新しい会話文が質問の場合、検索した結果の回答を返してください。
+  答えがわからない場合は正直にわからないと回答してください。
+  会話履歴:
+  {chat_history}
+  新しい会話文:
+  {question}
+  Search query:
+""")
+
+chat_history = []
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger("__name__")
+logger.debug("調査用ログ")
+
+
+st.title("💬 ChatbotWebRead")
+if "webmessages" not in st.session_state:
+    st.session_state["webmessages"] = [{"role": "assistant", "content": "お困りごとはございますか？"}]
+
+for msg in st.session_state.webmessages:
+    st.chat_message(msg["role"]).write(msg["content"])
+
+if prompt := st.chat_input():
+    st.session_state.webmessages.append({"role": "user", "content": prompt})
+    st.chat_message("user").write(prompt)
+    response = st.session_state.web_chat_engine.chat(prompt)
+    msg = str(response)
+    st.session_state.webmessages.append({"role": "assistant", "content": msg})
+    st.chat_message("assistant").write(msg)
+
+if st.button("リセット",use_container_width=True):
+    st.session_state.web_chat_engine.reset()
+    st.session_state.webmessages = [{"role": "assistant", "content": "お困りごとはございますか？"}]
+    logger.info("reset")
+
+def initialize_webindex():
+    logger.info("initialize_web_index start")
+    text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
+      , chunk_overlap=DEFAULT_CHUNK_OVERLAP
+      , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
+    node_parser = SimpleNodeParser(text_splitter=text_splitter)
+    service_context = ServiceContext.from_defaults(node_parser=node_parser)
+    d = 1536
+    k=2
+    faiss_index = faiss.IndexFlatL2(d)
+    # デバッグ用
+    llama_debug_handler = LlamaDebugHandler()
+    callback_manager = CallbackManager([llama_debug_handler])
+    service_context = ServiceContext.from_defaults(callback_manager=callback_manager)
+
+    webDocuments = SimpleWebPageReader(html_to_text=True).load_data(
+        ["https://www.stylez.co.jp/"]
+    )
+    logger.info(webDocuments)
+    webIndex = ListIndex.from_documents(webDocuments,service_context=service_context)
+    response_synthesizer = get_response_synthesizer(response_mode='compact')
+    webQuery_engine = webIndex.as_query_engine(response_synthesizer=response_synthesizer)
+    st.session_state.web_chat_engine = CondenseQuestionChatEngine.from_defaults(
+        query_engine=webQuery_engine, 
+        condense_question_prompt=custom_prompt,
+        chat_history=chat_history,
+        verbose=True
+    )
+
+
+if __name__ == "__main__":
+    # init the global index
+    logger.info("main start")
+    if "web_chat_engine" not in st.session_state:
+      initialize_webindex()
+      logger.info("initializing index...")