Upload 6 files

app.py

@@ -1,175 +1,156 @@
-import streamlit as st
-import os
-import pickle
-import faiss
-import logging
-
-from multiprocessing import Lock
-from multiprocessing.managers import BaseManager
-from llama_index.callbacks import CallbackManager, LlamaDebugHandler
-from llama_index import VectorStoreIndex, Document,Prompt, SimpleDirectoryReader, ServiceContext, StorageContext, load_index_from_storage
-from llama_index.chat_engine import CondenseQuestionChatEngine;
-from llama_index.node_parser import SimpleNodeParser
-from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
-from llama_index.constants import DEFAULT_CHUNK_OVERLAP
-from llama_index.response_synthesizers import get_response_synthesizer
-from llama_index.vector_stores.faiss import FaissVectorStore
-from llama_index.graph_stores import SimpleGraphStore
-from llama_index.storage.docstore import SimpleDocumentStore
-from llama_index.storage.index_store import SimpleIndexStore
-import tiktoken
-from streamlit import runtime
-from streamlit.runtime.scriptrunner import get_script_run_ctx
-import ipaddress
-import streamlit_authenticator as stauth
-import yaml
-from requests_oauthlib import OAuth2Session
-from time import time
-from dotenv import load_dotenv
-from streamlit import net_util
-
-load_dotenv()
-
-# 接続元制御
-ALLOW_IP_ADDRESS = os.environ["ALLOW_IP_ADDRESS"]
-
-index_name = "./data/storage"
-pkl_name = "./data/stored_documents.pkl"
-
-custom_prompt = Prompt("""\
-  以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
-  会話と新しい会話文に基づいて、検索クエリを作成します。回答は日本語で行います。
-  新しい会話文が挨拶の場合、挨拶を返してください。
-  新しい会話文が質問の場合、検索した結果の回答を返してください。
-  答えがわからない場合は正直にわからないと回答してください。
-  会話履歴:
-  {chat_history}
-  新しい会話文:
-  {question}
-  Search query:
-""")
-
-chat_history = []
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger("__name__")
-logger.debug("調査用ログ")
-
-def initialize_index():
-    logger.info("initialize_index start")
-    text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
-      , chunk_overlap=DEFAULT_CHUNK_OVERLAP
-      , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
-    node_parser = SimpleNodeParser(text_splitter=text_splitter)
-    d = 1536
-    k=2
-    faiss_index = faiss.IndexFlatL2(d)
-    # デバッグ用
-    llama_debug_handler = LlamaDebugHandler()
-    callback_manager = CallbackManager([llama_debug_handler])
-    service_context = ServiceContext.from_defaults(node_parser=node_parser,callback_manager=callback_manager)
-    lock = Lock()
-    with lock:
-        if os.path.exists(index_name):
-            storage_context = StorageContext.from_defaults(
-              docstore=SimpleDocumentStore.from_persist_dir(persist_dir=index_name),
-              graph_store=SimpleGraphStore.from_persist_dir(persist_dir=index_name),
-              vector_store=FaissVectorStore.from_persist_dir(persist_dir=index_name),
-              index_store=SimpleIndexStore.from_persist_dir(persist_dir=index_name),
-            )
-            st.session_state.index = load_index_from_storage(storage_context=storage_context,service_context=service_context)
-            response_synthesizer = get_response_synthesizer(response_mode='refine')
-            st.session_state.query_engine = st.session_state.index.as_query_engine(response_synthesizer=response_synthesizer,service_context=service_context)
-            st.session_state.chat_engine = CondenseQuestionChatEngine.from_defaults(
-                query_engine=st.session_state.query_engine, 
-                condense_question_prompt=custom_prompt,
-                chat_history=chat_history,
-                verbose=True
-            )
-        else:
-            documents = SimpleDirectoryReader("./documents").load_data()
-            vector_store = FaissVectorStore(faiss_index=faiss_index)
-            storage_context = StorageContext.from_defaults(vector_store=vector_store)
-            st.session_state.index = VectorStoreIndex.from_documents(documents, storage_context=storage_context,service_context=service_context)
-            st.session_state.index.storage_context.persist(persist_dir=index_name)
-            response_synthesizer = get_response_synthesizer(response_mode='refine')
-            st.session_state.query_engine = st.session_state.index.as_query_engine(response_synthesizer=response_synthesizer,service_context=service_context)
-            st.session_state.chat_engine = CondenseQuestionChatEngine.from_defaults(
-                query_engine=st.session_state.query_engine, 
-                condense_question_prompt=custom_prompt,
-                chat_history=chat_history,
-                verbose=True
-            )
-        if os.path.exists(pkl_name):
-            with open(pkl_name, "rb") as f:
-                st.session_state.stored_docs = pickle.load(f)
-        else:
-            st.session_state.stored_docs=list()
-
-# 接続元IP取得
-def get_remote_ip():
-    ctx = get_script_run_ctx()
-    session_info = runtime.get_instance().get_client(ctx.session_id)
-    return session_info.request.remote_ip
-
-# 接続元IP許可判定
-def is_allow_ip_address():
-    remote_ip = get_remote_ip()
-    logger.info("remote_ip")
-    logger.info(remote_ip)
-    # localhost
-    if remote_ip == "::1":
-        return True
-
-    # プライベートIP
-    ipaddr = ipaddress.IPv4Address(remote_ip)
-    logger.info("ipaddr")
-    logger.info(ipaddr)
-    if ipaddr.is_private:
-        return True
-
-    # その他（許可リスト判定）
-    return remote_ip in ALLOW_IP_ADDRESS
-
-# メイン
-def app():
-    # 初期化
-    st.session_state["token"] = None
-    st.session_state["token_expires"] = time()
-    st.session_state["authorization_state"] = None
-
-    # 接続元IP許可判定
-    if not is_allow_ip_address():
-        st.title("HTTP 403 Forbidden")
-        return
-
-    # 接続元OK
-    st.title("Azure AD Login with Streamlit")
-
-with open('config.yaml') as file:
-    config = yaml.load(file, Loader=yaml.SafeLoader)
-
-authenticator = stauth.Authenticate(
-    config['credentials'],
-    config['cookie']['name'],
-    config['cookie']['key'],
-    config['cookie']['expiry_days'],
-    config['preauthorized'],
-)
-
-name, authentication_status, username = authenticator.login('Login', 'main')
-
-
-if 'authentication_status' not in st.session_state:
-    st.session_state['authentication_status'] = None
-
-if st.session_state["authentication_status"]:
-    authenticator.logout('Logout', 'main')
-    st.write(f'ログインに成功しました')
-    initialize_index()
-		# ここにログイン後の処理を書く。
-elif st.session_state["authentication_status"] is False:
-    st.error('ユーザ名またはパスワードが間違っています')
-elif st.session_state["authentication_status"] is None:
-    st.warning('ユーザ名やパスワードを入力してください')
-
+import streamlit as st
+import os
+import pickle
+import faiss
+import common
+import glob
+from multiprocessing import Lock
+from multiprocessing.managers import BaseManager
+from pathlib import Path
+from llama_index.callbacks import CallbackManager, LlamaDebugHandler
+from llama_index import Document,VectorStoreIndex, SimpleDirectoryReader, ServiceContext, StorageContext, load_index_from_storage
+from llama_index.node_parser import SimpleNodeParser
+from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
+from llama_index.constants import DEFAULT_CHUNK_OVERLAP
+from llama_index.vector_stores.faiss import FaissVectorStore
+from llama_index.graph_stores import SimpleGraphStore
+from llama_index.storage.docstore import SimpleDocumentStore
+from llama_index.storage.index_store import SimpleIndexStore
+from msal_streamlit_authentication import msal_authentication
+from llama_hub.file.cjk_pdf.base import CJKPDFReader 
+from llama_hub.file.pptx.base import PptxReader
+from llama_hub.file.pandas_excel.base import PandasExcelReader
+from llama_hub.file.docx.base import DocxReader 
+from llama_index.llms import OpenAI
+import tiktoken
+from llama_index.callbacks import CallbackManager, LlamaDebugHandler
+from dotenv import load_dotenv
+
+load_dotenv()
+
+# 接続元制御
+ALLOW_IP_ADDRESS = os.environ["ALLOW_IP_ADDRESS"]
+
+# Azure AD app registration details
+CLIENT_ID = os.environ["CLIENT_ID"]
+CLIENT_SECRET = os.environ["CLIENT_SECRET"]
+TENANT_ID = os.environ["TENANT_ID"]
+
+# Azure API
+AUTHORITY = f"https://login.microsoftonline.com/{TENANT_ID}"
+REDIRECT_URI = os.environ["REDIRECT_URI"]
+SCOPES = ["openid", "profile", "User.Read"]
+
+INDEX_NAME = os.environ["INDEX_NAME"]
+PKL_NAME = os.environ["PKL_NAME"]
+st.session_state.llama_debug_handler = LlamaDebugHandler()
+from log import logger
+
+def initialize_index():
+    logger.info("initialize_index start")
+    llm = OpenAI(model='gpt-3.5-turbo', temperature=0.8, max_tokens=256)
+    text_splitter = TokenTextSplitter(separator="。",chunk_size=1500
+      , chunk_overlap=DEFAULT_CHUNK_OVERLAP
+      , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
+    node_parser = SimpleNodeParser(text_splitter=text_splitter)
+    d = 1536
+    k=2
+    faiss_index = faiss.IndexFlatL2(d)
+    # デバッグ用
+    callback_manager = CallbackManager([st.session_state.llama_debug_handler])
+    service_context = ServiceContext.from_defaults(llm=llm,node_parser=node_parser,callback_manager=callback_manager)
+    lock = Lock()
+    with lock:
+        if os.path.exists(INDEX_NAME):
+            logger.info("start import index")
+            storage_context = StorageContext.from_defaults(
+              docstore=SimpleDocumentStore.from_persist_dir(persist_dir=INDEX_NAME),
+              graph_store=SimpleGraphStore.from_persist_dir(persist_dir=INDEX_NAME),
+              vector_store=FaissVectorStore.from_persist_dir(persist_dir=INDEX_NAME),
+              index_store=SimpleIndexStore.from_persist_dir(persist_dir=INDEX_NAME),
+            )
+            st.session_state.index = load_index_from_storage(storage_context=storage_context,service_context=service_context)
+            with open(PKL_NAME, "rb") as f:
+                st.session_state.stored_docs = pickle.load(f)
+            common.setChatEngine()
+        else:
+            logger.info("start create index")
+            documents = list()
+            files = glob.glob("./documents/*")
+            vector_store = FaissVectorStore(faiss_index=faiss_index)
+            storage_context = StorageContext.from_defaults(vector_store=vector_store)
+            st.session_state.stored_docs=list()
+            for file in files:
+                loader=None
+                noextpath,extension = os.path.splitext(file)
+                logger.info(file)
+                document = Document()
+                if extension == ".txt" or extension ==".md":
+                    document = SimpleDirectoryReader(input_files=[file],  filename_as_id=True).load_data()[0]
+                else:
+                    if extension == ".pdf":
+                        loader = CJKPDFReader()
+                    elif extension == ".pptx":
+                        loader = PptxReader()
+                    elif extension == ".xlsx":
+                        loader = PandasExcelReader(pandas_config={"header": 0})
+                    elif extension == ".docx":
+                        loader = DocxReader()
+                    else:
+                        logger.error("Can`t read file:" + file)
+                        continue
+                    document = loader.load_data(file=Path(file))[0]
+                document.metadata={'filename': os.path.basename(file)}
+                documents.append(document)
+                st.session_state.stored_docs.append(os.path.basename(file)) 
+            st.session_state.index = VectorStoreIndex.from_documents( documents=documents,storage_context=storage_context,service_context=service_context)
+            st.session_state.index.storage_context.persist(persist_dir=INDEX_NAME)
+            with open(PKL_NAME, "wb") as f:
+                print("pickle")
+                pickle.dump(st.session_state.stored_docs, f)
+            common.setChatEngine()
+
+def logout():
+    st.session_state["login_token"] = None
+
+# メイン
+st.session_state["login_token"] = msal_authentication(
+    auth={
+        "clientId": CLIENT_ID,
+        "authority": AUTHORITY,
+        "redirectUri": REDIRECT_URI,
+        "postLogoutRedirectUri": ""
+    }, # Corresponds to the 'auth' configuration for an MSAL Instance
+    cache={
+        "cacheLocation": "sessionStorage",
+        "storeAuthStateInCookie": False
+    }, # Corresponds to the 'cache' configuration for an MSAL Instance
+    login_request={
+        "scopes": SCOPES
+    }, # Optional
+    logout_request={}, # Optional
+    login_button_text="Login", # Optional, defaults to "Login"
+    logout_button_text="Logout", # Optional, defaults to "Logout"
+    class_name="css_button_class_selector", # Optional, defaults to None. Corresponds to HTML class.
+    html_id="html_id_for_button", # Optional, defaults to None. Corresponds to HTML id.
+    #key=1 # Optional if only a single instance is needed
+)
+# st.write("Recevied login token:", st.session_state.login_token)
+
+if st.session_state.login_token:
+    initialize_index()
+    st.write("ようこそ", st.session_state.login_token["account"]["name"])
+    st.write("サイドメニューからファイルインポート又はChatbotへの質問を開始してください。")
+    st.markdown("""
+        ## 使い方
+        - **Chatbot**  
+            初期からインポートされているファイルとImportXXFileでインポートしたファイルの内容に関する質問に対して、GenerativeAIが回答します。  
+            ※返答が正常に帰ってこない場合があります。参照ファイルを記載しているので、判断の目安にしてください。
+        
+        - **ChatbotWebRead**  
+            入力したURLのサイトの情報に関して、GenerativeAIが回答します。  
+            ImportAllFileの内容は登録されていません。
+        
+        - **ImportAllFile**  
+            テキストファイル,mdファイル,Excel,PDF,PowerPoint,Wordをインポートできます。
+    """)

common.py

@@ -1,51 +1,161 @@
-# common.py
-import extra_streamlit_components as stx
-import streamlit as st
-import logging
-import os
-
-from time import time
-from requests_oauthlib import OAuth2Session
-from streamlit import runtime
-from streamlit.runtime.scriptrunner import get_script_run_ctx
-import ipaddress
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger("__name__")
-logger.debug("調査用ログ")
-
-# 接続元制御
-ALLOW_IP_ADDRESS = os.environ["ALLOW_IP_ADDRESS"]
-
-# 接続元IP取得
-def get_remote_ip():
-    ctx = get_script_run_ctx()
-    session_info = runtime.get_instance().get_client(ctx.session_id)
-    return session_info.request.remote_ip
-
-# 接続元IP許可判定
-def is_allow_ip_address():
-    remote_ip = get_remote_ip()
-    logger.info("remote_ip")
-    logger.info(remote_ip)
-    # localhost
-    if remote_ip == "::1":
-        return True
-
-    # プライベートIP
-    ipaddr = ipaddress.IPv4Address(remote_ip)
-    logger.info("ipaddr")
-    logger.info(ipaddr)
-    if ipaddr.is_private:
-        return True
-
-    # その他（許可リスト判定）
-    return remote_ip in ALLOW_IP_ADDRESS
-
-#ログインの確認
-def check_login():
-    if 'authentication_status' not in st.session_state:
-        st.session_state['authentication_status'] = None
-    if st.session_state["authentication_status"] is None or False:
-        st.warning("**ログインしてください**")
-        st.stop()
+import streamlit as st
+import os
+import pickle
+import ipaddress
+import tiktoken
+
+from pathlib import Path
+from streamlit import runtime
+from streamlit.runtime.scriptrunner import get_script_run_ctx
+from streamlit.web.server.websocket_headers import _get_websocket_headers
+from llama_index import  SimpleDirectoryReader
+from llama_index import  Prompt
+from llama_index.chat_engine import CondenseQuestionChatEngine;
+from llama_index.response_synthesizers import get_response_synthesizer
+from llama_index import ServiceContext, SimpleDirectoryReader
+from llama_index.node_parser import SimpleNodeParser
+from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
+from llama_index.constants import DEFAULT_CHUNK_OVERLAP
+from llama_index.response_synthesizers import get_response_synthesizer
+from llama_index.callbacks import CallbackManager
+from llama_index.llms import OpenAI
+from log import logger
+
+# 接続元制御
+ALLOW_IP_ADDRESS = os.environ["ALLOW_IP_ADDRESS"]
+
+# Azure AD app registration details
+CLIENT_ID = os.environ["CLIENT_ID"]
+CLIENT_SECRET = os.environ["CLIENT_SECRET"]
+TENANT_ID = os.environ["TENANT_ID"]
+
+# Azure API
+REDIRECT_URI = os.environ["REDIRECT_URI"]
+AUTHORITY = f"https://login.microsoftonline.com/{TENANT_ID}"
+SCOPES = ["openid", "profile", "User.Read"]
+
+# 接続元IP取得
+def get_remote_ip():
+    ctx = get_script_run_ctx()
+    session_info = runtime.get_instance().get_client(ctx.session_id)
+    headers = _get_websocket_headers()
+    return session_info.request.remote_ip, headers.get("X-Forwarded-For")
+
+# 接続元IP許可判定
+def is_allow_ip_address():
+    remote_ip, x_forwarded_for = get_remote_ip()
+    logger.info("remote_ip:"+remote_ip)
+    if x_forwarded_for is not None:
+        remote_ip = x_forwarded_for
+    # localhost
+    if remote_ip == "::1":
+        return True
+
+    # プライベートIP
+    ipaddr = ipaddress.IPv4Address(remote_ip)
+    logger.info("ipaddr:"+str(ipaddr))
+    if ipaddr.is_private:
+        return True
+
+    # その他（許可リスト判定）
+    return remote_ip in ALLOW_IP_ADDRESS
+
+#ログインの確認
+def check_login():
+    if not is_allow_ip_address():
+        st.title("HTTP 403 Forbidden")
+        st.stop()
+    if "login_token" not in st.session_state or not st.session_state.login_token:
+        st.warning("**ログインしてください**")
+        st.stop()
+
+
+INDEX_NAME = os.environ["INDEX_NAME"]
+PKL_NAME = os.environ["PKL_NAME"]
+    # デバッグ用
+llm = OpenAI(model='gpt-3.5-turbo', temperature=0.8, max_tokens=256)
+text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
+  , chunk_overlap=DEFAULT_CHUNK_OVERLAP
+  , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
+node_parser = SimpleNodeParser(text_splitter=text_splitter)
+custom_prompt = Prompt("""\
+  以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
+  会話と新しい会話文に基づいて、検索クエリを作成します。
+  挨拶された場合、挨拶を返してください。
+  答えを知らない場合は、「わかりません」と回答してください。
+  全ての回答は日本語で行ってください。
+  会話履歴:
+  {chat_history}
+  新しい会話文:
+  {question}
+  Search query:
+""")
+
+chat_history = []
+
+def setChatEngine():
+    callback_manager = CallbackManager([st.session_state.llama_debug_handler])
+    service_context = ServiceContext.from_defaults(llm=llm,node_parser=node_parser,callback_manager=callback_manager)
+    response_synthesizer = get_response_synthesizer(response_mode='refine')
+    st.session_state.query_engine = st.session_state.index.as_query_engine(
+        response_synthesizer=response_synthesizer,
+        service_context=service_context,
+    )
+    st.session_state.chat_engine = CondenseQuestionChatEngine.from_defaults(
+        query_engine=st.session_state.query_engine, 
+        condense_question_prompt=custom_prompt,
+        chat_history=chat_history,
+        verbose=True
+    )
+
+# chat mode reacの記述
+# from langchain.prompts.chat import (
+#     ChatPromptTemplate,
+#     HumanMessagePromptTemplate,
+#     SystemMessagePromptTemplate,
+# )
+# from llama_index.prompts.prompts import RefinePrompt, QuestionAnswerPrompt
+# from llama_index.prompts import Prompt
+# chat_text_qa_msgs = [
+#     SystemMessagePromptTemplate.from_template(
+#         "文脈が役に立たない場合でも、必ず日本語で質問に答えてください。"
+#     ),
+#     HumanMessagePromptTemplate.from_template(
+#         "以下に、コンテキスト情報を提供します。 \n"
+#         "---------------------\n"
+#         "{context_str}"
+#         "\n---------------------\n"
+#         "回答には以下を含めてください。\n"
+#         "・最初に問い合わせへのお礼してください\n"
+#         "・回答には出典のドキュメント名を含めるようにしてください。\n"
+#         "・質問内容を要約してください\n"
+#         "・最後に不明な点がないか確認してください \n"
+#         "この情報を踏まえて、次の質問に回答してください:  {query_str}\n"
+#         "答えを知らない場合は、「わからない」と回答してください。また、必ず日本語で回答してください。"
+#     ),
+# ]
+# REFINE_PROMPT = ("元の質問は次のとおりです: {query_str} \n"
+#     "既存の回答を提供しました: {existing_answer} \n"
+#     "既存の答えを洗練する機会があります \n"
+#     "(必要な場合のみ)以下にコンテキストを追加します。 \n"
+#     "------------\n"
+#     "{context_msg}\n"
+#     "------------\n"
+#     "新しいコンテキストを考慮して、元の答えをより良く洗練して質問に答えてください。\n"
+#     "回答には出典のドキュメント名を含めるようにしてください。\n"
+#     "コンテキストが役に立たない場合は、元の回答と同じものを返します。"
+#     "どのような場合でも、返答は日本語で行います。")
+# refine_prompt = RefinePrompt(REFINE_PROMPT)
+
+# def setChatEngine():
+#     callback_manager = CallbackManager([st.session_state.llama_debug_handler])
+#     service_context = ServiceContext.from_defaults(node_parser=node_parser,callback_manager=callback_manager)
+#     response_synthesizer = get_response_synthesizer(response_mode='refine')
+#     st.session_state.chat_engine = st.session_state.index.as_chat_engine(
+#         response_synthesizer=response_synthesizer,
+#         service_context=service_context,
+#         chat_mode="condense_question",
+#         text_qa_template= Prompt.from_langchain_prompt(ChatPromptTemplate.from_messages(chat_text_qa_msgs)),
+#         refine_template=refine_prompt,
+#         verbose=True
+#     )

log.py

@@ -0,0 +1,5 @@
+import logging
+
+logging.basicConfig(level=logging.DEBUG)
+logger = logging.getLogger("__name__")
+

pages/Chatbot.py

@@ -1,39 +1,20 @@
 
 import streamlit as st
-import logging
 import common
-from llama_index import Prompt
-
-index_name = "./data/storage"
-pkl_name = "./data/stored_documents.pkl"
-
-custom_prompt = Prompt("""\
-  以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
-  会話と新しい会話文に基づいて、検索クエリを作成します。回答は日本語で行います。
-  新しい会話文が挨拶の場合、挨拶を返してください。
-  新しい会話文が質問の場合、検索した結果の回答を返してください。
-  答えがわからない場合は正直にわからないと回答してください。
-  会話履歴:
-  {chat_history}
-  新しい会話文:
-  {question}
-  Search query:
-""")
-
-chat_history = []
-
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger("__name__")
-logger.debug("調査用ログ")
+import os
 
+INDEX_NAME = os.environ["INDEX_NAME"]
+PKL_NAME = os.environ["PKL_NAME"]
+from log import logger
 common.check_login()
 
 st.title("💬 Chatbot")
 if st.button("リセット",use_container_width=True):
     st.session_state.chat_engine.reset()
     st.session_state.messages = [{"role": "assistant", "content": "お困りごとはございますか？"}]
-    st.experimental_rerun()
     logger.info("reset")
+    st.experimental_rerun()
+
 
 if "messages" not in st.session_state:
     st.session_state["messages"] = [{"role": "assistant", "content": "お困りごとはございますか？"}]
@@ -45,6 +26,13 @@ if prompt := st.chat_input():
     st.session_state.messages.append({"role": "user", "content": prompt})
     st.chat_message("user").write(prompt)
     response = st.session_state.chat_engine.chat(prompt)
-    msg = str(response)
+    fname =  "　※参照：" 
+    for node in response.source_nodes:
+        logger.info(node)
+        if node.node.metadata is not None:
+            if "filename" in node.node.metadata:
+                fname = fname + "　"+str(node.node.metadata["filename"]) 
+    msg = str(response) +  str(fname)
+    logger.info(msg)
     st.session_state.messages.append({"role": "assistant", "content": msg})
     st.chat_message("assistant").write(msg)

pages/ChatbotWebRead.py

@@ -1,19 +1,21 @@
 
 import streamlit as st
 import faiss
-import logging
-
-from llama_index.callbacks import CallbackManager, LlamaDebugHandler
-from llama_index import Prompt, ServiceContext
-from llama_index.chat_engine import CondenseQuestionChatEngine;
+import langchain
+from llama_index.callbacks import CallbackManager
+from llama_index import  ServiceContext,VectorStoreIndex
+from llama_index.chat_engine import CondenseQuestionChatEngine
 from llama_index.node_parser import SimpleNodeParser
 from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
 from llama_index.constants import DEFAULT_CHUNK_OVERLAP
 from llama_index.response_synthesizers import get_response_synthesizer
-from llama_index import ListIndex, SimpleWebPageReader
+from llama_index import  SimpleWebPageReader
 
+# from llama_index.prompts import Prompt
+from llama_index import Prompt
 import tiktoken
 import common
+langchain.verbose = True
 
 custom_prompt = Prompt("""\
   以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
@@ -27,13 +29,9 @@ custom_prompt = Prompt("""\
   {question}
   Search query:
 """)
-
 chat_history = []
 
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger("__name__")
-logger.debug("調査用ログ")
-
+from log import logger
 
 common.check_login()
 
@@ -45,27 +43,29 @@ URLtext = st.text_input(
 )
 
 if st.button("URL reading",use_container_width=True):
-    text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
+    text_splitter = TokenTextSplitter( chunk_size=1500
       , chunk_overlap=DEFAULT_CHUNK_OVERLAP
       , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
     node_parser = SimpleNodeParser(text_splitter=text_splitter)
     d = 1536
     k=2
     faiss_index = faiss.IndexFlatL2(d)
-    # デバッグ用
-    llama_debug_handler = LlamaDebugHandler()
-    callback_manager = CallbackManager([llama_debug_handler])
+
+    callback_manager = CallbackManager([st.session_state.llama_debug_handler])
     service_context = ServiceContext.from_defaults(node_parser=node_parser,callback_manager=callback_manager)
 
     webDocuments = SimpleWebPageReader(html_to_text=True).load_data(
         [URLtext]
     )
     logger.info(webDocuments)
-    webIndex = ListIndex.from_documents(webDocuments,service_context=service_context)
-    response_synthesizer = get_response_synthesizer(response_mode='compact')
-    webQuery_engine = webIndex.as_query_engine(response_synthesizer=response_synthesizer,service_context=service_context)
+    webIndex = VectorStoreIndex.from_documents(webDocuments,service_context=service_context)
+    response_synthesizer = get_response_synthesizer(response_mode='refine')
+    st.session_state.webQuery_engine = webIndex.as_query_engine(
+        response_synthesizer=response_synthesizer,
+        service_context=service_context,
+    )
     st.session_state.web_chat_engine = CondenseQuestionChatEngine.from_defaults(
-        query_engine=webQuery_engine, 
+        query_engine=st.session_state.webQuery_engine, 
         condense_question_prompt=custom_prompt,
         chat_history=chat_history,
         verbose=True
@@ -87,8 +87,7 @@ if prompt := st.chat_input(disabled = not URLtext):
     st.session_state.webmessages.append({"role": "user", "content": prompt})
     st.chat_message("user").write(prompt)
     response = st.session_state.web_chat_engine.chat(prompt)
+    logger.debug(st.session_state.llama_debug_handler.get_llm_inputs_outputs())
     msg = str(response)
     st.session_state.webmessages.append({"role": "assistant", "content": msg})
     st.chat_message("assistant").write(msg)
-
-

pages/ImportAllFile.py

@@ -0,0 +1,76 @@
+import streamlit as st
+import common
+import os
+import pickle
+from llama_hub.file.cjk_pdf.base import CJKPDFReader 
+from llama_hub.file.pptx.base import PptxReader
+from llama_hub.file.pandas_excel.base import PandasExcelReader
+from llama_hub.file.docx.base import DocxReader 
+from llama_index import Document, SimpleDirectoryReader
+from pathlib import Path
+from log import logger
+INDEX_NAME = os.environ["INDEX_NAME"]
+PKL_NAME = os.environ["PKL_NAME"]
+
+common.check_login()
+
+if "file_uploader_key" not in st.session_state:
+    st.session_state["file_uploader_key"] = 0
+
+st.title("📝 ImportAllFile")
+
+uploaded_file = st.file_uploader("Upload an article", type=("txt", "md", "pdf", "xlsx", "docx", "pptx"),key=st.session_state["file_uploader_key"])
+if st.button("import",use_container_width=True):
+    filepath = os.path.join('documents', os.path.basename( uploaded_file.name))
+    try:
+        with open(filepath, 'wb') as f:
+            f.write(uploaded_file.getvalue())
+            f.close()
+
+        loader=None
+        noextpath,extension = os.path.splitext(filepath)
+        logger.info(filepath)
+        document = Document()
+        if extension == ".txt" or extension ==".md":
+            logger.info("extension")
+            document = SimpleDirectoryReader(input_files=[filepath],  filename_as_id=True).load_data()[0]
+        else:
+            logger.info("else")
+            if extension == ".pdf":
+                logger.info("CJKPDFReader")
+                loader = CJKPDFReader()
+            elif extension == ".pptx":
+                logger.info("PptxReader")
+                loader = PptxReader()
+            elif extension == ".xlsx":
+                logger.info("PandasExcelReader")
+                loader = PandasExcelReader(pandas_config={"header": 0})
+            elif extension == ".docx":
+                logger.info("DocxReader")
+                loader = DocxReader()
+            else:
+                logger.error("Can`t read file:" + uploaded_file.name)
+            document = loader.load_data(file=Path(filepath))[0]
+        document.metadata={'filename': os.path.basename(uploaded_file.name)}
+        st.session_state.stored_docs.append(uploaded_file.name) 
+        logger.info(st.session_state.stored_docs)
+        st.session_state.index.insert(document=document)
+        st.session_state.index.storage_context.persist(persist_dir=INDEX_NAME)
+        os.remove(filepath) 
+        common.setChatEngine()
+        with open(PKL_NAME, "wb") as f:
+            print("pickle")
+            pickle.dump(st.session_state.stored_docs, f)
+        st.session_state["file_uploader_key"] += 1
+        st.experimental_rerun()
+    except Exception as e:
+        # cleanup temp file
+        logger.error(e)
+        if filepath is not None and os.path.exists(filepath):
+            os.remove(filepath)
+
+st.subheader("Import File List")
+if "stored_docs" in st.session_state: 
+    logger.info(st.session_state.stored_docs)
+    for docname in st.session_state.stored_docs:
+      st.write(docname)