Upload 3 files

app.py

@@ -150,7 +150,7 @@ if st.session_state.login_token:
         - **ChatbotWebRead**  
             入力したURLのサイトの情報に関して、GenerativeAIが回答します。  
             スクレイピングが禁止されているサイトは入力しないでください。  
-            ImportAllFileの内容は登録されていません。  
+            ImportAllFileの内容は登録されていません。
         
         - **ImportAllFile**  
             テキストファイル,mdファイル,Excel,PDF,PowerPoint,Wordをインポートできます。

common.py

@@ -9,7 +9,9 @@ from streamlit import runtime
 from streamlit.runtime.scriptrunner import get_script_run_ctx
 from streamlit.web.server.websocket_headers import _get_websocket_headers
 from llama_index import  SimpleDirectoryReader
-from llama_index import  Prompt
+# from llama_index import  Prompt
+from llama_index.prompts.base import  PromptTemplate
+
 from llama_index.chat_engine import CondenseQuestionChatEngine;
 from llama_index.response_synthesizers import get_response_synthesizer
 from llama_index import ServiceContext, SimpleDirectoryReader
@@ -20,6 +22,8 @@ from llama_index.response_synthesizers import get_response_synthesizer
 from llama_index.callbacks import CallbackManager
 from llama_index.llms import OpenAI
 from log import logger
+from llama_index.llms.base import ChatMessage, MessageRole
+from llama_index.prompts.base import ChatPromptTemplate
 
 # 接続元制御
 ALLOW_IP_ADDRESS = os.environ["ALLOW_IP_ADDRESS"]
@@ -78,25 +82,72 @@ text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
   , chunk_overlap=DEFAULT_CHUNK_OVERLAP
   , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
 node_parser = SimpleNodeParser(text_splitter=text_splitter)
-custom_prompt = Prompt("""\
+custom_prompt = PromptTemplate("""\
   以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
   会話と新しい会話文に基づいて、検索クエリを作成します。
-  挨拶された場合、挨拶を返してください。
-  答えを知らない場合は、「わかりません」と回答してください。
-  全ての回答は日本語で行ってください。
-  会話履歴:
+  <Chat History> 
   {chat_history}
-  新しい会話文:
+  <Follow Up Message>
   {question}
-  Search query:
+  <Standalone question>
 """)
 
-chat_history = []
+TEXT_QA_SYSTEM_PROMPT = ChatMessage(
+    content=(
+        "あなたは世界中で信頼されているQAシステムです。\n"
+        "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
+        "従うべきいくつかのルール:\n"
+        "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
+        "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
+    ),
+    role=MessageRole.SYSTEM,
+)
+
+# QAプロンプトテンプレートメッセージ
+TEXT_QA_PROMPT_TMPL_MSGS = [
+    TEXT_QA_SYSTEM_PROMPT,
+    ChatMessage(
+        content=(
+            "コンテキスト情報は以下のとおりです。\n"
+            "---------------------\n"
+            "{context_str}\n"
+            "---------------------\n"
+            "事前知識ではなくコンテキスト情報を考慮して、クエリに答えます。\n"
+            "Query: {query_str}\n"
+            "Answer: "
+        ),
+        role=MessageRole.USER,
+    ),
+]
+CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)
+
+CHAT_REFINE_PROMPT_TMPL_MSGS = [
+    ChatMessage(
+        content=(
+            "あなたは、既存の回答を改良する際に2つのモードで厳密に動作するQAシステムのエキスパートです。\n"
+            "1. 新しいコンテキストを使用して元の回答を**書き直す**。\n"
+            "2. 新しいコンテキストが役に立たない場合は、元の回答を**繰り返す**。\n"
+            "回答内で元の回答やコンテキストを直接参照しないでください。\n"
+            "疑問がある場合は、元の答えを繰り返してください。"
+            "New Context: {context_msg}\n"
+            "Query: {query_str}\n"
+            "Original Answer: {existing_answer}\n"
+            "New Answer: "
+        ),
+        role=MessageRole.USER,
+    )
+]
+# チャットRefineプロンプト
+CHAT_REFINE_PROMPT = ChatPromptTemplate(message_templates=CHAT_REFINE_PROMPT_TMPL_MSGS)
 
 def setChatEngine():
     callback_manager = CallbackManager([st.session_state.llama_debug_handler])
     service_context = ServiceContext.from_defaults(llm=llm,node_parser=node_parser,callback_manager=callback_manager)
-    response_synthesizer = get_response_synthesizer(response_mode='refine')
+    response_synthesizer = get_response_synthesizer(
+        response_mode='refine',
+        text_qa_template= CHAT_TEXT_QA_PROMPT,
+        refine_template=CHAT_REFINE_PROMPT,
+    )
     st.session_state.query_engine = st.session_state.index.as_query_engine(
         response_synthesizer=response_synthesizer,
         service_context=service_context,
@@ -104,58 +155,5 @@ def setChatEngine():
     st.session_state.chat_engine = CondenseQuestionChatEngine.from_defaults(
         query_engine=st.session_state.query_engine, 
         condense_question_prompt=custom_prompt,
-        chat_history=chat_history,
         verbose=True
     )
-
-# chat mode reacの記述
-# from langchain.prompts.chat import (
-#     ChatPromptTemplate,
-#     HumanMessagePromptTemplate,
-#     SystemMessagePromptTemplate,
-# )
-# from llama_index.prompts.prompts import RefinePrompt, QuestionAnswerPrompt
-# from llama_index.prompts import Prompt
-# chat_text_qa_msgs = [
-#     SystemMessagePromptTemplate.from_template(
-#         "文脈が役に立たない場合でも、必ず日本語で質問に答えてください。"
-#     ),
-#     HumanMessagePromptTemplate.from_template(
-#         "以下に、コンテキスト情報を提供します。 \n"
-#         "---------------------\n"
-#         "{context_str}"
-#         "\n---------------------\n"
-#         "回答には以下を含めてください。\n"
-#         "・最初に問い合わせへのお礼してください\n"
-#         "・回答には出典のドキュメント名を含めるようにしてください。\n"
-#         "・質問内容を要約してください\n"
-#         "・最後に不明な点がないか確認してください \n"
-#         "この情報を踏まえて、次の質問に回答してください:  {query_str}\n"
-#         "答えを知らない場合は、「わからない」と回答してください。また、必ず日本語で回答してください。"
-#     ),
-# ]
-# REFINE_PROMPT = ("元の質問は次のとおりです: {query_str} \n"
-#     "既存の回答を提供しました: {existing_answer} \n"
-#     "既存の答えを洗練する機会があります \n"
-#     "(必要な場合のみ)以下にコンテキストを追加します。 \n"
-#     "------------\n"
-#     "{context_msg}\n"
-#     "------------\n"
-#     "新しいコンテキストを考慮して、元の答えをより良く洗練して質問に答えてください。\n"
-#     "回答には出典のドキュメント名を含めるようにしてください。\n"
-#     "コンテキストが役に立たない場合は、元の回答と同じものを返します。"
-#     "どのような場合でも、返答は日本語で行います。")
-# refine_prompt = RefinePrompt(REFINE_PROMPT)
-
-# def setChatEngine():
-#     callback_manager = CallbackManager([st.session_state.llama_debug_handler])
-#     service_context = ServiceContext.from_defaults(node_parser=node_parser,callback_manager=callback_manager)
-#     response_synthesizer = get_response_synthesizer(response_mode='refine')
-#     st.session_state.chat_engine = st.session_state.index.as_chat_engine(
-#         response_synthesizer=response_synthesizer,
-#         service_context=service_context,
-#         chat_mode="condense_question",
-#         text_qa_template= Prompt.from_langchain_prompt(ChatPromptTemplate.from_messages(chat_text_qa_msgs)),
-#         refine_template=refine_prompt,
-#         verbose=True
-#     )

pages/ChatbotWebRead.py

@@ -10,28 +10,74 @@ from llama_index.langchain_helpers.text_splitter import TokenTextSplitter
 from llama_index.constants import DEFAULT_CHUNK_OVERLAP
 from llama_index.response_synthesizers import get_response_synthesizer
 from llama_index import  SimpleWebPageReader
-
+from llama_index.llms.base import ChatMessage, MessageRole
+from llama_index.prompts.base import ChatPromptTemplate
+from llama_index.prompts.base import  PromptTemplate
 # from llama_index.prompts import Prompt
 from llama_index import Prompt
+
+from log import logger
 import tiktoken
 import common
 langchain.verbose = True
 
-custom_prompt = Prompt("""\
+custom_prompt = PromptTemplate("""\
   以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
-  会話と新しい会話文に基づいて、検索クエリを作成します。回答は日本語で行います。
-  新しい会話文が挨拶の場合、挨拶を返してください。
-  新しい会話文が質問の場合、検索した結果の回答を返してください。
-  答えがわからない場合は正直にわからないと回答してください。
-  会話履歴:
+  会話と新しい会話文に基づいて、検索クエリを作成します。
+  <Chat History> 
   {chat_history}
-  新しい会話文:
+  <Follow Up Message>
   {question}
-  Search query:
+  <Standalone question>
 """)
-chat_history = []
 
-from log import logger
+TEXT_QA_SYSTEM_PROMPT = ChatMessage(
+    content=(
+        "あなたは世界中で信頼されているQAシステムです。\n"
+        "事前知識ではなく、常に提供されたコンテキスト情報を使用してクエリに回答してください。\n"
+        "従うべきいくつかのルール:\n"
+        "1. 回答内で指定されたコンテキストを直接参照しないでください。\n"
+        "2. 「コンテキストに基づいて、...」や「コンテキスト情報は...」、またはそれに類するような記述は避けてください。"
+    ),
+    role=MessageRole.SYSTEM,
+)
+
+# QAプロンプトテンプレートメッセージ
+TEXT_QA_PROMPT_TMPL_MSGS = [
+    TEXT_QA_SYSTEM_PROMPT,
+    ChatMessage(
+        content=(
+            "コンテキスト情報は以下のとおりです。\n"
+            "---------------------\n"
+            "{context_str}\n"
+            "---------------------\n"
+            "事前知識ではなくコンテキスト情報を考慮して、クエリに答えます。\n"
+            "Query: {query_str}\n"
+            "Answer: "
+        ),
+        role=MessageRole.USER,
+    ),
+]
+CHAT_TEXT_QA_PROMPT = ChatPromptTemplate(message_templates=TEXT_QA_PROMPT_TMPL_MSGS)
+
+CHAT_REFINE_PROMPT_TMPL_MSGS = [
+    ChatMessage(
+        content=(
+            "あなたは、既存の回答を改良する際に2つのモードで厳密に動作するQAシステムのエキスパートです。\n"
+            "1. 新しいコンテキストを使用して元の回答を**書き直す**。\n"
+            "2. 新しいコンテキストが役に立たない場合は、元の回答を**繰り返す**。\n"
+            "回答内で元の回答やコンテキストを直接参照しないでください。\n"
+            "疑問がある場合は、元の答えを繰り返してください。"
+            "New Context: {context_msg}\n"
+            "Query: {query_str}\n"
+            "Original Answer: {existing_answer}\n"
+            "New Answer: "
+        ),
+        role=MessageRole.USER,
+    )
+]
+# チャットRefineプロンプト
+CHAT_REFINE_PROMPT = ChatPromptTemplate(message_templates=CHAT_REFINE_PROMPT_TMPL_MSGS)
 
 common.check_login()
 
@@ -59,7 +105,11 @@ if st.button("URL reading",use_container_width=True):
     )
     logger.info(webDocuments)
     webIndex = VectorStoreIndex.from_documents(webDocuments,service_context=service_context)
-    response_synthesizer = get_response_synthesizer(response_mode='refine')
+    response_synthesizer = get_response_synthesizer(
+        response_mode='refine',
+        text_qa_template= CHAT_TEXT_QA_PROMPT,
+        refine_template=CHAT_REFINE_PROMPT,
+    )
     st.session_state.webQuery_engine = webIndex.as_query_engine(
         response_synthesizer=response_synthesizer,
         service_context=service_context,
@@ -67,7 +117,6 @@ if st.button("URL reading",use_container_width=True):
     st.session_state.web_chat_engine = CondenseQuestionChatEngine.from_defaults(
         query_engine=st.session_state.webQuery_engine, 
         condense_question_prompt=custom_prompt,
-        chat_history=chat_history,
         verbose=True
     )