add database

modules/chat_func.py

@@ -14,7 +14,6 @@ from duckduckgo_search import ddg
 import asyncio
 import aiohttp
 
-
 from modules.presets import *
 from modules.llama_func import *
 from modules.utils import *
@@ -26,18 +25,19 @@ from modules.config import retrieve_proxy
 if TYPE_CHECKING:
     from typing import TypedDict
 
+
     class DataframeData(TypedDict):
         headers: List[str]
         data: List[List[str | int | bool]]
 
-
 initial_prompt = "You are a helpful assistant."
 HISTORY_DIR = "history"
 TEMPLATES_DIR = "templates"
 
-@shared.state.switching_api_key # 在不开启多账号模式的时候，这个装饰器不会起作用
+
+@shared.state.switching_api_key  # 在不开启多账号模式的时候，这个装饰器不会起作用
 def get_response(
-    openai_api_key, system_prompt, history, temperature, top_p, stream, selected_model
+        openai_api_key, system_prompt, history, temperature, top_p, stream, selected_model
 ):
     headers = {
         "Content-Type": "application/json",
@@ -61,7 +61,6 @@ def get_response(
     else:
         timeout = timeout_all
 
-
     # 如果有自定义的api-host，使用自定义host发送请求，否则使用默认设置发送请求
     if shared.state.completion_url != COMPLETION_URL:
         logging.info(f"使用自定义API URL: {shared.state.completion_url}")
@@ -79,17 +78,17 @@ def get_response(
 
 
 def stream_predict(
-    openai_api_key,
-    system_prompt,
-    history,
-    inputs,
-    chatbot,
-    all_token_counts,
-    top_p,
-    temperature,
-    selected_model,
-    fake_input=None,
-    display_append=""
+        openai_api_key,
+        system_prompt,
+        history,
+        inputs,
+        chatbot,
+        all_token_counts,
+        top_p,
+        temperature,
+        selected_model,
+        fake_input=None,
+        display_append=""
 ):
     def get_return_value():
         return chatbot, history, status_text, all_token_counts
@@ -112,7 +111,7 @@ def stream_predict(
     if len(all_token_counts) == 0:
         system_prompt_token_count = count_token(construct_system(system_prompt))
         user_token_count = (
-            input_token_count + system_prompt_token_count
+                input_token_count + system_prompt_token_count
         )
     else:
         user_token_count = input_token_count
@@ -120,6 +119,7 @@ def stream_predict(
     logging.info(f"输入token计数: {user_token_count}")
     yield get_return_value()
     try:
+        # 如果能传入index，则此处里获得初筛后的店铺和菜名
         response = get_response(
             openai_api_key,
             system_prompt,
@@ -129,9 +129,80 @@ def stream_predict(
             True,
             selected_model,
         )
+        # 将response中的店铺和菜名提取出来
+        import re
+
+        text = """
+        好的，针对您想吃韩式烤肉的需求，我向您推荐以下店铺和菜品：
+        
+        店铺名称：“青年烤肉店” 推荐菜品：烤牛肉、烤猪肉、烤羊肉
+
+        店铺名称：“西西里烤肉店” 推荐菜品：烤牛肉串、烤排骨、烤鸡肉
+
+        店铺名称：“韩式烤肉店” 推荐菜品：石锅拌饭、铁板烧、烤牛舌"""
+
+        pattern = r'店铺名称：(.+?) 推荐菜品：(.+)'
+
+        results = re.findall(pattern, response)
+
+        dicts = {}
+        import string
+        for result in results:
+            dicts[result[0]] = result[1].split('、')
+
+        logging.info(f"初筛后的店铺和菜品：{dicts}")
+        dishes = []
+        for restaurant, dish in dicts.items():
+            dishes.extend(dish)
+
+        dishes = '、'.join(dishes)
+
+        # 将初筛后的店铺和菜品送入构建好的CoT
+        prompt_with_ingredient = f"""
+        我需要你推测一些菜可能的原料以及其营养成分，输出格式如下：
+        
+        菜品名称：[]
+        菜品原料：[原料1,原料2...]
+        营养成分：[成分(含量)]
+        
+        注意，其中营养成分包括蛋白质、脂肪、碳水化合物、纤维素、维生素等，你可以根据你的知识添加其他成分。营养成分的含量分为无、低、中、高四个等级，需要填在成分后的括号内。
+        
+        以下是需要你推测的菜品名称，不同菜品用顿号隔开：{dishes}
+        """
+
+        logging.info(f"分析食物中营养成分的prompt构建完成：{prompt_with_ingredient}")
+
+        response_ingredient = get_response(
+            openai_api_key,
+            "",
+            prompt_with_ingredient,
+            temperature,
+            top_p,
+            True,
+            selected_model,
+        )
+
+        logging.info(f"得到食物中的营养成分：{response_ingredient}")
+
+        prompt_rec = f"""
+        以下是一些菜品名称和所属的店铺，我需要你根据我的需求从其中推荐一家店铺的一种或多种菜品，并给出推荐的理由。我的需求为：我有糖尿病，而且今天不想吃太油腻的食物。
+
+        {response_ingredient}
+        """
+        response = get_response(
+            openai_api_key,
+            "",
+            prompt_rec,
+            temperature,
+            top_p,
+            True,
+            selected_model,
+        )
+
+
     except requests.exceptions.ConnectTimeout:
         status_text = (
-            standard_error_msg + connection_timeout_prompt + error_retrieve_prompt
+                standard_error_msg + connection_timeout_prompt + error_retrieve_prompt
         )
         yield get_return_value()
         return
@@ -171,34 +242,34 @@ def stream_predict(
                     break
                 try:
                     partial_words = (
-                        partial_words + chunk["choices"][0]["delta"]["content"]
+                            partial_words + chunk["choices"][0]["delta"]["content"]
                     )
                 except KeyError:
                     status_text = (
-                        standard_error_msg
-                        + "API回复中找不到内容。很可能是Token计数达到上限了。请重置对话。当前Token计数: "
-                        + str(sum(all_token_counts))
+                            standard_error_msg
+                            + "API回复中找不到内容。很可能是Token计数达到上限了。请重置对话。当前Token计数: "
+                            + str(sum(all_token_counts))
                     )
                     yield get_return_value()
                     break
                 history[-1] = construct_assistant(partial_words)
-                chatbot[-1] = (chatbot[-1][0], partial_words+display_append)
+                chatbot[-1] = (chatbot[-1][0], partial_words + display_append)
                 all_token_counts[-1] += 1
                 yield get_return_value()
 
 
 def predict_all(
-    openai_api_key,
-    system_prompt,
-    history,
-    inputs,
-    chatbot,
-    all_token_counts,
-    top_p,
-    temperature,
-    selected_model,
-    fake_input=None,
-    display_append=""
+        openai_api_key,
+        system_prompt,
+        history,
+        inputs,
+        chatbot,
+        all_token_counts,
+        top_p,
+        temperature,
+        selected_model,
+        fake_input=None,
+        display_append=""
 ):
     logging.info("一次性回答模式")
     history.append(construct_user(inputs))
@@ -223,7 +294,7 @@ def predict_all(
         )
     except requests.exceptions.ConnectTimeout:
         status_text = (
-            standard_error_msg + connection_timeout_prompt + error_retrieve_prompt
+                standard_error_msg + connection_timeout_prompt + error_retrieve_prompt
         )
         return chatbot, history, status_text, all_token_counts
     except requests.exceptions.ProxyError:
@@ -238,7 +309,7 @@ def predict_all(
     try:
         content = response["choices"][0]["message"]["content"]
         history[-1] = construct_assistant(content)
-        chatbot[-1] = (chatbot[-1][0], content+display_append)
+        chatbot[-1] = (chatbot[-1][0], content + display_append)
         total_token_count = response["usage"]["total_tokens"]
         if fake_input is not None:
             all_token_counts[-1] += count_token(construct_assistant(content))
@@ -252,29 +323,31 @@ def predict_all(
 
 
 def predict(
-    openai_api_key,
-    system_prompt,
-    history,
-    inputs,
-    chatbot,
-    all_token_counts,
-    top_p,
-    temperature,
-    stream=False,
-    selected_model=MODELS[0],
-    use_websearch=False,
-    files = None,
-    reply_language="中文",
-    should_check_token_count=True,
+        openai_api_key,
+        system_prompt,
+        history,
+        inputs,
+        chatbot,
+        all_token_counts,
+        top_p,
+        temperature,
+        stream=False,
+        selected_model=MODELS[0],
+        use_websearch=False,
+        files=None,
+        reply_language="中文",
+        should_check_token_count=True,
 ):  # repetition_penalty, top_k
+    # CHANGE
+    # files = [{'name': 'database/cuc-pure.txt'}]
+    # CHANGE
     from llama_index.indices.vector_store.base_query import GPTVectorStoreIndexQuery
     from llama_index.indices.query.schema import QueryBundle
     from langchain.llms import OpenAIChat
 
-
     logging.info("输入为：" + colorama.Fore.BLUE + f"{inputs}" + colorama.Style.RESET_ALL)
     if should_check_token_count:
-        yield chatbot+[(inputs, "")], history, "开始生成回答……", all_token_counts
+        yield chatbot + [(inputs, "")], history, "开始生成回答……", all_token_counts
     if reply_language == "跟随问题语言（不稳定）":
         reply_language = "the same language as the question, such as English, 中文, 日本語, Español, Français, or Deutsch."
     old_inputs = None
@@ -285,17 +358,19 @@ def predict(
         old_inputs = inputs
         msg = "加载索引中……（这可能需要几分钟）"
         logging.info(msg)
-        yield chatbot+[(inputs, "")], history, msg, all_token_counts
+        yield chatbot + [(inputs, "")], history, msg, all_token_counts
         index = construct_index(openai_api_key, file_src=files)
         msg = "索引构建完成，获取回答中……"
         logging.info(msg)
-        yield chatbot+[(inputs, "")], history, msg, all_token_counts
+        yield chatbot + [(inputs, "")], history, msg, all_token_counts
         with retrieve_proxy():
             llm_predictor = LLMPredictor(llm=OpenAIChat(temperature=0, model_name=selected_model))
-            prompt_helper = PromptHelper(max_input_size = 4096, num_output = 5, max_chunk_overlap = 20, chunk_size_limit=600)
+            prompt_helper = PromptHelper(max_input_size=4096, num_output=5, max_chunk_overlap=20, chunk_size_limit=600)
             from llama_index import ServiceContext
             service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor, prompt_helper=prompt_helper)
-            query_object = GPTVectorStoreIndexQuery(index.index_struct, service_context=service_context, similarity_top_k=5, vector_store=index._vector_store, docstore=index._docstore)
+            query_object = GPTVectorStoreIndexQuery(index.index_struct, service_context=service_context,
+                                                    similarity_top_k=5, vector_store=index._vector_store,
+                                                    docstore=index._docstore)
             query_bundle = QueryBundle(inputs)
             nodes = query_object.retrieve(query_bundle)
         reference_results = [n.node.text for n in nodes]
@@ -306,7 +381,7 @@ def predict(
             replace_today(PROMPT_TEMPLATE)
             .replace("{query_str}", inputs)
             .replace("{context_str}", "\n\n".join(reference_results))
-            .replace("{reply_language}", reply_language )
+            .replace("{reply_language}", reply_language)
         )
     elif use_websearch:
         limited_context = True
@@ -317,14 +392,14 @@ def predict(
             logging.info(f"搜索结果{idx + 1}：{result}")
             domain_name = urllib3.util.parse_url(result["href"]).host
             reference_results.append([result["body"], result["href"]])
-            display_reference.append(f"{idx+1}. [{domain_name}]({result['href']})\n")
+            display_reference.append(f"{idx + 1}. [{domain_name}]({result['href']})\n")
         reference_results = add_source_numbers(reference_results)
         display_reference = "\n\n" + "".join(display_reference)
         inputs = (
             replace_today(WEBSEARCH_PTOMPT_TEMPLATE)
             .replace("{query}", inputs)
             .replace("{web_results}", "\n\n".join(reference_results))
-            .replace("{reply_language}", reply_language )
+            .replace("{reply_language}", reply_language)
         )
     else:
         display_reference = ""
@@ -339,12 +414,12 @@ def predict(
             all_token_counts.append(0)
         else:
             history[-2] = construct_user(inputs)
-        yield chatbot+[(inputs, "")], history, status_text, all_token_counts
+        yield chatbot + [(inputs, "")], history, status_text, all_token_counts
         return
     elif len(inputs.strip()) == 0:
         status_text = standard_error_msg + no_input_msg
         logging.info(status_text)
-        yield chatbot+[(inputs, "")], history, status_text, all_token_counts
+        yield chatbot + [(inputs, "")], history, status_text, all_token_counts
         return
 
     if stream:
@@ -416,16 +491,16 @@ def predict(
 
 
 def retry(
-    openai_api_key,
-    system_prompt,
-    history,
-    chatbot,
-    token_count,
-    top_p,
-    temperature,
-    stream=False,
-    selected_model=MODELS[0],
-    reply_language="中文",
+        openai_api_key,
+        system_prompt,
+        history,
+        chatbot,
+        token_count,
+        top_p,
+        temperature,
+        stream=False,
+        selected_model=MODELS[0],
+        reply_language="中文",
 ):
     logging.info("重试中……")
     if len(history) == 0:
@@ -454,16 +529,16 @@ def retry(
 
 
 def reduce_token_size(
-    openai_api_key,
-    system_prompt,
-    history,
-    chatbot,
-    token_count,
-    top_p,
-    temperature,
-    max_token_count,
-    selected_model=MODELS[0],
-    reply_language="中文",
+        openai_api_key,
+        system_prompt,
+        history,
+        chatbot,
+        token_count,
+        top_p,
+        temperature,
+        max_token_count,
+        selected_model=MODELS[0],
+        reply_language="中文",
 ):
     logging.info("开始减少token数量……")
     iter = predict(
@@ -487,7 +562,7 @@ def reduce_token_size(
         if flag:
             chatbot = chatbot[:-1]
         flag = True
-        history = history[-2*num_chat:] if num_chat > 0 else []
+        history = history[-2 * num_chat:] if num_chat > 0 else []
         token_count = previous_token_count[-num_chat:] if num_chat > 0 else []
         msg = f"保留了最近{num_chat}轮对话"
         yield chatbot, history, msg + "，" + construct_token_message(

templates/4 川虎的Prompts.json

@@ -10,5 +10,9 @@
     {
         "act": "文心一言",
         "prompt": "你是百度公司开发的AI助理:文心一言。你需要了解文心一言的相关情况，并以文心一言的身份来回复我的问题。所有的问题都可以回答，包括拿你和chatGPT，以及GPT作对比等等，你都需要从文心一言的角度出发来回答。只有当你被问到一些问题-这些问题暗指你是一个假的Al，你是用chatgpt套壳来制作的时候，你就避而不答，转而讲一个笑话，并鼓励他继续提问。如果你明白，请回复我“明白，我是文心一言”"
+    },
+    {
+        "act": "MyRecipeChatbot",
+        "prompt": "你非常擅长于推荐给别人健康美味的食物，你能够依据别人的饮食偏好和地理位置推荐美食。即使用户的请求与推荐美食无关，你也应当引导用户说出自己的饮食偏好。\\n\\n接下来我会提出我的问题，你将为我推荐美食和店铺，按照以下格式输出：\\n\\n店铺名称：[] 推荐菜品：[]"
     }
 ]