Upload 5 files

app.py

@@ -48,10 +48,10 @@ from log import logger
 
 def initialize_index():
     logger.info("initialize_index start")
-    llm = OpenAI(model='gpt-4', temperature=0.8, max_tokens=256)
+    llm = OpenAI(model='gpt-3.5-turbo', temperature=0.8, max_tokens=256)
     text_splitter = TokenTextSplitter(separator="。",chunk_size=1500
       , chunk_overlap=DEFAULT_CHUNK_OVERLAP
-      , tokenizer=tiktoken.encoding_for_model("gpt-4").encode)
+      , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
     node_parser = SimpleNodeParser(text_splitter=text_splitter)
     d = 1536
     k=2
@@ -85,7 +85,7 @@ def initialize_index():
                 noextpath,extension = os.path.splitext(file)
                 logger.info(file)
                 document = Document()
-                if extension == ".txt" or ".md":
+                if extension == ".txt" or extension ==".md":
                     document = SimpleDirectoryReader(input_files=[file],  filename_as_id=True).load_data()[0]
                 else:
                     if extension == ".pdf":
@@ -145,10 +145,11 @@ if st.session_state.login_token:
         ## 使い方
         - **Chatbot**  
             初期からインポートされているファイルとImportXXFileでインポートしたファイルの内容に関する質問に対して、GenerativeAIが回答します。
+            返答が正常に帰ってこない場合があります。参照ファイルを記載しているので、判断の目安にしてください。
         
         - **ChatbotWebRead**  
             入力したURLのサイトの情報に関して、GenerativeAIが回答します。  
-            ImportXXFileの内容は登録されていません。
+            ImportAllFileの内容は登録されていません。
         
         - **ImportAllFile**  
             テキストファイル,mdファイル,Excel,PDF,PowerPoint,Wordをインポートできます。

common.py

@@ -73,16 +73,15 @@ def check_login():
 INDEX_NAME = os.environ["INDEX_NAME"]
 PKL_NAME = os.environ["PKL_NAME"]
     # デバッグ用
-llm = OpenAI(model='gpt-4', temperature=0.8, max_tokens=256)
+llm = OpenAI(model='gpt-3.5-turbo', temperature=0.8, max_tokens=256)
 text_splitter = TokenTextSplitter(separator="。", chunk_size=1500
   , chunk_overlap=DEFAULT_CHUNK_OVERLAP
-  , tokenizer=tiktoken.encoding_for_model("gpt-4").encode)
+  , tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode)
 node_parser = SimpleNodeParser(text_splitter=text_splitter)
 custom_prompt = Prompt("""\
   以下はこれまでの会話履歴と、ドキュメントを検索して回答する必要がある、ユーザーからの会話文です。
   会話と新しい会話文に基づいて、検索クエリを作成します。
   挨拶された場合、挨拶を返してください。
-  質問された場合、検索した結果の回答を返してください。
   答えを知らない場合は、「わかりません」と回答してください。
   全ての回答は日本語で行ってください。
   会話履歴:

pages/ImportAllFile.py

@@ -31,16 +31,22 @@ if st.button("import",use_container_width=True):
         noextpath,extension = os.path.splitext(filepath)
         logger.info(filepath)
         document = Document()
-        if extension == ".txt" or ".md":
+        if extension == ".txt" or extension ==".md":
+            logger.info("extension")
             document = SimpleDirectoryReader(input_files=[filepath],  filename_as_id=True).load_data()[0]
         else:
+            logger.info("else")
             if extension == ".pdf":
+                logger.info("CJKPDFReader")
                 loader = CJKPDFReader()
             elif extension == ".pptx":
+                logger.info("PptxReader")
                 loader = PptxReader()
             elif extension == ".xlsx":
+                logger.info("PandasExcelReader")
                 loader = PandasExcelReader(pandas_config={"header": 0})
             elif extension == ".docx":
+                logger.info("DocxReader")
                 loader = DocxReader()
             else:
                 logger.error("Can`t read file:" + uploaded_file.name)