Update app.py

app.py

@@ -46,7 +46,7 @@ def get_csv_file(docs):
 def get_json_file(docs):
     pass
 
-    
+'''    
 # 문서들을 처리하여 텍스트 청크로 나누는 함수입니다.
 def get_text_chunks(documents):
     text_splitter = RecursiveCharacterTextSplitter(
@@ -57,7 +57,17 @@ def get_text_chunks(documents):
 
     documents = text_splitter.split_documents(documents)  # 문서들을 청크로 나눕니다.
     return documents  # 나눈 청크를 반환합니다.
+'''
+def get_text_chunks(documents):
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=1000,  # 청크의 크기를 지정합니다.
+        chunk_overlap=200,  # 청크 사이의 중복을 지정합니다.
+        length_function=len  # 텍스트의 길이를 측정하는 함수를 지정합니다.
+    )
 
+    documents = [doc for doc in documents if doc.strip()]  # 빈 텍스트를 제거합니다.
+    text_chunks = text_splitter.split_documents(documents)  # 문서들을 청크로 나눕니다.
+    return text_chunks  # 나눈 청크를 반환합니다.
 
 # 텍스트 청크들로부터 벡터 스토어를 생성하는 함수입니다.
 def get_vectorstore(text_chunks):