[email protected]
commited on
Commit
ยท
a7f4e5b
1
Parent(s):
b2646b2
edit codes
Browse files
app.py
CHANGED
@@ -72,9 +72,17 @@ def get_text_chunks(documents):
|
|
72 |
chunk_overlap=200, # ์ฒญํฌ ์ฌ์ด์ ์ค๋ณต์ ์ง์ ํฉ๋๋ค.
|
73 |
length_function=len # ํ
์คํธ์ ๊ธธ์ด๋ฅผ ์ธก์ ํ๋ ํจ์๋ฅผ ์ง์ ํฉ๋๋ค.
|
74 |
)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
75 |
|
76 |
-
|
77 |
-
return
|
78 |
|
79 |
|
80 |
# ํ
์คํธ ์ฒญํฌ๋ค๋ก๋ถํฐ ๋ฒกํฐ ์คํ ์ด๋ฅผ ์์ฑํ๋ ํจ์์
๋๋ค.
|
|
|
72 |
chunk_overlap=200, # ์ฒญํฌ ์ฌ์ด์ ์ค๋ณต์ ์ง์ ํฉ๋๋ค.
|
73 |
length_function=len # ํ
์คํธ์ ๊ธธ์ด๋ฅผ ์ธก์ ํ๋ ํจ์๋ฅผ ์ง์ ํฉ๋๋ค.
|
74 |
)
|
75 |
+
texts = []
|
76 |
+
for doc in documents:
|
77 |
+
if isinstance(doc, str):
|
78 |
+
# doc์ด ๋ฌธ์์ด์ธ ๊ฒฝ์ฐ ์ง์ texts์ ์ถ๊ฐ
|
79 |
+
texts.append(doc)
|
80 |
+
else:
|
81 |
+
# doc์ด 'page_content' ์์ฑ์ ๊ฐ์ถ ๊ฐ์ฒด์ธ ๊ฒฝ์ฐ
|
82 |
+
texts.append(doc.page_content)
|
83 |
|
84 |
+
chunks = text_splitter.split_documents(texts)
|
85 |
+
return chunks
|
86 |
|
87 |
|
88 |
# ํ
์คํธ ์ฒญํฌ๋ค๋ก๋ถํฐ ๋ฒกํฐ ์คํ ์ด๋ฅผ ์์ฑํ๋ ํจ์์
๋๋ค.
|