Hantr commited on
Commit
eddc5e9
Β·
1 Parent(s): 84d8fdc
Files changed (1) hide show
  1. app.py +2 -19
app.py CHANGED
@@ -13,7 +13,7 @@ from langchain.llms import HuggingFaceHub, LlamaCpp, CTransformers # For loadin
13
  from langchain.document_loaders import PyPDFLoader, TextLoader, JSONLoader, CSVLoader
14
  import tempfile # μž„μ‹œ νŒŒμΌμ„ μƒμ„±ν•˜κΈ° μœ„ν•œ λΌμ΄λΈŒλŸ¬λ¦¬μž…λ‹ˆλ‹€.
15
  import os
16
- import numpy as np
17
 
18
  # PDF λ¬Έμ„œλ‘œλΆ€ν„° ν…μŠ€νŠΈλ₯Ό μΆ”μΆœν•˜λŠ” ν•¨μˆ˜μž…λ‹ˆλ‹€.
19
  def get_pdf_text(pdf_docs):
@@ -75,24 +75,7 @@ def get_vectorstore(text_chunks):
75
  # OpenAI μž„λ² λ”© λͺ¨λΈμ„ λ‘œλ“œν•©λ‹ˆλ‹€. (Embedding models - Ada v2)
76
 
77
  embeddings = OpenAIEmbeddings()
78
-
79
- chunk_embeddings = []
80
- for chunk in text_chunks:
81
- chunk_embedding = embeddings.encode(chunk)
82
- chunk_embeddings.append(chunk_embedding)
83
-
84
- # FAISS에 μ ν•©ν•œ ν˜•νƒœλ‘œ 벑터듀을 μž¬κ΅¬μ„±ν•©λ‹ˆλ‹€.
85
- flat_embeddings = [emb for chunk in chunk_embeddings for emb in chunk]
86
-
87
- # μž„λ² λ”© 차원 수λ₯Ό ν™•μΈν•©λ‹ˆλ‹€.
88
- num_dims = len(flat_embeddings[0]) if flat_embeddings else 0
89
-
90
- # FAISS에 전달할 수 μžˆλŠ” ν˜•νƒœλ‘œ 벑터듀을 μž¬μ •λ ¬ν•©λ‹ˆλ‹€.
91
- vectors = np.array(flat_embeddings).astype('float32')
92
- vectors = vectors.reshape(len(flat_embeddings), num_dims)
93
-
94
- # FAISS 인덱슀λ₯Ό μƒμ„±ν•©λ‹ˆλ‹€.
95
- vectorstore = FAISS.from_numpy(vectors)
96
 
97
  return vectorstore # μƒμ„±λœ 벑터 μŠ€ν† μ–΄λ₯Ό λ°˜ν™˜ν•©λ‹ˆλ‹€.
98
 
 
13
  from langchain.document_loaders import PyPDFLoader, TextLoader, JSONLoader, CSVLoader
14
  import tempfile # μž„μ‹œ νŒŒμΌμ„ μƒμ„±ν•˜κΈ° μœ„ν•œ λΌμ΄λΈŒλŸ¬λ¦¬μž…λ‹ˆλ‹€.
15
  import os
16
+
17
 
18
  # PDF λ¬Έμ„œλ‘œλΆ€ν„° ν…μŠ€νŠΈλ₯Ό μΆ”μΆœν•˜λŠ” ν•¨μˆ˜μž…λ‹ˆλ‹€.
19
  def get_pdf_text(pdf_docs):
 
75
  # OpenAI μž„λ² λ”© λͺ¨λΈμ„ λ‘œλ“œν•©λ‹ˆλ‹€. (Embedding models - Ada v2)
76
 
77
  embeddings = OpenAIEmbeddings()
78
+ vectorstore = FAISS.from_documents(text_chunks, embeddings) # FAISS 벑터 μŠ€ν† μ–΄λ₯Ό μƒμ„±ν•©λ‹ˆλ‹€.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
79
 
80
  return vectorstore # μƒμ„±λœ 벑터 μŠ€ν† μ–΄λ₯Ό λ°˜ν™˜ν•©λ‹ˆλ‹€.
81