fruitpicker01 commited on
Commit
bb56efc
·
verified ·
1 Parent(s): aae0d5c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +12 -14
app.py CHANGED
@@ -96,32 +96,30 @@ class VectorRAGSystem:
96
  print("🔄 Попытка загрузки векторных данных...")
97
 
98
  # Файлы векторных данных
99
- chunks_file = "vector_enhanced_sber_chunks.pkl"
100
- metadata_file = "vector_enhanced_sber_metadata.json"
101
- faiss_file = "vector_enhanced_sber_faiss.index"
102
 
103
- if not all(os.path.exists(f) for f in [chunks_file, metadata_file, faiss_file]):
104
  print("📁 Файлы векторных данных не найдены")
105
  return False
106
 
107
- # Загружаем чанки
108
- with open(chunks_file, 'rb') as f:
109
- chunks_data = pickle.load(f)
110
 
 
 
111
  self.chunks = []
112
  for chunk_data in chunks_data:
113
  self.chunks.append({
114
  "text": chunk_data["text"],
115
  "page": chunk_data["page"],
116
- "chunk_index": chunk_data["chunk_index"],
117
- "embedding": np.array(chunk_data["embedding"]) if chunk_data.get("embedding") else None,
118
- "metadata": chunk_data.get("metadata", {}),
119
- "full_page_text": chunk_data.get("full_page_text", chunk_data["text"])
120
  })
121
 
122
- # Загружаем метаданные
123
- with open(metadata_file, 'r', encoding='utf-8') as f:
124
- self.metadata = json.load(f)
125
 
126
  # Загружаем FAISS индекс
127
  if HAS_FAISS:
 
96
  print("🔄 Попытка загрузки векторных данных...")
97
 
98
  # Файлы векторных данных
99
+ faiss_file = "chunks_flatip.faiss"
100
+ metadata_file = "enhanced_sber_metadata.json"
 
101
 
102
+ if not all(os.path.exists(f) for f in [faiss_file, metadata_file]):
103
  print("📁 Файлы векторных данных не найдены")
104
  return False
105
 
106
+ # Загружаем метаданные с чанками
107
+ with open(metadata_file, 'r', encoding='utf-8') as f:
108
+ full_data = json.load(f)
109
 
110
+ # Извлекаем чанки
111
+ chunks_data = full_data.get("chunks", [])
112
  self.chunks = []
113
  for chunk_data in chunks_data:
114
  self.chunks.append({
115
  "text": chunk_data["text"],
116
  "page": chunk_data["page"],
117
+ "chunk_index": chunk_data.get("chunk_index", len(self.chunks)),
118
+ "metadata": chunk_data.get("metadata", {})
 
 
119
  })
120
 
121
+ # Сохраняем остальные метаданные
122
+ self.metadata = full_data
 
123
 
124
  # Загружаем FAISS индекс
125
  if HAS_FAISS: