Spaces:
Running
Running
Update modules/text_analysis/discourse_analysis.py
Browse files
modules/text_analysis/discourse_analysis.py
CHANGED
@@ -108,62 +108,81 @@ def fig_to_bytes(fig, dpi=100):
|
|
108 |
logger.error(f"Error en fig_to_bytes: {str(e)}")
|
109 |
return None
|
110 |
|
111 |
-
|
112 |
def compare_semantic_analysis(text1, text2, nlp, lang):
|
113 |
"""
|
114 |
Realiza el análisis semántico comparativo entre dos textos
|
115 |
"""
|
116 |
try:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
117 |
logger.info(f"Iniciando análisis comparativo para idioma: {lang}")
|
118 |
|
119 |
-
#
|
120 |
stopwords = get_custom_stopwords(lang)
|
121 |
logger.info(f"Obtenidas {len(stopwords)} stopwords para el idioma {lang}")
|
122 |
|
123 |
-
# Procesar los textos
|
124 |
doc1 = nlp(text1)
|
125 |
doc2 = nlp(text2)
|
126 |
|
127 |
-
# Identificar conceptos clave
|
128 |
-
logger.info("Identificando conceptos clave del primer texto...")
|
129 |
key_concepts1 = identify_key_concepts(doc1, stopwords=stopwords, min_freq=2, min_length=3)
|
130 |
-
|
131 |
-
logger.info("Identificando conceptos clave del segundo texto...")
|
132 |
key_concepts2 = identify_key_concepts(doc2, stopwords=stopwords, min_freq=2, min_length=3)
|
133 |
|
134 |
if not key_concepts1 or not key_concepts2:
|
135 |
raise ValueError("No se pudieron identificar conceptos clave en uno o ambos textos")
|
136 |
|
137 |
-
# Crear grafos
|
138 |
-
logger.info("Creando grafos de conceptos...")
|
139 |
G1 = create_concept_graph(doc1, key_concepts1)
|
140 |
G2 = create_concept_graph(doc2, key_concepts2)
|
141 |
-
|
142 |
-
# Visualizar grafos
|
143 |
-
logger.info("Visualizando grafos...")
|
144 |
|
145 |
-
# Primer grafo
|
146 |
plt.figure(figsize=(12, 8))
|
147 |
fig1 = visualize_concept_graph(G1, lang)
|
148 |
-
plt.title(
|
149 |
plt.tight_layout()
|
150 |
|
151 |
-
# Segundo grafo
|
152 |
plt.figure(figsize=(12, 8))
|
153 |
fig2 = visualize_concept_graph(G2, lang)
|
154 |
-
plt.title(
|
155 |
plt.tight_layout()
|
156 |
|
157 |
-
logger.info("Análisis comparativo completado exitosamente")
|
158 |
return fig1, fig2, key_concepts1, key_concepts2
|
159 |
|
160 |
except Exception as e:
|
161 |
logger.error(f"Error en compare_semantic_analysis: {str(e)}")
|
162 |
-
plt.close('all')
|
163 |
raise
|
164 |
finally:
|
165 |
-
plt.close('all')
|
166 |
-
|
167 |
|
168 |
############################################
|
169 |
def create_concept_table(key_concepts):
|
|
|
108 |
logger.error(f"Error en fig_to_bytes: {str(e)}")
|
109 |
return None
|
110 |
|
111 |
+
################################################################################################
|
112 |
def compare_semantic_analysis(text1, text2, nlp, lang):
|
113 |
"""
|
114 |
Realiza el análisis semántico comparativo entre dos textos
|
115 |
"""
|
116 |
try:
|
117 |
+
# Diccionario de traducciones para los títulos de los gráficos COMPARATIVOS
|
118 |
+
COMPARE_GRAPH_TITLES = {
|
119 |
+
'es': {
|
120 |
+
'doc1_network': 'Relaciones entre conceptos clave del documento 1',
|
121 |
+
'doc1_centrality': 'Centralidad de los conceptos clave del documento 1',
|
122 |
+
'doc2_network': 'Relaciones entre conceptos clave del documento 2',
|
123 |
+
'doc2_centrality': 'Centralidad de los conceptos clave del documento 2'
|
124 |
+
},
|
125 |
+
'en': {
|
126 |
+
'doc1_network': 'Key concept relationships in document 1',
|
127 |
+
'doc1_centrality': 'Key concept centrality in document 1',
|
128 |
+
'doc2_network': 'Key concept relationships in document 2',
|
129 |
+
'doc2_centrality': 'Key concept centrality in document 2'
|
130 |
+
},
|
131 |
+
'fr': {
|
132 |
+
'doc1_network': 'Relations entre concepts clés du document 1',
|
133 |
+
'doc1_centrality': 'Centralité des concepts clés du document 1',
|
134 |
+
'doc2_network': 'Relations entre concepts clés du document 2',
|
135 |
+
'doc2_centrality': 'Centralité des concepts clés du document 2'
|
136 |
+
},
|
137 |
+
'pt': {
|
138 |
+
'doc1_network': 'Relações entre conceitos-chave do documento 1',
|
139 |
+
'doc1_centrality': 'Centralidade dos conceitos-chave do documento 1',
|
140 |
+
'doc2_network': 'Relações entre conceitos-chave do documento 2',
|
141 |
+
'doc2_centrality': 'Centralidade dos conceitos-chave do documento 2'
|
142 |
+
}
|
143 |
+
}
|
144 |
+
|
145 |
+
# Obtener traducciones (inglés por defecto)
|
146 |
+
titles = COMPARE_GRAPH_TITLES.get(lang, COMPARE_GRAPH_TITLES['en'])
|
147 |
+
|
148 |
logger.info(f"Iniciando análisis comparativo para idioma: {lang}")
|
149 |
|
150 |
+
# Resto del código permanece exactamente igual...
|
151 |
stopwords = get_custom_stopwords(lang)
|
152 |
logger.info(f"Obtenidas {len(stopwords)} stopwords para el idioma {lang}")
|
153 |
|
|
|
154 |
doc1 = nlp(text1)
|
155 |
doc2 = nlp(text2)
|
156 |
|
|
|
|
|
157 |
key_concepts1 = identify_key_concepts(doc1, stopwords=stopwords, min_freq=2, min_length=3)
|
|
|
|
|
158 |
key_concepts2 = identify_key_concepts(doc2, stopwords=stopwords, min_freq=2, min_length=3)
|
159 |
|
160 |
if not key_concepts1 or not key_concepts2:
|
161 |
raise ValueError("No se pudieron identificar conceptos clave en uno o ambos textos")
|
162 |
|
|
|
|
|
163 |
G1 = create_concept_graph(doc1, key_concepts1)
|
164 |
G2 = create_concept_graph(doc2, key_concepts2)
|
|
|
|
|
|
|
165 |
|
166 |
+
# Primer grafo con título traducido
|
167 |
plt.figure(figsize=(12, 8))
|
168 |
fig1 = visualize_concept_graph(G1, lang)
|
169 |
+
plt.title(titles['doc1_network'], pad=20)
|
170 |
plt.tight_layout()
|
171 |
|
172 |
+
# Segundo grafo con título traducido
|
173 |
plt.figure(figsize=(12, 8))
|
174 |
fig2 = visualize_concept_graph(G2, lang)
|
175 |
+
plt.title(titles['doc2_network'], pad=20)
|
176 |
plt.tight_layout()
|
177 |
|
|
|
178 |
return fig1, fig2, key_concepts1, key_concepts2
|
179 |
|
180 |
except Exception as e:
|
181 |
logger.error(f"Error en compare_semantic_analysis: {str(e)}")
|
182 |
+
plt.close('all')
|
183 |
raise
|
184 |
finally:
|
185 |
+
plt.close('all')
|
|
|
186 |
|
187 |
############################################
|
188 |
def create_concept_table(key_concepts):
|