Spaces:
Runtime error
Runtime error
Commit
·
251b5a8
1
Parent(s):
497ffd1
adding another four prompts
Browse files- app.py +55 -1
- pattern_adverbe_ment.py +134 -0
- pattern_ce_qui_explique.py +133 -0
- pattern_connecteur_cependant.py +135 -0
app.py
CHANGED
@@ -4,8 +4,12 @@ import logging
|
|
4 |
from langchain.chat_models import ChatOpenAI
|
5 |
|
6 |
# Import the function for detecting the "est une étape" pattern
|
|
|
7 |
from pattern_epoque import epoque, epoque_prompt_template
|
8 |
from pattern_est_une_etape import une_etape, est_une_etape_prompt_template
|
|
|
|
|
|
|
9 |
|
10 |
# Interface Streamlit
|
11 |
st.title("Analyse du texte")
|
@@ -14,7 +18,9 @@ st.title("Analyse du texte")
|
|
14 |
List_prompt = {
|
15 |
"< Détection du pattern 'est une étape' >": est_une_etape_prompt_template(),
|
16 |
"< Détection du pattern 'epoque de, à l'ère de' >": epoque_prompt_template(),
|
17 |
-
|
|
|
|
|
18 |
}
|
19 |
|
20 |
# Menu déroulant pour sélectionner l'analyse
|
@@ -64,6 +70,54 @@ if st.button("Lancer l'analyse"):
|
|
64 |
st.subheader("Prompt final envoyé au modèle")
|
65 |
st.write(result['prompt'])
|
66 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
67 |
except Exception as e:
|
68 |
logging.error(f"Error during analysis: {e}")
|
69 |
st.error(f"Une erreur s'est produite lors de l'analyse : {str(e)}")
|
|
|
4 |
from langchain.chat_models import ChatOpenAI
|
5 |
|
6 |
# Import the function for detecting the "est une étape" pattern
|
7 |
+
from pattern_ce_qui_explique import explication, explication_prompt_template
|
8 |
from pattern_epoque import epoque, epoque_prompt_template
|
9 |
from pattern_est_une_etape import une_etape, est_une_etape_prompt_template
|
10 |
+
from pattern_adverbe_ment import adverbement, adverbement_prompt_template
|
11 |
+
from pattern_connecteur_cependant import cependant, cependant_prompt_template
|
12 |
+
|
13 |
|
14 |
# Interface Streamlit
|
15 |
st.title("Analyse du texte")
|
|
|
18 |
List_prompt = {
|
19 |
"< Détection du pattern 'est une étape' >": est_une_etape_prompt_template(),
|
20 |
"< Détection du pattern 'epoque de, à l'ère de' >": epoque_prompt_template(),
|
21 |
+
"< Détection du pattern 'ce qui explique' >": explication_prompt_template(),
|
22 |
+
"< Détection des adverbes en -ment >": adverbement_prompt_template(),
|
23 |
+
"< Détection des connecteurs 'cependant' >": cependant_prompt_template()
|
24 |
}
|
25 |
|
26 |
# Menu déroulant pour sélectionner l'analyse
|
|
|
70 |
st.subheader("Prompt final envoyé au modèle")
|
71 |
st.write(result['prompt'])
|
72 |
|
73 |
+
except Exception as e:
|
74 |
+
logging.error(f"Error during analysis: {e}")
|
75 |
+
st.error(f"Une erreur s'est produite lors de l'analyse : {str(e)}")
|
76 |
+
elif option == "< Détection du pattern 'ce qui explique' >":
|
77 |
+
try:
|
78 |
+
# Analyser le texte pour les fautes de style
|
79 |
+
result = explication(input_text)
|
80 |
+
|
81 |
+
# Afficher les résultats en JSON formaté
|
82 |
+
st.subheader("Résultats de l'analyse du pattern 'ce qui explique'")
|
83 |
+
st.json(result['result'], expanded=True)
|
84 |
+
|
85 |
+
# Afficher le prompt final
|
86 |
+
st.subheader("Prompt final envoyé au modèle")
|
87 |
+
st.write(result['prompt'])
|
88 |
+
|
89 |
+
except Exception as e:
|
90 |
+
logging.error(f"Error during analysis: {e}")
|
91 |
+
st.error(f"Une erreur s'est produite lors de l'analyse : {str(e)}")
|
92 |
+
elif option == "< Détection des adverbes en -ment >":
|
93 |
+
try:
|
94 |
+
# Analyser le texte pour les fautes de style
|
95 |
+
result = adverbement(input_text)
|
96 |
+
|
97 |
+
# Afficher les résultats en JSON formaté
|
98 |
+
st.subheader("Résultats de l'analyse des adverbes en -ment")
|
99 |
+
st.json(result['result'], expanded=True)
|
100 |
+
|
101 |
+
# Afficher le prompt final
|
102 |
+
st.subheader("Prompt final envoyé au modèle")
|
103 |
+
st.write(result['prompt'])
|
104 |
+
|
105 |
+
except Exception as e:
|
106 |
+
logging.error(f"Error during analysis: {e}")
|
107 |
+
st.error(f"Une erreur s'est produite lors de l'analyse : {str(e)}")
|
108 |
+
elif option == "< Détection des connecteurs 'cependant' >":
|
109 |
+
try:
|
110 |
+
# Analyser le texte pour les fautes de style
|
111 |
+
result = cependant(input_text)
|
112 |
+
|
113 |
+
# Afficher les résultats en JSON formaté
|
114 |
+
st.subheader("Résultats de l'analyse des connecteurs 'cependant'")
|
115 |
+
st.json(result['result'], expanded=True)
|
116 |
+
|
117 |
+
# Afficher le prompt final
|
118 |
+
st.subheader("Prompt final envoyé au modèle")
|
119 |
+
st.write(result['prompt'])
|
120 |
+
|
121 |
except Exception as e:
|
122 |
logging.error(f"Error during analysis: {e}")
|
123 |
st.error(f"Une erreur s'est produite lors de l'analyse : {str(e)}")
|
pattern_adverbe_ment.py
ADDED
@@ -0,0 +1,134 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
import json
|
2 |
+
from langchain.prompts import PromptTemplate
|
3 |
+
from langchain.chains import LLMChain
|
4 |
+
from pydantic import BaseModel, Field
|
5 |
+
from typing import List, Tuple
|
6 |
+
from langchain.chat_models import ChatOpenAI
|
7 |
+
from langchain.output_parsers import PydanticOutputParser
|
8 |
+
|
9 |
+
|
10 |
+
# Modèles Pydantic pour structurer la réponse
|
11 |
+
class AlternativeSuggestion(BaseModel):
|
12 |
+
suggestion_1: str = Field(..., description="Première suggestion de reformulation.")
|
13 |
+
suggestion_2: str = Field(..., description="Deuxième suggestion de reformulation.")
|
14 |
+
justification: str = Field(..., description="Justification de la suggestion.")
|
15 |
+
|
16 |
+
|
17 |
+
class PatternDetail(BaseModel):
|
18 |
+
pattern: str = Field(..., description="Mot ou expression détectée.")
|
19 |
+
indices: List[Tuple[int, int]] = Field(..., description="Indices de début et de fin pour chaque occurrence dans le texte.")
|
20 |
+
sentence: str = Field(..., description="Phrase complète où l'expression apparaît.")
|
21 |
+
alternative_suggestions: AlternativeSuggestion = Field(..., description="Deux suggestions de reformulation avec justification.")
|
22 |
+
|
23 |
+
def to_dict(self):
|
24 |
+
return {
|
25 |
+
"pattern": self.pattern,
|
26 |
+
"indices": self.indices,
|
27 |
+
"sentence": self.sentence,
|
28 |
+
"alternative_suggestions": {
|
29 |
+
"suggestion_1": self.alternative_suggestions.suggestion_1,
|
30 |
+
"suggestion_2": self.alternative_suggestions.suggestion_2,
|
31 |
+
"justification": self.alternative_suggestions.justification
|
32 |
+
}
|
33 |
+
}
|
34 |
+
|
35 |
+
|
36 |
+
class Summary(BaseModel):
|
37 |
+
total_patterns_detected: int = Field(..., description="Nombre total de patterns détectés.")
|
38 |
+
alternative_suggestions_provided: int = Field(..., description="Nombre total de suggestions fournies.")
|
39 |
+
occurrences: int = Field(..., description="Nombre total d'occurrences trouvées dans le texte.")
|
40 |
+
|
41 |
+
def to_dict(self):
|
42 |
+
return {
|
43 |
+
"total_patterns_detected": self.total_patterns_detected,
|
44 |
+
"alternative_suggestions_provided": self.alternative_suggestions_provided,
|
45 |
+
"occurrences": self.occurrences
|
46 |
+
}
|
47 |
+
|
48 |
+
|
49 |
+
class DetectionResult(BaseModel):
|
50 |
+
patterns: List[PatternDetail] = Field(..., description="Liste des patterns détectés avec détails.")
|
51 |
+
summary: Summary = Field(..., description="Résumé de la détection.")
|
52 |
+
|
53 |
+
def to_dict(self):
|
54 |
+
return {
|
55 |
+
"patterns": [pattern.to_dict() for pattern in self.patterns],
|
56 |
+
"summary": self.summary.to_dict()
|
57 |
+
}
|
58 |
+
|
59 |
+
|
60 |
+
def adverbement_prompt_template():
|
61 |
+
return """
|
62 |
+
Veuillez analyser le texte suivant et identifier tous les adverbes se terminant par "-ment".
|
63 |
+
Regroupe ces patterns par phrase afin de les reformuler ensemble dans la seule phrase.
|
64 |
+
|
65 |
+
Pour chaque occurrence trouvée, veuillez :
|
66 |
+
|
67 |
+
- Citer la phrase complète où l'expression apparaît.
|
68 |
+
- Indiquer l'expression exacte utilisée dans le texte.
|
69 |
+
- Proposer deux reformulations de la phrase en supprimant les adverbes redondants ou superflus, ou en les remplaçant par des verbes plus précis pour améliorer le style, tout en conservant le sens original.
|
70 |
+
- Fournir une justification de la suggestion, expliquant en quoi elle améliore la clarté ou le style.
|
71 |
+
|
72 |
+
Assurez-vous de respecter les règles suivantes :
|
73 |
+
1. Les expressions comme "crucial", "essentiel", "important", "fondamental", etc., ne doivent pas être utilisées plus d'une fois dans l'introduction.
|
74 |
+
2. Les expressions comme "Il existe", "il faut", "cependant", "de plus", "en revanche", "néanmoins", "toutefois" ne doivent pas être utilisées en début de phrase.
|
75 |
+
3. Les expressions comme "joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des adjectifs comme "important", "essentiel", etc.
|
76 |
+
4. "En plus" ne doit pas être utilisé seul en début de phrase.
|
77 |
+
|
78 |
+
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
79 |
+
|
80 |
+
- "pattern": "mot ou expression détectée",
|
81 |
+
- "indices": [[index de début, index de fin pour chaque occurrence]],
|
82 |
+
- "sentence": "phrase où l'expression est utilisée",
|
83 |
+
- "alternative_suggestions": ["suggestion 1", "suggestion 2"],
|
84 |
+
- "justification": "justification de la suggestion"
|
85 |
+
|
86 |
+
Si aucun pattern n'est trouvé, retournez un JSON avec :
|
87 |
+
- "pattern0": "",
|
88 |
+
- "occurrences": 0,
|
89 |
+
|
90 |
+
À la fin, ajoutez un résumé avec :
|
91 |
+
- "total_patterns_detected": nombre total de patterns détectés,
|
92 |
+
- "alternative_suggestions_provided": nombre de suggestions données,
|
93 |
+
- "occurrences": nombre d'occurrences.
|
94 |
+
|
95 |
+
Voici le texte à analyser :
|
96 |
+
```{text}```
|
97 |
+
|
98 |
+
\n{format_instruction}
|
99 |
+
"""
|
100 |
+
|
101 |
+
|
102 |
+
def adverbement(text):
|
103 |
+
# Créer le template avec la variable text intégrée directement
|
104 |
+
prompt_template = adverbement_prompt_template()
|
105 |
+
|
106 |
+
output_parser = PydanticOutputParser(pydantic_object=DetectionResult)
|
107 |
+
|
108 |
+
# Créer le prompt avec le texte intégré
|
109 |
+
gen_prompt_template = PromptTemplate(
|
110 |
+
input_variables=["text"],
|
111 |
+
template=prompt_template,
|
112 |
+
partial_variables={'format_instruction': output_parser.get_format_instructions()}
|
113 |
+
)
|
114 |
+
|
115 |
+
# Créer une instance du modèle de langage
|
116 |
+
llm = ChatOpenAI(model='gpt-4o', temperature=0.5, api_key="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")
|
117 |
+
|
118 |
+
# Exécuter la chaîne avec le LLM
|
119 |
+
llm_chain = gen_prompt_template | llm | output_parser
|
120 |
+
|
121 |
+
# Appel du modèle avec le texte fourni
|
122 |
+
result_dict = llm_chain.invoke({"text": text}).to_dict()
|
123 |
+
|
124 |
+
# Parsing de la réponse JSON
|
125 |
+
json_result = json.dumps(result_dict, indent=8, ensure_ascii=False)
|
126 |
+
|
127 |
+
# Générer le prompt final
|
128 |
+
final_prompt = gen_prompt_template.format(text=text)
|
129 |
+
|
130 |
+
# Retourne les suggestions ou les erreurs de parsing
|
131 |
+
return {
|
132 |
+
"result": json_result,
|
133 |
+
"prompt": final_prompt
|
134 |
+
}
|
pattern_ce_qui_explique.py
ADDED
@@ -0,0 +1,133 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
import json
|
2 |
+
from langchain.prompts import PromptTemplate
|
3 |
+
from langchain.chains import LLMChain
|
4 |
+
from pydantic import BaseModel, Field
|
5 |
+
from typing import List, Tuple
|
6 |
+
from langchain.chat_models import ChatOpenAI
|
7 |
+
from langchain.output_parsers import PydanticOutputParser
|
8 |
+
|
9 |
+
|
10 |
+
# Modèles Pydantic pour structurer la réponse
|
11 |
+
class AlternativeSuggestion(BaseModel):
|
12 |
+
suggestion_1: str = Field(..., description="Première suggestion de reformulation.")
|
13 |
+
suggestion_2: str = Field(..., description="Deuxième suggestion de reformulation.")
|
14 |
+
|
15 |
+
|
16 |
+
class PatternDetail(BaseModel):
|
17 |
+
pattern: str = Field(..., description="Mot ou expression détectée.")
|
18 |
+
indices: List[Tuple[int, int]] = Field(..., description="Indices de début et de fin pour chaque occurrence dans le texte.")
|
19 |
+
sentence: str = Field(..., description="Phrase complète où l'expression apparaît.")
|
20 |
+
alternative_suggestions: AlternativeSuggestion = Field(..., description="Deux suggestions de reformulation.")
|
21 |
+
|
22 |
+
def to_dict(self):
|
23 |
+
return {
|
24 |
+
"pattern": self.pattern,
|
25 |
+
"indices": self.indices,
|
26 |
+
"sentence": self.sentence,
|
27 |
+
"alternative_suggestions": {
|
28 |
+
"suggestion_1": self.alternative_suggestions.suggestion_1,
|
29 |
+
"suggestion_2": self.alternative_suggestions.suggestion_2,
|
30 |
+
}
|
31 |
+
}
|
32 |
+
|
33 |
+
|
34 |
+
class Summary(BaseModel):
|
35 |
+
total_patterns_detected: int = Field(..., description="Nombre total de patterns détectés.")
|
36 |
+
alternative_suggestions_provided: int = Field(..., description="Nombre total de suggestions fournies.")
|
37 |
+
occurrences: int = Field(..., description="Nombre total d'occurrences trouvées dans le texte.")
|
38 |
+
|
39 |
+
def to_dict(self):
|
40 |
+
return {
|
41 |
+
"total_patterns_detected": self.total_patterns_detected,
|
42 |
+
"alternative_suggestions_provided": self.alternative_suggestions_provided,
|
43 |
+
"occurrences": self.occurrences
|
44 |
+
}
|
45 |
+
|
46 |
+
|
47 |
+
class DetectionResult(BaseModel):
|
48 |
+
patterns: List[PatternDetail] = Field(..., description="Liste des patterns détectés avec détails.")
|
49 |
+
summary: Summary = Field(..., description="Résumé de la détection.")
|
50 |
+
|
51 |
+
def to_dict(self):
|
52 |
+
return {
|
53 |
+
"patterns": [pattern.to_dict() for pattern in self.patterns],
|
54 |
+
"summary": self.summary.to_dict()
|
55 |
+
}
|
56 |
+
|
57 |
+
|
58 |
+
def explication_prompt_template():
|
59 |
+
return """
|
60 |
+
Analyse le texte suivant et identifie toutes les occurrences de l'expression "Ce qui" et ses variantes, telles que :
|
61 |
+
"Ce qui signifie que", "Ce qui implique que", "Ce qui veut dire que", "Ce qui fait que", "Ce qui entraîne",
|
62 |
+
"Ce qui conduit à", "Ce qui permet de", "Ce qui résulte en", "Ce qui cause", "Ce qui représente".
|
63 |
+
|
64 |
+
Incluez également toute autre expression similaire commençant par "Ce qui" et introduisant une conséquence, une explication ou une clarification.
|
65 |
+
|
66 |
+
Pour chaque occurrence trouvée, veuillez :
|
67 |
+
|
68 |
+
- Citer la phrase complète où l'expression apparaît.
|
69 |
+
- Indiquer l'expression exacte utilisée dans le texte.
|
70 |
+
- Proposer deux reformulations de la phrase pour changer l'expression détectée, en évitant les répétitions, et rendre la phrase plus précise et claire.
|
71 |
+
- Assurez-vous de respecter les règles suivantes :
|
72 |
+
1. Ne pas utiliser plus d'une fois dans l'introduction des expressions comme "crucial", "essentiel", "important", "fondamental", etc.
|
73 |
+
2. Ne pas utiliser "il existe", "il faut", "cependant", "de plus", etc., en début de phrase.
|
74 |
+
3. Les expressions comme "Joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des mots comme "important", "essentiel", etc.
|
75 |
+
4. "En plus" ne doit pas être seul en début de phrase.
|
76 |
+
|
77 |
+
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
78 |
+
|
79 |
+
- "pattern": "mot ou expression détectée",
|
80 |
+
- "indices": [[index de début, index de fin pour chaque occurrence]],
|
81 |
+
- "sentence": "phrase où l'expression est utilisée",
|
82 |
+
- "alternative_suggestions": ["suggestion 1", "suggestion 2"]
|
83 |
+
|
84 |
+
Si aucun pattern n'est trouvé, retournez un JSON avec :
|
85 |
+
|
86 |
+
- "pattern0": "",
|
87 |
+
- "occurrences": 0,
|
88 |
+
|
89 |
+
À la fin, ajoutez un résumé avec :
|
90 |
+
- "total_patterns_detected": nombre total de patterns détectés,
|
91 |
+
- "alternative_suggestions_provided": nombre de suggestions fournies,
|
92 |
+
- "occurrences": nombre d'occurrences.
|
93 |
+
|
94 |
+
Voici le texte à analyser :
|
95 |
+
```{text}```
|
96 |
+
|
97 |
+
\n{format_instruction}
|
98 |
+
"""
|
99 |
+
|
100 |
+
|
101 |
+
def explication(text):
|
102 |
+
# Créer le template avec la variable text intégrée directement
|
103 |
+
prompt_template = explication_prompt_template()
|
104 |
+
|
105 |
+
output_parser = PydanticOutputParser(pydantic_object=DetectionResult)
|
106 |
+
|
107 |
+
# Créer le prompt avec le texte intégré
|
108 |
+
gen_prompt_template = PromptTemplate(
|
109 |
+
input_variables=["text"],
|
110 |
+
template=prompt_template,
|
111 |
+
partial_variables={'format_instruction': output_parser.get_format_instructions()}
|
112 |
+
)
|
113 |
+
|
114 |
+
# Créer une instance du modèle de langage
|
115 |
+
llm = ChatOpenAI(model='gpt-4o', temperature=0.5, api_key="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")
|
116 |
+
|
117 |
+
# Exécuter la chaîne avec le LLM
|
118 |
+
llm_chain = gen_prompt_template | llm | output_parser
|
119 |
+
|
120 |
+
# Appel du modèle avec le texte fourni
|
121 |
+
result_dict = llm_chain.invoke({"text": text}).to_dict()
|
122 |
+
|
123 |
+
# Parsing de la réponse JSON
|
124 |
+
json_result = json.dumps(result_dict, indent=8, ensure_ascii=False)
|
125 |
+
|
126 |
+
# Générer le prompt final
|
127 |
+
final_prompt = gen_prompt_template.format(text=text)
|
128 |
+
|
129 |
+
# Retourne les suggestions ou les erreurs de parsing
|
130 |
+
return {
|
131 |
+
"result": json_result,
|
132 |
+
"prompt": final_prompt
|
133 |
+
}
|
pattern_connecteur_cependant.py
ADDED
@@ -0,0 +1,135 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
import json
|
2 |
+
from langchain.prompts import PromptTemplate
|
3 |
+
from langchain.chains import LLMChain
|
4 |
+
from pydantic import BaseModel, Field
|
5 |
+
from typing import List, Tuple
|
6 |
+
from langchain.chat_models import ChatOpenAI
|
7 |
+
from langchain.output_parsers import PydanticOutputParser
|
8 |
+
|
9 |
+
|
10 |
+
# Modèles Pydantic pour structurer la réponse
|
11 |
+
class AlternativeSuggestion(BaseModel):
|
12 |
+
suggestion_1: str = Field(..., description="Première suggestion de reformulation.")
|
13 |
+
suggestion_2: str = Field(..., description="Deuxième suggestion de reformulation.")
|
14 |
+
justification: str = Field(..., description="Justification de la suggestion.")
|
15 |
+
|
16 |
+
class PatternDetail(BaseModel):
|
17 |
+
pattern: str = Field(..., description="Mot ou expression détectée.")
|
18 |
+
indices: List[Tuple[int, int]] = Field(..., description="Indices de début et de fin pour chaque occurrence dans le texte.")
|
19 |
+
sentence: str = Field(..., description="Phrase complète où l'expression apparaît.")
|
20 |
+
alternative_suggestions: AlternativeSuggestion = Field(..., description="Deux suggestions de reformulation avec justification.")
|
21 |
+
|
22 |
+
def to_dict(self):
|
23 |
+
return {
|
24 |
+
"pattern": self.pattern,
|
25 |
+
"indices": self.indices,
|
26 |
+
"sentence": self.sentence,
|
27 |
+
"alternative_suggestions": {
|
28 |
+
"suggestion_1": self.alternative_suggestions.suggestion_1,
|
29 |
+
"suggestion_2": self.alternative_suggestions.suggestion_2,
|
30 |
+
"justification": self.alternative_suggestions.justification
|
31 |
+
}
|
32 |
+
}
|
33 |
+
|
34 |
+
class Summary(BaseModel):
|
35 |
+
total_patterns_detected: int = Field(..., description="Nombre total de patterns détectés.")
|
36 |
+
alternative_suggestions_provided: int = Field(..., description="Nombre total de suggestions fournies.")
|
37 |
+
occurrences: int = Field(..., description="Nombre total d'occurrences trouvées dans le texte.")
|
38 |
+
|
39 |
+
def to_dict(self):
|
40 |
+
return {
|
41 |
+
"total_patterns_detected": self.total_patterns_detected,
|
42 |
+
"alternative_suggestions_provided": self.alternative_suggestions_provided,
|
43 |
+
"occurrences": self.occurrences
|
44 |
+
}
|
45 |
+
|
46 |
+
class DetectionResult(BaseModel):
|
47 |
+
patterns: List[PatternDetail] = Field(..., description="Liste des patterns détectés avec détails.")
|
48 |
+
summary: Summary = Field(..., description="Résumé de la détection.")
|
49 |
+
|
50 |
+
def to_dict(self):
|
51 |
+
return {
|
52 |
+
"patterns": [pattern.to_dict() for pattern in self.patterns],
|
53 |
+
"summary": self.summary.to_dict()
|
54 |
+
}
|
55 |
+
|
56 |
+
def connecteur_prompt_template():
|
57 |
+
return """
|
58 |
+
Veuillez analyser le texte suivant et identifier toutes les phrases qui commencent par des connecteurs ou des adverbes tels que :
|
59 |
+
|
60 |
+
Opposition/Concession : "Cependant", "Toutefois", "Néanmoins", "Pourtant", "En revanche", "Or", "Mais", "Malgré tout", "En dépit de cela", "Au demeurant", "Bien que", "Quoique"
|
61 |
+
Addition : "De plus", "En outre", "Par ailleurs", "D'ailleurs", "De surcroît", "En addition", "Par-dessus le marché", "En plus de cela"
|
62 |
+
Conséquence : "Ainsi", "Donc", "Alors", "Par conséquent", "En effet", "C'est pourquoi", "Par suite", "En conséquence", "Il en résulte que", "D'où"
|
63 |
+
Chronologie : "Ensuite", "Puis", "D'abord", "Premièrement", "Deuxièmement", "Enfin", "Par la suite"
|
64 |
+
Exemple : "Par exemple", "Notamment", "En particulier", "Comme"
|
65 |
+
Conclusion/Synthèse : "Finalement", "Au final", "En conclusion", "Pour finir", "En résumé", "Somme toute"
|
66 |
+
|
67 |
+
Pour chaque occurrence trouvée, veuillez :
|
68 |
+
|
69 |
+
- Citer la phrase complète où l'expression apparaît.
|
70 |
+
- Indiquer l'expression exacte utilisée dans le texte.
|
71 |
+
- Proposer deux reformulations de la phrase, en déplaçant le connecteur vers le milieu ou la fin de la phrase si approprié, ou en intégrant le connecteur dans une phrase précédente ou suivante pour améliorer la fluidité.
|
72 |
+
- Fournir une justification de la suggestion, expliquant en quoi elle améliore la clarté ou le style.
|
73 |
+
|
74 |
+
Assurez-vous de respecter les règles suivantes :
|
75 |
+
1. Les expressions comme "crucial", "essentiel", "important", "fondamental", etc., ne doivent pas être utilisées plus d'une fois dans l'introduction.
|
76 |
+
2. Les expressions comme "Il existe", "il faut", "cependant", "de plus", "en revanche", "néanmoins", "toutefois" ne doivent pas être utilisées en début de phrase.
|
77 |
+
3. Les expressions comme "joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des adjectifs comme "important", "essentiel", etc.
|
78 |
+
4. "En plus" ne doit pas être utilisé seul en début de phrase.
|
79 |
+
|
80 |
+
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
81 |
+
|
82 |
+
- "pattern": "mot ou expression détectée",
|
83 |
+
- "indices": [[index de début, index de fin pour chaque occurrence]],
|
84 |
+
- "sentence": "phrase où l'expression est utilisée",
|
85 |
+
- "alternative_suggestions": ["suggestion 1", "suggestion 2"],
|
86 |
+
- "justification": "justification de la suggestion"
|
87 |
+
|
88 |
+
Si aucun pattern n'est trouvé, retournez un JSON avec :
|
89 |
+
- "pattern0": "",
|
90 |
+
- "occurrences": 0,
|
91 |
+
|
92 |
+
À la fin, ajoutez un résumé avec :
|
93 |
+
- "total_patterns_detected": nombre total de patterns détectés,
|
94 |
+
- "alternative_suggestions_provided": nombre de suggestions données,
|
95 |
+
- "occurrences": nombre d'occurrences.
|
96 |
+
|
97 |
+
Voici le texte à analyser :
|
98 |
+
```{text}```
|
99 |
+
|
100 |
+
\n{format_instruction}
|
101 |
+
"""
|
102 |
+
|
103 |
+
def connecteur(text):
|
104 |
+
# Créer le template avec la variable text intégrée directement
|
105 |
+
prompt_template = connecteur_prompt_template()
|
106 |
+
|
107 |
+
output_parser = PydanticOutputParser(pydantic_object=DetectionResult)
|
108 |
+
|
109 |
+
# Créer le prompt avec le texte intégré
|
110 |
+
gen_prompt_template = PromptTemplate(
|
111 |
+
input_variables=["text"],
|
112 |
+
template=prompt_template,
|
113 |
+
partial_variables={'format_instruction': output_parser.get_format_instructions()}
|
114 |
+
)
|
115 |
+
|
116 |
+
# Créer une instance du modèle de langage
|
117 |
+
llm = ChatOpenAI(model='gpt-4o', temperature=0.5, api_key="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")
|
118 |
+
|
119 |
+
# Exécuter la chaîne avec le LLM
|
120 |
+
llm_chain = gen_prompt_template | llm | output_parser
|
121 |
+
|
122 |
+
# Appel du modèle avec le texte fourni
|
123 |
+
result_dict = llm_chain.invoke({"text": text}).to_dict()
|
124 |
+
|
125 |
+
# Parsing de la réponse JSON
|
126 |
+
json_result = json.dumps(result_dict, indent=8, ensure_ascii=False)
|
127 |
+
|
128 |
+
# Générer le prompt final
|
129 |
+
final_prompt = gen_prompt_template.format(text=text)
|
130 |
+
|
131 |
+
# Retourne les suggestions ou les erreurs de parsing
|
132 |
+
return {
|
133 |
+
"result": json_result,
|
134 |
+
"prompt": final_prompt
|
135 |
+
}
|