Spaces:
Runtime error
Runtime error
Commit
·
261f862
1
Parent(s):
f41199a
erreurs de style again
Browse files- const.py +178 -56
- faute_style.py +255 -77
const.py
CHANGED
@@ -1,7 +1,131 @@
|
|
1 |
|
2 |
-
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
# class Phrase(BaseModel):
|
6 |
# texte: str = Field(..., description="La phrase complète contenant les erreurs.")
|
7 |
# indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
@@ -36,78 +160,76 @@
|
|
36 |
# "summary": self.summary.dict()
|
37 |
# }
|
38 |
|
39 |
-
|
40 |
-
|
41 |
-
|
42 |
-
|
43 |
-
|
44 |
-
indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
45 |
-
indice_fin: int = Field(..., description="Indice de fin de la phrase dans le texte.")
|
46 |
|
47 |
-
class Erreur(BaseModel):
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
|
52 |
-
class Reformulation(BaseModel):
|
53 |
-
|
54 |
|
55 |
-
class PhraseDetection(BaseModel):
|
56 |
-
|
57 |
-
|
58 |
-
|
59 |
-
|
60 |
|
61 |
-
class Summary(BaseModel):
|
62 |
-
|
63 |
-
|
64 |
-
|
65 |
|
66 |
-
class DetectionResult(BaseModel):
|
67 |
-
|
68 |
-
|
69 |
|
70 |
-
|
71 |
-
|
72 |
-
|
73 |
-
|
74 |
-
|
75 |
|
76 |
|
77 |
-
"""Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de {mission}.
|
78 |
|
79 |
-
Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
80 |
-
- {Exemple d'erreur 1}, mais on dit {Correction 1}
|
81 |
-
- {Exemple d'erreur 2}, mais on dit {Correction 2}
|
82 |
-
- {Exemple d'erreur 3}, mais on dit {Correction 3}
|
83 |
|
84 |
-
Pour chaque occurrence trouvée, veille à :
|
85 |
|
86 |
-
- Citer la phrase complète où l'expression apparaît, avec les **indices de début et de fin** de cette phrase dans le texte.
|
87 |
-
- Indiquer l'expression exacte utilisée dans le texte, avec ses **indices de début et de fin** pour chaque occurrence.
|
88 |
-
- Proposer 5 reformulations. Vous pouvez modifier toute la phrase si nécessaire pour améliorer le style tout en conservant le sens original et en prenant en compte le **contexte global** de la phrase dans le texte.
|
89 |
-
- Fournir **une justification unique** expliquant pourquoi les cinq reformulations proposées améliorent la phrase originale.
|
90 |
|
91 |
-
Les reformulations proposées doivent être fluides, naturelles, et respecter les règles suivantes :
|
92 |
-
|
93 |
-
|
94 |
-
|
95 |
-
|
96 |
-
|
97 |
-
|
98 |
|
99 |
-
Les reformulations doivent également éviter les erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
100 |
|
101 |
-
Assurez-vous que chaque reformulation tient compte du **contexte sémantique** et logique de la phrase et du paragraphe dans lequel elle apparaît. Les reformulations doivent préserver le sens global de la phrase et son intention originale, même si la structure de la phrase change.
|
102 |
|
103 |
-
Voici le texte à analyser :
|
104 |
-
{text}
|
105 |
|
106 |
|
107 |
-
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
108 |
|
109 |
-
\n{format_instruction}
|
110 |
-
"""
|
111 |
|
112 |
# """Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de {mission}.
|
113 |
|
|
|
1 |
|
2 |
+
from typing import List
|
3 |
+
from pydantic import BaseModel, Field
|
4 |
+
from pydantic import BaseModel, ValidationError, conint
|
5 |
+
|
6 |
+
# Version 0.0.2
|
7 |
+
class PhraseDetail(BaseModel):
|
8 |
+
texte: str
|
9 |
+
indice_debut: int
|
10 |
+
indice_fin: int
|
11 |
+
|
12 |
+
class Erreur(BaseModel):
|
13 |
+
expression: str
|
14 |
+
indice_debut: int
|
15 |
+
indice_fin: int
|
16 |
+
|
17 |
+
class Reformulation(BaseModel):
|
18 |
+
texte: str
|
19 |
+
|
20 |
+
class DetectedPhrase(BaseModel):
|
21 |
+
phrase: PhraseDetail
|
22 |
+
erreurs: List[Erreur]
|
23 |
+
reformulations: List[Reformulation]
|
24 |
+
justification: str
|
25 |
+
|
26 |
+
class Summary(BaseModel):
|
27 |
+
total_erreurs: conint(ge=0)
|
28 |
+
total_phrases: conint(ge=0)
|
29 |
+
total_reformulations: conint(ge=0)
|
30 |
+
|
31 |
|
32 |
+
class DetectionResult(BaseModel):
|
33 |
+
phrases_detectees: List[DetectedPhrase] = Field(..., description="Liste des phrases contenant des erreurs avec leurs détails.")
|
34 |
+
summary: Summary = Field(..., description="Résumé des détections.")
|
35 |
+
|
36 |
+
def to_dict(self):
|
37 |
+
return {
|
38 |
+
"phrases_detectees": [phrase_detectee.model_dump() for phrase_detectee in self.phrases_detectees],
|
39 |
+
"summary": self.summary.model_dump()
|
40 |
+
}
|
41 |
+
|
42 |
+
|
43 |
+
def academie_prompt_template():
|
44 |
+
return """
|
45 |
+
Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de {mission}.
|
46 |
+
|
47 |
+
Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
48 |
+
- {Exemple d'erreur 1}, mais on dit {Correction 1}
|
49 |
+
- {Exemple d'erreur 2}, mais on dit {Correction 2}
|
50 |
+
- {Exemple d'erreur 3}, mais on dit {Correction 3}
|
51 |
+
|
52 |
+
Pour chaque occurrence trouvée, veille à :
|
53 |
+
|
54 |
+
- Citer la phrase complète où l'expression apparaît, avec les **indices de début et de fin** de cette phrase dans le texte.
|
55 |
+
- Indiquer l'expression exacte utilisée dans le texte, avec ses **indices de début et de fin** pour chaque occurrence.
|
56 |
+
- Proposer 5 reformulations. Vous pouvez modifier toute la phrase si nécessaire pour améliorer le style tout en conservant le sens original et en prenant en compte le **contexte global** de la phrase dans le texte.
|
57 |
+
- Fournir **une justification unique** expliquant pourquoi les cinq reformulations proposées améliorent la phrase originale.
|
58 |
+
|
59 |
+
Les reformulations proposées doivent être fluides, naturelles, et respecter les règles suivantes :
|
60 |
+
- Évitez les anglicismes et les formulations informelles.
|
61 |
+
- Utilisez des termes et expressions appropriés pour un contexte formel ou professionnel.
|
62 |
+
- Les expressions comme "crucial", "essentiel", "important", "fondamental", etc., ne doivent pas être utilisées dans les phrases.
|
63 |
+
- Les expressions comme "Il existe", "il faut", "cependant", "de plus", "en revanche", "néanmoins", "toutefois" ne doivent pas être utilisées en début de phrase.
|
64 |
+
- Les expressions comme "joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des adjectifs comme "important", "essentiel", etc.
|
65 |
+
- "En plus" ne doit pas être utilisé seul en début de phrase.
|
66 |
+
|
67 |
+
Les reformulations doivent également éviter les erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
68 |
+
|
69 |
+
Assurez-vous que chaque reformulation tient compte du **contexte sémantique** et logique de la phrase et du paragraphe dans lequel elle apparaît. Les reformulations doivent préserver le sens global de la phrase et son intention originale, même si la structure de la phrase change.
|
70 |
+
|
71 |
+
Voici le texte à analyser :
|
72 |
+
{text}
|
73 |
+
|
74 |
+
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
75 |
+
|
76 |
+
```json
|
77 |
+
{
|
78 |
+
"phrases_detectees": [
|
79 |
+
{
|
80 |
+
"phrase": {
|
81 |
+
"texte": "La phrase complète contenant les erreurs.",
|
82 |
+
"indice_debut": indice_debut_de_la_phrase,
|
83 |
+
"indice_fin": indice_fin_de_la_phrase
|
84 |
+
},
|
85 |
+
"erreurs": [
|
86 |
+
{
|
87 |
+
"expression": "L'expression erronée",
|
88 |
+
"indice_debut": indice_debut_de_l_expression,
|
89 |
+
"indice_fin": indice_fin_de_l_expression
|
90 |
+
}
|
91 |
+
// ... Autres erreurs éventuelles
|
92 |
+
],
|
93 |
+
"reformulations": [
|
94 |
+
{
|
95 |
+
"texte": "Première reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
96 |
+
},
|
97 |
+
{
|
98 |
+
"texte": "Deuxième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
99 |
+
},
|
100 |
+
{
|
101 |
+
"texte": "Troisième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
102 |
+
},
|
103 |
+
{
|
104 |
+
"texte": "Quatrième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
105 |
+
},
|
106 |
+
{
|
107 |
+
"texte": "Cinquième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
108 |
+
}
|
109 |
+
],
|
110 |
+
"justification": "Explication de pourquoi les cinq reformulations proposées sont plus correctes ou meilleures en tenant compte des erreurs détectées."
|
111 |
+
}
|
112 |
+
// ... Autres phrases détectées
|
113 |
+
],
|
114 |
+
"summary": {
|
115 |
+
"total_erreurs": nombre_total_d_erreurs_detectées,
|
116 |
+
"total_phrases": nombre_total_de_phrases_contenant_des_erreurs,
|
117 |
+
"total_reformulations": nombre_total_de_reformulations_proposées
|
118 |
+
}
|
119 |
+
}
|
120 |
+
```
|
121 |
+
|
122 |
+
- Assurez-vous que chaque indice correspond aux positions exactes dans le texte original.
|
123 |
+
- Le JSON doit être bien formé et respecter la structure indiquée.
|
124 |
+
- Les clés sont écrites en minuscules et suivent la structure spécifiée.
|
125 |
+
"""
|
126 |
+
|
127 |
+
|
128 |
+
# Version 0.0.1
|
129 |
# class Phrase(BaseModel):
|
130 |
# texte: str = Field(..., description="La phrase complète contenant les erreurs.")
|
131 |
# indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
|
|
160 |
# "summary": self.summary.dict()
|
161 |
# }
|
162 |
|
163 |
+
# def academie_prompt_template():
|
164 |
+
# class Phrase(BaseModel):
|
165 |
+
# texte: str = Field(..., description="La phrase complète contenant les erreurs.")
|
166 |
+
# indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
167 |
+
# indice_fin: int = Field(..., description="Indice de fin de la phrase dans le texte.")
|
|
|
|
|
168 |
|
169 |
+
# class Erreur(BaseModel):
|
170 |
+
# expression: str = Field(..., description="L'expression erronée.")
|
171 |
+
# indice_debut: int = Field(..., description="Indice de début de l'expression dans le texte.")
|
172 |
+
# indice_fin: int = Field(..., description="Indice de fin de l'expression dans le texte.")
|
173 |
|
174 |
+
# class Reformulation(BaseModel):
|
175 |
+
# texte: str = Field(..., description="Reformulation proposée.")
|
176 |
|
177 |
+
# class PhraseDetection(BaseModel):
|
178 |
+
# phrase: Phrase = Field(..., description="Informations sur la phrase contenant les erreurs.")
|
179 |
+
# erreurs: List[Erreur] = Field(..., description="Liste des erreurs détectées dans la phrase.")
|
180 |
+
# reformulations: List[Reformulation] = Field(..., description="Liste des cinq reformulations proposées.")
|
181 |
+
# justification_unique: str = Field(..., description="Justification unique expliquant pourquoi ces reformulations améliorent la phrase.")
|
182 |
|
183 |
+
# class Summary(BaseModel):
|
184 |
+
# total_erreurs: int = Field(..., description="Nombre total d'erreurs détectées.")
|
185 |
+
# total_phrases: int = Field(..., description="Nombre total de phrases contenant des erreurs.")
|
186 |
+
# total_reformulations: int = Field(..., description="Nombre total de reformulations proposées.")
|
187 |
|
188 |
+
# class DetectionResult(BaseModel):
|
189 |
+
# phrases_detectees: List[PhraseDetection] = Field(..., description="Liste des phrases contenant des erreurs avec leurs détails.")
|
190 |
+
# summary: Summary = Field(..., description="Résumé des détections.")
|
191 |
|
192 |
+
# def to_dict(self):
|
193 |
+
# return {
|
194 |
+
# "phrases_detectees": [phrase_detection.dict() for phrase_detection in self.phrases_detectees],
|
195 |
+
# "summary": self.summary.model_dump()
|
196 |
+
# }
|
197 |
|
198 |
|
199 |
+
# """Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de {mission}.
|
200 |
|
201 |
+
# Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
202 |
+
# - {Exemple d'erreur 1}, mais on dit {Correction 1}
|
203 |
+
# - {Exemple d'erreur 2}, mais on dit {Correction 2}
|
204 |
+
# - {Exemple d'erreur 3}, mais on dit {Correction 3}
|
205 |
|
206 |
+
# Pour chaque occurrence trouvée, veille à :
|
207 |
|
208 |
+
# - Citer la phrase complète où l'expression apparaît, avec les **indices de début et de fin** de cette phrase dans le texte.
|
209 |
+
# - Indiquer l'expression exacte utilisée dans le texte, avec ses **indices de début et de fin** pour chaque occurrence.
|
210 |
+
# - Proposer 5 reformulations. Vous pouvez modifier toute la phrase si nécessaire pour améliorer le style tout en conservant le sens original et en prenant en compte le **contexte global** de la phrase dans le texte.
|
211 |
+
# - Fournir **une justification unique** expliquant pourquoi les cinq reformulations proposées améliorent la phrase originale.
|
212 |
|
213 |
+
# Les reformulations proposées doivent être fluides, naturelles, et respecter les règles suivantes :
|
214 |
+
# - Évitez les anglicismes et les formulations informelles.
|
215 |
+
# - Utilisez des termes et expressions appropriés pour un contexte formel ou professionnel.
|
216 |
+
# - Les expressions comme "crucial", "essentiel", "important", "fondamental", etc., ne doivent pas être utilisées dans les phrases.
|
217 |
+
# - Les expressions comme "Il existe", "il faut", "cependant", "de plus", "en revanche", "néanmoins", "toutefois" ne doivent pas être utilisées en début de phrase.
|
218 |
+
# - Les expressions comme "joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des adjectifs comme "important", "essentiel", etc.
|
219 |
+
# - "En plus" ne doit pas être utilisé seul en début de phrase.
|
220 |
|
221 |
+
# Les reformulations doivent également éviter les erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
222 |
|
223 |
+
# Assurez-vous que chaque reformulation tient compte du **contexte sémantique** et logique de la phrase et du paragraphe dans lequel elle apparaît. Les reformulations doivent préserver le sens global de la phrase et son intention originale, même si la structure de la phrase change.
|
224 |
|
225 |
+
# Voici le texte à analyser :
|
226 |
+
# {text}
|
227 |
|
228 |
|
229 |
+
# Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
230 |
|
231 |
+
# \n{format_instruction}
|
232 |
+
# """
|
233 |
|
234 |
# """Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de {mission}.
|
235 |
|
faute_style.py
CHANGED
@@ -1,53 +1,57 @@
|
|
1 |
import json
|
2 |
from langchain.prompts import PromptTemplate
|
3 |
from langchain.chains import LLMChain
|
4 |
-
from pydantic import BaseModel, Field
|
5 |
from typing import List, Tuple
|
6 |
from langchain.chat_models import ChatOpenAI
|
7 |
from langchain.output_parsers import PydanticOutputParser
|
8 |
|
|
|
9 |
|
10 |
-
|
11 |
-
|
12 |
-
|
13 |
-
|
14 |
-
texte: str = Field(..., description="La phrase complète contenant les erreurs.")
|
15 |
-
indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
16 |
-
indice_fin: int = Field(..., description="Indice de fin de la phrase dans le texte.")
|
17 |
|
18 |
class Erreur(BaseModel):
|
19 |
-
expression: str
|
20 |
-
indice_debut: int
|
21 |
-
indice_fin: int
|
22 |
|
23 |
class Reformulation(BaseModel):
|
24 |
-
texte: str
|
25 |
-
justification: str = Field(..., description="Explication de pourquoi cette reformulation est meilleure en tenant compte des erreurs détectées.")
|
26 |
|
27 |
-
class
|
28 |
-
phrase:
|
29 |
-
erreurs: List[Erreur]
|
30 |
-
reformulations: List[Reformulation]
|
|
|
31 |
|
32 |
class Summary(BaseModel):
|
33 |
-
total_erreurs: int
|
34 |
-
total_phrases: int
|
35 |
-
total_reformulations: int
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
36 |
|
37 |
class DetectionResult(BaseModel):
|
38 |
-
phrases_detectees: List[
|
39 |
summary: Summary = Field(..., description="Résumé des détections.")
|
40 |
|
41 |
def to_dict(self):
|
42 |
return {
|
43 |
-
"phrases_detectees": [
|
44 |
"summary": self.summary.model_dump()
|
45 |
}
|
46 |
|
47 |
|
48 |
def academie_prompt_template():
|
49 |
-
return """
|
50 |
-
Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de repérer des erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
51 |
|
52 |
Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
53 |
- On ne dit pas "Faire recours", mais on dit "Avoir recours" ou "Recourir"
|
@@ -81,6 +85,51 @@ def academie_prompt_template():
|
|
81 |
```{text}```
|
82 |
|
83 |
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
84 |
\n{format_instruction}
|
85 |
"""
|
86 |
|
@@ -118,6 +167,135 @@ def detect_errors(text):
|
|
118 |
"prompt": final_prompt
|
119 |
}
|
120 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
121 |
# # Modèles Pydantic pour structurer la réponse
|
122 |
# class AlternativeSuggestion(BaseModel):
|
123 |
# suggestion_1: str = Field(..., description="Première suggestion de reformulation.")
|
@@ -322,59 +500,59 @@ def detect_errors(text):
|
|
322 |
|
323 |
# Le format de sortie doit être un JSON structuré avec les éléments suivants :
|
324 |
|
325 |
-
#
|
326 |
-
#
|
327 |
-
#
|
328 |
-
#
|
329 |
-
#
|
330 |
-
#
|
331 |
-
#
|
332 |
-
#
|
333 |
-
#
|
334 |
-
#
|
335 |
-
#
|
336 |
-
#
|
337 |
-
#
|
338 |
-
#
|
339 |
-
#
|
340 |
-
#
|
341 |
-
#
|
342 |
-
#
|
343 |
-
#
|
344 |
-
#
|
345 |
-
#
|
346 |
-
#
|
347 |
-
#
|
348 |
-
#
|
349 |
-
#
|
350 |
-
#
|
351 |
-
#
|
352 |
-
#
|
353 |
-
#
|
354 |
-
#
|
355 |
-
#
|
356 |
-
#
|
357 |
-
#
|
358 |
-
#
|
359 |
-
#
|
360 |
-
#
|
361 |
-
#
|
362 |
-
#
|
363 |
-
#
|
364 |
-
#
|
365 |
-
#
|
366 |
-
#
|
367 |
-
#
|
368 |
-
#
|
369 |
-
#
|
370 |
-
#
|
371 |
-
#
|
372 |
-
#
|
373 |
-
#
|
374 |
|
375 |
-
#
|
376 |
|
377 |
-
#
|
378 |
-
#
|
379 |
-
#
|
380 |
# """
|
|
|
1 |
import json
|
2 |
from langchain.prompts import PromptTemplate
|
3 |
from langchain.chains import LLMChain
|
4 |
+
from pydantic import BaseModel, Field, field_validator
|
5 |
from typing import List, Tuple
|
6 |
from langchain.chat_models import ChatOpenAI
|
7 |
from langchain.output_parsers import PydanticOutputParser
|
8 |
|
9 |
+
# Last version Yet
|
10 |
|
11 |
+
class PhraseDetail(BaseModel):
|
12 |
+
texte: str
|
13 |
+
indice_debut: int
|
14 |
+
indice_fin: int
|
|
|
|
|
|
|
15 |
|
16 |
class Erreur(BaseModel):
|
17 |
+
expression: str
|
18 |
+
indice_debut: int
|
19 |
+
indice_fin: int
|
20 |
|
21 |
class Reformulation(BaseModel):
|
22 |
+
texte: str
|
|
|
23 |
|
24 |
+
class DetectedPhrase(BaseModel):
|
25 |
+
phrase: PhraseDetail
|
26 |
+
erreurs: List[Erreur]
|
27 |
+
reformulations: List[Reformulation]
|
28 |
+
justification: str
|
29 |
|
30 |
class Summary(BaseModel):
|
31 |
+
total_erreurs: int
|
32 |
+
total_phrases: int
|
33 |
+
total_reformulations: int
|
34 |
+
|
35 |
+
@field_validator('total_erreurs', 'total_phrases', 'total_reformulations')
|
36 |
+
def non_negative(cls, v, field):
|
37 |
+
if v < 0:
|
38 |
+
raise ValueError(f"{field.name} doit être non négatif")
|
39 |
+
return v
|
40 |
+
|
41 |
|
42 |
class DetectionResult(BaseModel):
|
43 |
+
phrases_detectees: List[DetectedPhrase] = Field(..., description="Liste des phrases contenant des erreurs avec leurs détails.")
|
44 |
summary: Summary = Field(..., description="Résumé des détections.")
|
45 |
|
46 |
def to_dict(self):
|
47 |
return {
|
48 |
+
"phrases_detectees": [phrase_detectee.model_dump() for phrase_detectee in self.phrases_detectees],
|
49 |
"summary": self.summary.model_dump()
|
50 |
}
|
51 |
|
52 |
|
53 |
def academie_prompt_template():
|
54 |
+
return """Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de repérer des erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
|
|
55 |
|
56 |
Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
57 |
- On ne dit pas "Faire recours", mais on dit "Avoir recours" ou "Recourir"
|
|
|
85 |
```{text}```
|
86 |
|
87 |
Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
88 |
+
```json
|
89 |
+
{
|
90 |
+
"phrases_detectees": [
|
91 |
+
{
|
92 |
+
"phrase": {
|
93 |
+
"texte": "La phrase complète contenant les erreurs.",
|
94 |
+
"indice_debut": indice_debut_de_la_phrase,
|
95 |
+
"indice_fin": indice_fin_de_la_phrase
|
96 |
+
},
|
97 |
+
"erreurs": [
|
98 |
+
{
|
99 |
+
"expression": "L'expression erronée",
|
100 |
+
"indice_debut": indice_debut_de_l_expression,
|
101 |
+
"indice_fin": indice_fin_de_l_expression
|
102 |
+
}
|
103 |
+
// ... Autres erreurs éventuelles
|
104 |
+
],
|
105 |
+
"reformulations": [
|
106 |
+
{
|
107 |
+
"texte": "Première reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
108 |
+
},
|
109 |
+
{
|
110 |
+
"texte": "Deuxième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
111 |
+
},
|
112 |
+
{
|
113 |
+
"texte": "Troisième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
114 |
+
},
|
115 |
+
{
|
116 |
+
"texte": "Quatrième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
117 |
+
},
|
118 |
+
{
|
119 |
+
"texte": "Cinquième reformulation de la phrase en tenant compte de toutes les erreurs détectées."
|
120 |
+
}
|
121 |
+
],
|
122 |
+
"justification": "Explication de pourquoi les cinq reformulations proposées sont plus correctes ou meilleures en tenant compte des erreurs détectées."
|
123 |
+
}
|
124 |
+
// ... Autres phrases détectées
|
125 |
+
],
|
126 |
+
"summary": {
|
127 |
+
"total_erreurs": nombre_total_d_erreurs_detectées,
|
128 |
+
"total_phrases": nombre_total_de_phrases_contenant_des_erreurs,
|
129 |
+
"total_reformulations": nombre_total_de_reformulations_proposées
|
130 |
+
}
|
131 |
+
}
|
132 |
+
```
|
133 |
\n{format_instruction}
|
134 |
"""
|
135 |
|
|
|
167 |
"prompt": final_prompt
|
168 |
}
|
169 |
|
170 |
+
|
171 |
+
# Version 0.0.1
|
172 |
+
# class Phrase(BaseModel):
|
173 |
+
# texte: str = Field(..., description="La phrase complète contenant les erreurs.")
|
174 |
+
# indice_debut: int = Field(..., description="Indice de début de la phrase dans le texte.")
|
175 |
+
# indice_fin: int = Field(..., description="Indice de fin de la phrase dans le texte.")
|
176 |
+
|
177 |
+
# class Erreur(BaseModel):
|
178 |
+
# expression: str = Field(..., description="L'expression erronée.")
|
179 |
+
# indice_debut: int = Field(..., description="Indice de début de l'expression dans le texte.")
|
180 |
+
# indice_fin: int = Field(..., description="Indice de fin de l'expression dans le texte.")
|
181 |
+
|
182 |
+
# class Reformulation(BaseModel):
|
183 |
+
# texte: str = Field(..., description="Reformulation prenant en compte toutes les erreurs.")
|
184 |
+
# justification: str = Field(..., description="Explication de pourquoi cette reformulation est meilleure en tenant compte des erreurs détectées.")
|
185 |
+
|
186 |
+
# class PhraseDetection(BaseModel):
|
187 |
+
# phrase: Phrase = Field(..., description="Informations sur la phrase contenant les erreurs.")
|
188 |
+
# erreurs: List[Erreur] = Field(..., description="Liste des erreurs détectées dans la phrase.")
|
189 |
+
# reformulations: List[Reformulation] = Field(..., description="Liste des cinq reformulations proposées.")
|
190 |
+
|
191 |
+
# class Summary(BaseModel):
|
192 |
+
# total_erreurs: int = Field(..., description="Nombre total d'erreurs détectées.")
|
193 |
+
# total_phrases: int = Field(..., description="Nombre total de phrases contenant des erreurs.")
|
194 |
+
# total_reformulations: int = Field(..., description="Nombre total de reformulations proposées.")
|
195 |
+
|
196 |
+
# class DetectionResult(BaseModel):
|
197 |
+
# phrases_detectees: List[PhraseDetection] = Field(..., description="Liste des phrases contenant des erreurs avec leurs détails.")
|
198 |
+
# summary: Summary = Field(..., description="Résumé des détections.")
|
199 |
+
|
200 |
+
# def to_dict(self):
|
201 |
+
# return {
|
202 |
+
# "phrases_detectees": [phrase_detection.model_dump() for phrase_detection in self.phrases_detectees],
|
203 |
+
# "summary": self.summary.model_dump()
|
204 |
+
# }
|
205 |
+
|
206 |
+
|
207 |
+
# def academie_prompt_template():
|
208 |
+
# return """
|
209 |
+
# Tu es un rédacteur web expérimenté et pointilleux qui fait attention aux moindres détails. Je vais te donner un texte, et ta mission est de repérer des erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
210 |
+
|
211 |
+
# Voici quelques exemples d'erreurs que tu dois détecter et corriger :
|
212 |
+
# - On ne dit pas "Faire recours", mais on dit "Avoir recours" ou "Recourir"
|
213 |
+
# - On ne dit pas "Souscrire à un contrat", mais on dit "Souscrire un contrat"
|
214 |
+
# - On ne dit pas "Dans ce sens" (pour parler d'un raisonnement), mais on dit "En ce sens"
|
215 |
+
# - On ne dit pas "En termes de" pour parler de "En matière de"
|
216 |
+
# - On ne dit pas "Palier à", mais on dit "Palier" tout court
|
217 |
+
# - On ne dit pas "code de la route", mais "Code de la route"
|
218 |
+
|
219 |
+
# Pour chaque occurrence trouvée, veille à :
|
220 |
+
|
221 |
+
# - Citer la phrase complète où l'expression apparaît, avec les **indices de début et de fin** de cette phrase dans le texte.
|
222 |
+
# - Indiquer l'expression exacte utilisée dans le texte, avec ses **indices de début et de fin** pour chaque occurrence.
|
223 |
+
# - Proposer 5 reformulations. Vous pouvez modifier toute la phrase si nécessaire pour améliorer le style tout en conservant le sens original et en prenant en compte le **contexte global** de la phrase dans le texte.
|
224 |
+
# - Fournir **une justification unique** expliquant pourquoi les cinq reformulations proposées améliorent la phrase originale.
|
225 |
+
|
226 |
+
# Les reformulations proposées doivent être fluides, naturelles, et respecter les règles suivantes :
|
227 |
+
# - Évitez les anglicismes et les formulations informelles.
|
228 |
+
# - Utilisez des termes et expressions appropriés pour un contexte formel ou professionnel.
|
229 |
+
# - Les expressions comme "crucial", "essentiel", "important", "fondamental", etc., ne doivent pas être utilisées dans les phrases.
|
230 |
+
# - Les expressions comme "Il existe", "il faut", "cependant", "de plus", "en revanche", "néanmoins", "toutefois" ne doivent pas être utilisées en début de phrase.
|
231 |
+
# - Les expressions comme "joue un rôle", "il est", ou "est une étape" ne doivent pas être associées à des adjectifs comme "important", "essentiel", etc.
|
232 |
+
# - "En plus" ne doit pas être utilisé seul en début de phrase.
|
233 |
+
|
234 |
+
# Les reformulations doivent également éviter les erreurs de langue courantes, notamment celles répertoriées par l'Académie Française (site : https://www.academie-francaise.fr/dire-ne-pas-dire/).
|
235 |
+
|
236 |
+
# Assurez-vous que chaque reformulation tient compte du **contexte sémantique** et logique de la phrase et du paragraphe dans lequel elle apparaît. Les reformulations doivent préserver le sens global de la phrase et son intention originale, même si la structure de la phrase change.
|
237 |
+
|
238 |
+
# Voici le texte à analyser :
|
239 |
+
|
240 |
+
# ```{text}```
|
241 |
+
|
242 |
+
# Le format de sortie doit être un JSON structuré avec les éléments suivants pour chaque pattern détecté :
|
243 |
+
|
244 |
+
# - "phrase_avec_erreur": {
|
245 |
+
# "contenu": "<contenu_de_la_phrase>",
|
246 |
+
# "indices_phrase": "<indices_debut_fin_phrase>"
|
247 |
+
# },
|
248 |
+
# - "erreurs": [
|
249 |
+
# {
|
250 |
+
# "expression_erreur": "<expression_erronee>",
|
251 |
+
# "indices_expression": "<indices_debut_fin_expression>",
|
252 |
+
# "reformulations": [
|
253 |
+
# "<reformulation_1>",
|
254 |
+
# "<reformulation_2>",
|
255 |
+
# "<reformulation_3>",
|
256 |
+
# "<reformulation_4>",
|
257 |
+
# "<reformulation_5>"
|
258 |
+
# ],
|
259 |
+
# "justification": "<justification_pour_les_reformulations>"
|
260 |
+
# }
|
261 |
+
# ]
|
262 |
+
# \n{format_instruction}
|
263 |
+
# """
|
264 |
+
|
265 |
+
# def detect_errors(text):
|
266 |
+
# # Créer le template avec la variable text intégrée directement
|
267 |
+
# prompt_template = academie_prompt_template()
|
268 |
+
|
269 |
+
# output_parser = PydanticOutputParser(pydantic_object=DetectionResult)
|
270 |
+
|
271 |
+
# # Créer le prompt avec le texte intégré
|
272 |
+
# gen_prompt_template = PromptTemplate(
|
273 |
+
# input_variables=["text"],
|
274 |
+
# template=prompt_template,
|
275 |
+
# partial_variables={'format_instruction': output_parser.get_format_instructions()}
|
276 |
+
# )
|
277 |
+
|
278 |
+
# # Créer une instance du modèle de langage
|
279 |
+
# llm = ChatOpenAI(model='gpt-4', temperature=0.5, api_key="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")
|
280 |
+
|
281 |
+
# # Exécuter la chaîne avec le LLM
|
282 |
+
# llm_chain = gen_prompt_template | llm | output_parser
|
283 |
+
|
284 |
+
# # Appel du modèle avec le texte fourni
|
285 |
+
# result_dict = llm_chain.invoke({"text": text}).to_dict()
|
286 |
+
|
287 |
+
# # Parsing de la réponse JSON
|
288 |
+
# json_result = json.dumps(result_dict, indent=8, ensure_ascii=False)
|
289 |
+
|
290 |
+
# # Générer le prompt final
|
291 |
+
# final_prompt = gen_prompt_template.format(text=text)
|
292 |
+
|
293 |
+
# # Retourne les suggestions ou les erreurs de parsing
|
294 |
+
# return {
|
295 |
+
# "result": json_result,
|
296 |
+
# "prompt": final_prompt
|
297 |
+
# }
|
298 |
+
|
299 |
# # Modèles Pydantic pour structurer la réponse
|
300 |
# class AlternativeSuggestion(BaseModel):
|
301 |
# suggestion_1: str = Field(..., description="Première suggestion de reformulation.")
|
|
|
500 |
|
501 |
# Le format de sortie doit être un JSON structuré avec les éléments suivants :
|
502 |
|
503 |
+
# ```json
|
504 |
+
# {
|
505 |
+
# "phrases_detectees": [
|
506 |
+
# {
|
507 |
+
# "phrase": {
|
508 |
+
# "texte": "La phrase complète contenant les erreurs.",
|
509 |
+
# "indice_debut": indice_debut_de_la_phrase,
|
510 |
+
# "indice_fin": indice_fin_de_la_phrase
|
511 |
+
# },
|
512 |
+
# "erreurs": [
|
513 |
+
# {
|
514 |
+
# "expression": "L'expression erronée",
|
515 |
+
# "indice_debut": indice_debut_de_l_expression,
|
516 |
+
# "indice_fin": indice_fin_de_l_expression
|
517 |
+
# }
|
518 |
+
# // ... Autres erreurs éventuelles
|
519 |
+
# ],
|
520 |
+
# "reformulations": [
|
521 |
+
# {
|
522 |
+
# "texte": "Première reformulation de la phrase en tenant compte de toutes les erreurs détectées.",
|
523 |
+
# "justification": "Explication de pourquoi cette reformulation est plus correcte ou meilleure en tenant compte des erreurs détectées."
|
524 |
+
# },
|
525 |
+
# {
|
526 |
+
# "texte": "Deuxième reformulation de la phrase en tenant compte de toutes les erreurs détectées.",
|
527 |
+
# "justification": "Explication de pourquoi cette reformulation est plus correcte ou meilleure en tenant compte des erreurs détectées."
|
528 |
+
# },
|
529 |
+
# {
|
530 |
+
# "texte": "Troisième reformulation de la phrase en tenant compte de toutes les erreurs détectées.",
|
531 |
+
# "justification": "Explication de pourquoi cette reformulation est plus correcte ou meilleure en tenant compte des erreurs détectées."
|
532 |
+
# },
|
533 |
+
# {
|
534 |
+
# "texte": "Quatrième reformulation de la phrase en tenant compte de toutes les erreurs détectées.",
|
535 |
+
# "justification": "Explication de pourquoi cette reformulation est plus correcte ou meilleure en tenant compte des erreurs détectées."
|
536 |
+
# },
|
537 |
+
# {
|
538 |
+
# "texte": "Cinquième reformulation de la phrase en tenant compte de toutes les erreurs détectées.",
|
539 |
+
# "justification": "Explication de pourquoi cette reformulation est plus correcte ou meilleure en tenant compte des erreurs détectées."
|
540 |
+
# }
|
541 |
+
# ]
|
542 |
+
# }
|
543 |
+
# // ... Autres phrases détectées
|
544 |
+
# ],
|
545 |
+
# "summary": {
|
546 |
+
# "total_erreurs": nombre_total_d_erreurs_detectées,
|
547 |
+
# "total_phrases": nombre_total_de_phrases_contenant_des_erreurs,
|
548 |
+
# "total_reformulations": nombre_total_de_reformulations_proposées
|
549 |
+
# }
|
550 |
+
# }
|
551 |
+
# ```
|
552 |
|
553 |
+
# Assurez-vous que :
|
554 |
|
555 |
+
# - Chaque indice correspond aux positions exactes dans le texte original.
|
556 |
+
# - Le JSON est bien formé et respecte la structure indiquée.
|
557 |
+
# - Les clés sont écrites en minuscules et suivent la structure spécifiée.
|
558 |
# """
|