diff --git a/app/analyse.py b/app/analyse.py index 9c44abd..0bc50cc 100644 --- a/app/analyse.py +++ b/app/analyse.py @@ -161,11 +161,27 @@ def _categories(db_path: Optional[str] = None) -> List[str]: return [c for c in cats if c and c != ia.A_CLASSER] +class ReponseIllisible(Exception): + """Le modele a repondu sans fiche JSON exploitable : rien n'est enregistre, le mail sera reessaye.""" + + +def _fiche_presente(reponse: str) -> bool: + m = re.search(r"\{.*\}", reponse or "", re.S) + try: + d = json.loads(m.group(0)) if m else None + except ValueError: + return False + return isinstance(d, dict) and bool(d.get("categorie")) + + def analyser(objet: str, expediteur: str, corps: str, db_path: Optional[str] = None, contexte: str = "") -> Dict[str, Any]: + """Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli), ReponseIllisible si la + reponse ne contient pas de fiche : une fiche vide ne doit jamais etre enregistree comme une vraie analyse.""" exemples = exemples_nabil(db_path) - """Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli).""" cats = _categories(db_path) - rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200) + rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200, delai=75) + if not _fiche_presente(rep): + raise ReponseIllisible() return lire_fiche(rep, cats) @@ -300,24 +316,48 @@ def analyser_mail(mirror_client, message_id: str, db_path: Optional[str] = None, return lire(message_id, db_path) -def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None) -> Dict[str, int]: +_ECHECS: Dict[str, Any] = {} + + +def _mis_de_cote(message_id: str, maintenant: float) -> bool: + n, t = _ECHECS.get(message_id, (0, 0.0)) + if not n: + return False + if maintenant - t > 86400: + _ECHECS.pop(message_id, None) + return False + return n >= 3 or maintenant - t < 1800 + + +def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None, + budget_s: Optional[float] = None) -> Dict[str, int]: """Analyse les mails du jour qui n'ont pas encore de fiche. Comptes seulement, aucun contenu.""" res = {"analyses": 0, "deja": 0, "erreurs": 0, "restant": 0} mails = mirror_client.get_mails_for_day(jour, max_items=60) faits = {a["message_id"] for a in lister(jour=jour, n=300, db_path=db_path)} a_faire = [m for m in mails if m.get("message_id") and m["message_id"] not in faits] res["deja"] = len(mails) - len(a_faire) - for m in a_faire[:maximum]: + maintenant = time.time() + # Un mail en echec est mis de cote 30 minutes, puis abandonne pour la journee apres 3 essais : + # il ne bloque plus l'analyse des suivants (avant, il restait en tete de file a chaque tour). + eligibles = [m for m in a_faire if not _mis_de_cote(m["message_id"], maintenant)] + res["mis_de_cote"] = len(a_faire) - len(eligibles) + for m in eligibles[:maximum]: + if budget_s is not None and time.time() - maintenant > budget_s: + break # reste sous la limite de 100 s de Cloudflare ; l'interface relance le lot suivant try: analyser_mail(mirror_client, m["message_id"], db_path, {"objet": m.get("objet"), "expediteur": m.get("expediteur"), "date": m.get("date")}) res["analyses"] += 1 + _ECHECS.pop(m["message_id"], None) except ia.IAIndisponible: res["erreurs"] += 1 break except Exception: res["erreurs"] += 1 - res["restant"] = max(0, len(a_faire) - res["analyses"] - res["erreurs"]) + n, _ = _ECHECS.get(m["message_id"], (0, 0.0)) + _ECHECS[m["message_id"]] = (n + 1, maintenant) + res["restant"] = max(0, len(eligibles) - res["analyses"] - res["erreurs"]) return res @@ -540,6 +580,8 @@ def creer_routeur(mirror_client) -> APIRouter: raise HTTPException(status_code=404, detail="Mail introuvable.") except ia.IAIndisponible as e: raise HTTPException(status_code=503, detail="IA indisponible, aucune analyse : " + str(e) + ".") + except ReponseIllisible: + raise HTTPException(status_code=502, detail="Réponse de l'IA illisible, rien n'est enregistré. Réessayez.") except HTTPException: raise except Exception: @@ -553,7 +595,7 @@ def creer_routeur(mirror_client) -> APIRouter: if not _verrou.acquire(blocking=False): raise HTTPException(status_code=429, detail="Un lot est déjà en cours.") try: - return traiter_lot(mirror_client, jour, maximum) + return traiter_lot(mirror_client, jour, maximum, budget_s=55) except ia.IAIndisponible as e: raise HTTPException(status_code=503, detail="IA indisponible : " + str(e) + ".") except Exception: @@ -565,9 +607,18 @@ def creer_routeur(mirror_client) -> APIRouter: def lister_analyses(date: Optional[str] = None, jours: int = Query(7, ge=1, le=60), n: int = Query(100, ge=1, le=300)): if date: - return {"analyses": lister(jour=date, n=n)} - debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat() - return {"analyses": lister(depuis=debut, n=n)} + res = lister(jour=date, n=n) + else: + debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat() + res = lister(depuis=debut, n=n) + conn = _db.get_connection() + try: + traites = {r[0] for r in conn.execute("SELECT message_id FROM classements WHERE traite = 1")} + finally: + conn.close() + for a in res: + a["traite"] = a["message_id"] in traites + return {"analyses": res} @router.get("/fil") def lire_fil(id: str = Query(..., min_length=1, max_length=400)): diff --git a/app/auth.py b/app/auth.py index 70a84d2..5df972a 100644 --- a/app/auth.py +++ b/app/auth.py @@ -9,6 +9,17 @@ from app.config import ENV, CF_ACCESS_CERTS_URL, CF_ACCESS_AUD, CF_TEST_SECRET cf_access_header = APIKeyHeader(name="Cf-Access-Jwt-Assertion", auto_error=False) +_JWKS = None + + +def _client_jwks(): + """Un seul client de clés Cloudflare pour tout le service : il garde les clés en cache (une heure) au lieu + de les retélécharger à chaque requête ; une clé inconnue (rotation) déclenche un nouveau téléchargement.""" + global _JWKS + if _JWKS is None: + _JWKS = jwt.PyJWKClient(CF_ACCESS_CERTS_URL, cache_keys=True, lifespan=3600) + return _JWKS + def verify_cf_access_jwt(request: Request) -> Dict[str, Any]: """ Vérifie la présence et la validité de la signature du jeton Cloudflare Access. @@ -64,7 +75,7 @@ def verify_cf_access_jwt(request: Request) -> Dict[str, Any]: # 4. Mode production avec vérification de signature JWKS Cloudflare Access if CF_ACCESS_CERTS_URL and CF_ACCESS_AUD: try: - jwks_client = jwt.PyJWKClient(CF_ACCESS_CERTS_URL) + jwks_client = _client_jwks() signing_key = jwks_client.get_signing_key_from_jwt(token) payload = jwt.decode( token, diff --git a/app/brouillon.py b/app/brouillon.py index d338146..2a658f4 100644 --- a/app/brouillon.py +++ b/app/brouillon.py @@ -84,7 +84,7 @@ def construire(objet: str, expediteur: str, corps: str, contexte: str = "", cons def rediger(objet: str, expediteur: str, corps: str, contexte: str = "", consigne_nabil: str = "") -> dict: - rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500) + rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500, delai=90) rep = re.sub(r"^```(?:html)?\s*|\s*```$", "", (rep or "").strip()) html = assainir(rep if "<" in rep else "
" + escape(rep).replace("\n\n", "
").replace("\n", "
") + "