diff --git a/app/analyse.py b/app/analyse.py index 9c44abd..0bc50cc 100644 --- a/app/analyse.py +++ b/app/analyse.py @@ -161,11 +161,27 @@ def _categories(db_path: Optional[str] = None) -> List[str]: return [c for c in cats if c and c != ia.A_CLASSER] +class ReponseIllisible(Exception): + """Le modele a repondu sans fiche JSON exploitable : rien n'est enregistre, le mail sera reessaye.""" + + +def _fiche_presente(reponse: str) -> bool: + m = re.search(r"\{.*\}", reponse or "", re.S) + try: + d = json.loads(m.group(0)) if m else None + except ValueError: + return False + return isinstance(d, dict) and bool(d.get("categorie")) + + def analyser(objet: str, expediteur: str, corps: str, db_path: Optional[str] = None, contexte: str = "") -> Dict[str, Any]: + """Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli), ReponseIllisible si la + reponse ne contient pas de fiche : une fiche vide ne doit jamais etre enregistree comme une vraie analyse.""" exemples = exemples_nabil(db_path) - """Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli).""" cats = _categories(db_path) - rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200) + rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200, delai=75) + if not _fiche_presente(rep): + raise ReponseIllisible() return lire_fiche(rep, cats) @@ -300,24 +316,48 @@ def analyser_mail(mirror_client, message_id: str, db_path: Optional[str] = None, return lire(message_id, db_path) -def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None) -> Dict[str, int]: +_ECHECS: Dict[str, Any] = {} + + +def _mis_de_cote(message_id: str, maintenant: float) -> bool: + n, t = _ECHECS.get(message_id, (0, 0.0)) + if not n: + return False + if maintenant - t > 86400: + _ECHECS.pop(message_id, None) + return False + return n >= 3 or maintenant - t < 1800 + + +def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None, + budget_s: Optional[float] = None) -> Dict[str, int]: """Analyse les mails du jour qui n'ont pas encore de fiche. Comptes seulement, aucun contenu.""" res = {"analyses": 0, "deja": 0, "erreurs": 0, "restant": 0} mails = mirror_client.get_mails_for_day(jour, max_items=60) faits = {a["message_id"] for a in lister(jour=jour, n=300, db_path=db_path)} a_faire = [m for m in mails if m.get("message_id") and m["message_id"] not in faits] res["deja"] = len(mails) - len(a_faire) - for m in a_faire[:maximum]: + maintenant = time.time() + # Un mail en echec est mis de cote 30 minutes, puis abandonne pour la journee apres 3 essais : + # il ne bloque plus l'analyse des suivants (avant, il restait en tete de file a chaque tour). + eligibles = [m for m in a_faire if not _mis_de_cote(m["message_id"], maintenant)] + res["mis_de_cote"] = len(a_faire) - len(eligibles) + for m in eligibles[:maximum]: + if budget_s is not None and time.time() - maintenant > budget_s: + break # reste sous la limite de 100 s de Cloudflare ; l'interface relance le lot suivant try: analyser_mail(mirror_client, m["message_id"], db_path, {"objet": m.get("objet"), "expediteur": m.get("expediteur"), "date": m.get("date")}) res["analyses"] += 1 + _ECHECS.pop(m["message_id"], None) except ia.IAIndisponible: res["erreurs"] += 1 break except Exception: res["erreurs"] += 1 - res["restant"] = max(0, len(a_faire) - res["analyses"] - res["erreurs"]) + n, _ = _ECHECS.get(m["message_id"], (0, 0.0)) + _ECHECS[m["message_id"]] = (n + 1, maintenant) + res["restant"] = max(0, len(eligibles) - res["analyses"] - res["erreurs"]) return res @@ -540,6 +580,8 @@ def creer_routeur(mirror_client) -> APIRouter: raise HTTPException(status_code=404, detail="Mail introuvable.") except ia.IAIndisponible as e: raise HTTPException(status_code=503, detail="IA indisponible, aucune analyse : " + str(e) + ".") + except ReponseIllisible: + raise HTTPException(status_code=502, detail="Réponse de l'IA illisible, rien n'est enregistré. Réessayez.") except HTTPException: raise except Exception: @@ -553,7 +595,7 @@ def creer_routeur(mirror_client) -> APIRouter: if not _verrou.acquire(blocking=False): raise HTTPException(status_code=429, detail="Un lot est déjà en cours.") try: - return traiter_lot(mirror_client, jour, maximum) + return traiter_lot(mirror_client, jour, maximum, budget_s=55) except ia.IAIndisponible as e: raise HTTPException(status_code=503, detail="IA indisponible : " + str(e) + ".") except Exception: @@ -565,9 +607,18 @@ def creer_routeur(mirror_client) -> APIRouter: def lister_analyses(date: Optional[str] = None, jours: int = Query(7, ge=1, le=60), n: int = Query(100, ge=1, le=300)): if date: - return {"analyses": lister(jour=date, n=n)} - debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat() - return {"analyses": lister(depuis=debut, n=n)} + res = lister(jour=date, n=n) + else: + debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat() + res = lister(depuis=debut, n=n) + conn = _db.get_connection() + try: + traites = {r[0] for r in conn.execute("SELECT message_id FROM classements WHERE traite = 1")} + finally: + conn.close() + for a in res: + a["traite"] = a["message_id"] in traites + return {"analyses": res} @router.get("/fil") def lire_fil(id: str = Query(..., min_length=1, max_length=400)): diff --git a/app/auth.py b/app/auth.py index 70a84d2..5df972a 100644 --- a/app/auth.py +++ b/app/auth.py @@ -9,6 +9,17 @@ from app.config import ENV, CF_ACCESS_CERTS_URL, CF_ACCESS_AUD, CF_TEST_SECRET cf_access_header = APIKeyHeader(name="Cf-Access-Jwt-Assertion", auto_error=False) +_JWKS = None + + +def _client_jwks(): + """Un seul client de clés Cloudflare pour tout le service : il garde les clés en cache (une heure) au lieu + de les retélécharger à chaque requête ; une clé inconnue (rotation) déclenche un nouveau téléchargement.""" + global _JWKS + if _JWKS is None: + _JWKS = jwt.PyJWKClient(CF_ACCESS_CERTS_URL, cache_keys=True, lifespan=3600) + return _JWKS + def verify_cf_access_jwt(request: Request) -> Dict[str, Any]: """ Vérifie la présence et la validité de la signature du jeton Cloudflare Access. @@ -64,7 +75,7 @@ def verify_cf_access_jwt(request: Request) -> Dict[str, Any]: # 4. Mode production avec vérification de signature JWKS Cloudflare Access if CF_ACCESS_CERTS_URL and CF_ACCESS_AUD: try: - jwks_client = jwt.PyJWKClient(CF_ACCESS_CERTS_URL) + jwks_client = _client_jwks() signing_key = jwks_client.get_signing_key_from_jwt(token) payload = jwt.decode( token, diff --git a/app/brouillon.py b/app/brouillon.py index d338146..2a658f4 100644 --- a/app/brouillon.py +++ b/app/brouillon.py @@ -84,7 +84,7 @@ def construire(objet: str, expediteur: str, corps: str, contexte: str = "", cons def rediger(objet: str, expediteur: str, corps: str, contexte: str = "", consigne_nabil: str = "") -> dict: - rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500) + rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500, delai=90) rep = re.sub(r"^```(?:html)?\s*|\s*```$", "", (rep or "").strip()) html = assainir(rep if "<" in rep else "

" + escape(rep).replace("\n\n", "

").replace("\n", "
") + "

") if not html: diff --git a/app/ia.py b/app/ia.py index 8ae1b92..d804792 100644 --- a/app/ia.py +++ b/app/ia.py @@ -71,10 +71,10 @@ def _cle() -> str: return k -def appeler_privaite(messages, max_tokens: int = 600) -> str: +def appeler_privaite(messages, max_tokens: int = 600, delai: Optional[float] = None) -> str: """Seul point de sortie vers un modele : PrivAiTe. Toute erreur = IAIndisponible, sans repli.""" try: - r = httpx.post(PRIVAITE_URL, timeout=IA_DELAI_S, + r = httpx.post(PRIVAITE_URL, timeout=delai or IA_DELAI_S, headers={"Authorization": "Bearer " + _cle()}, json={"model": IA_MODELE, "messages": messages, "max_tokens": max_tokens, "temperature": 0}) except httpx.HTTPError as e: diff --git a/app/mirror_client.py b/app/mirror_client.py index d7d05ef..90c53ba 100644 --- a/app/mirror_client.py +++ b/app/mirror_client.py @@ -136,24 +136,24 @@ class MirrorClient: result_data = None for line in raw_body.split("\n"): line = line.strip() - if line.startswith("data: "): - try: - parsed = json.loads(line[6:]) - result_data = parsed.get("result", {}) - break - except Exception: - continue - elif line.startswith("{") and line.endswith("}"): - try: - parsed = json.loads(line) - if "result" in parsed: - result_data = parsed["result"] - break - except Exception: - continue + cand = line[6:] if line.startswith("data: ") else (line if line.startswith("{") and line.endswith("}") else None) + if cand is None: + continue + try: + parsed = json.loads(cand) + except Exception: + continue + if isinstance(parsed, dict) and parsed.get("error"): + # Erreur JSON-RPC du miroir : jamais confondue avec une liste vide (« 0 mail »), jamais mise en cache. + raise ConnectionError("le miroir a renvoyé une erreur") + if isinstance(parsed, dict) and "result" in parsed: + result_data = parsed["result"] + break if not result_data: result_data = {} + if isinstance(result_data, dict) and result_data.get("isError"): + raise ConnectionError("l'outil du miroir a signalé une erreur") # Les outils MCP renvoient content: [{"type": "text", "text": "..."}] content = result_data.get("content", []) @@ -168,6 +168,14 @@ class MirrorClient: final_output = result_data if use_cache: + if len(self._cache) >= 300: + # Cache borné : les entrées expirées partent, puis les plus anciennes (256 Mo pour tout le service). + limite = time.time() - self.cache_ttl + for k in [k for k, (t, _) in self._cache.items() if t < limite]: + self._cache.pop(k, None) + if len(self._cache) >= 300: + for k, _ in sorted(self._cache.items(), key=lambda kv: kv[1][0])[:100]: + self._cache.pop(k, None) self._cache[cache_key] = (now, final_output) return final_output diff --git a/app/piece_ia.py b/app/piece_ia.py index 8d56da8..b7986bc 100644 --- a/app/piece_ia.py +++ b/app/piece_ia.py @@ -72,7 +72,7 @@ CONSIGNE = ("Tu resumes une piece jointe pour un responsable achats. En francais def resumer_texte(texte: str) -> str: - return ia.appeler_privaite([{"role": "system", "content": CONSIGNE}, {"role": "user", "content": texte}], max_tokens=1200).strip() + return ia.appeler_privaite([{"role": "system", "content": CONSIGNE}, {"role": "user", "content": texte}], max_tokens=1200, delai=90).strip() def creer_routeur(mirror_client) -> APIRouter: diff --git a/app/static/app.js b/app/static/app.js index edf3af8..8d7115b 100644 --- a/app/static/app.js +++ b/app/static/app.js @@ -1081,12 +1081,20 @@ function analyserLeJour() { var V = S.avalider; if (V.analyse) return; V.analyse = true; rendre(); - api('/ia/lot?date=' + S.jour + '&maximum=5', { method: 'POST' }).then(function (r) { - V.analyse = false; - var rest = r.restant || 0; - flash(r.analyses ? r.analyses + ' mail' + (r.analyses > 1 ? 's' : '') + ' analysé' + (r.analyses > 1 ? 's' : '') + (rest ? ', encore ' + rest + ' à analyser : relancez.' : '.') : (r.erreurs ? 'IA indisponible pour le moment.' : 'Tous les mails du jour sont déjà analysés.')); - return chargerAValider(); - }).catch(function (e) { V.analyse = false; if (e.message === 'session') return; rendre(); flash(e.message === 'http 409' ? 'L\'IA est désactivée : activez-la dans Règles.' : e.message === 'http 503' ? 'IA indisponible pour le moment.' : 'Analyse impossible. Réessayez.'); }); + var total = 0, tours = 0; + function lot() { + tours++; + return api('/ia/lot?date=' + S.jour + '&maximum=5', { method: 'POST' }).then(function (r) { + total += r.analyses || 0; + var rest = r.restant || 0; + if (r.analyses && rest && tours < 12) { flash(total + ' mail' + (total > 1 ? 's' : '') + ' analysé' + (total > 1 ? 's' : '') + ', suite en cours…'); return lot(); } + V.analyse = false; + flash(total ? total + ' mail' + (total > 1 ? 's' : '') + ' analysé' + (total > 1 ? 's' : '') + (rest ? ', ' + rest + ' restant' + (rest > 1 ? 's' : '') + ' : relancez plus tard.' : '.') + : (r.erreurs ? 'IA indisponible pour le moment.' : (r.mis_de_cote ? 'Les mails restants ont échoué récemment : nouvel essai dans 30 minutes.' : 'Tous les mails du jour sont déjà analysés.'))); + return chargerAValider(); + }); + } + lot().catch(function (e) { V.analyse = false; if (e.message === 'session') return; rendre(); flash(e.message === 'http 409' ? 'L\'IA est désactivée : activez-la dans Règles.' : e.message === 'http 503' ? 'IA indisponible pour le moment.' : e.message === 'http 429' ? 'Une analyse est déjà en cours.' : 'Analyse impossible. Réessayez.'); if (total) chargerAValider(); }); } /* Balayage tactile : vers la droite = accepter, vers la gauche = refuser. Les boutons restent la voie principale. */ function balayage(el, decider) { @@ -1139,7 +1147,7 @@ var V = S.aujourdhui; V.etat = 'chargement'; rendre(); return Promise.all([api('/ia/analyses?jours=14&n=300').catch(function () { return { analyses: [] }; }), api('/suivi?jours=14').catch(function () { return { items: [] }; }), api('/courses?statut=a_faire').catch(function () { return { courses: [] }; })]).then(function (rs) { - V.demandes = (rs[0].analyses || []).filter(function (a) { return a.demande && a.demande.reelle; }).map(function (a) { return { id: a.message_id, objet: a.objet, action: a.demande.action, ech: echeanceISO(a.demande.echeance), exp: a.expediteur }; }) + V.demandes = (rs[0].analyses || []).filter(function (a) { return a.demande && a.demande.reelle && !a.traite; }).map(function (a) { return { id: a.message_id, objet: a.objet, action: a.demande.action, ech: echeanceISO(a.demande.echeance), exp: a.expediteur }; }) .sort(function (x, y) { return (x.ech || '9999') < (y.ech || '9999') ? -1 : (x.ech || '9999') > (y.ech || '9999') ? 1 : 0; }); V.relances = (rs[1].items || []).filter(function (i) { return i.relancer && !i.clos; }); V.courses = rs[2].courses || []; V.etat = 'ok'; rendre(); diff --git a/app/static/index.html b/app/static/index.html index 4ae0464..283462f 100644 --- a/app/static/index.html +++ b/app/static/index.html @@ -10,7 +10,7 @@ - +
@@ -31,6 +31,6 @@
- + diff --git a/tests/test_analyse_072.py b/tests/test_analyse_072.py index 3e30293..8316ee7 100644 --- a/tests/test_analyse_072.py +++ b/tests/test_analyse_072.py @@ -67,11 +67,12 @@ def test_corps_du_mail_jamais_stocke(client, mail, ia_on, monkeypatch, temp_db): assert b"12 345,678" not in brut and b"bon de livraison" in brut # seule la fiche est conservee -def test_reponse_non_json_donne_fiche_prudente(client, mail, ia_on, monkeypatch): +def test_reponse_non_json_rien_enregistre(client, mail, ia_on, monkeypatch): + """Une reponse sans fiche n'est jamais enregistree comme une vraie analyse : 502, le mail sera reessaye.""" monkeypatch.setattr(ia, "appeler_privaite", lambda *a, **k: "Je ne sais pas") - j = client.post("/api/v1/ia/analyse?id=m-1").json() - assert j["categorie"] == "À classer" and j["confiance"] == "basse" and j["course"] is None - assert j["demande"]["reelle"] is False + r = client.post("/api/v1/ia/analyse?id=m-1") + assert r.status_code == 502 + assert client.get("/api/v1/ia/analyse?id=m-1").status_code == 404 def test_categorie_hors_liste_devient_a_classer(): diff --git a/tests/test_audit_20261121.py b/tests/test_audit_20261121.py new file mode 100644 index 0000000..a2d44ad --- /dev/null +++ b/tests/test_audit_20261121.py @@ -0,0 +1,61 @@ +"""Audit du 21/11/2026 : file d'analyse non bloquee par un mail en echec, budget de temps du lot, +erreur du miroir distincte d'une liste vide, cache du miroir borne.""" +import json +import pytest +from app import analyse as a, ia +from app.mirror_client import MirrorClient + +pytestmark = pytest.mark.regles_off + + +class Miroir: + def __init__(self, ids): + self.ids = ids + def get_mails_for_day(self, jour, max_items=60): + return [{"message_id": i, "objet": "o" + i, "expediteur": "e", "date": jour + "T08:00:00+01:00"} for i in self.ids] + + +def test_mail_en_echec_ne_bloque_pas_la_file(temp_db, monkeypatch): + a._ECHECS.clear() + vus = [] + def faux(mc, mid, db_path=None, meta=None): + vus.append(mid) + if mid == "mauvais": + raise a.ReponseIllisible() + a.enregistrer(mid, {"categorie": "À classer", "confiance": "basse", "resume": "", "course": None, + "demande": {"reelle": False, "action": "", "echeance": None}}, "o", "e", "2026-11-21T08:00:00+01:00", temp_db) + monkeypatch.setattr(a, "analyser_mail", faux) + m = Miroir(["mauvais", "b", "c"]) + r1 = a.traiter_lot(m, "2026-11-21", 5, temp_db) + assert r1["analyses"] == 2 and r1["erreurs"] == 1 + vus.clear() + r2 = a.traiter_lot(m, "2026-11-21", 5, temp_db) + assert "mauvais" not in vus and r2["mis_de_cote"] == 1 + a._ECHECS.clear() + + +def test_erreur_jsonrpc_du_miroir_leve(monkeypatch): + mc = MirrorClient(base_url="http://x", token="t") + mc.session_id = "s" + class R: + def __enter__(self): return self + def __exit__(self, *e): return False + def read(self): return json.dumps({"jsonrpc": "2.0", "id": 1, "error": {"code": -32000, "message": "x"}}).encode() + monkeypatch.setattr("urllib.request.urlopen", lambda *a, **k: R()) + with pytest.raises(ConnectionError): + mc.call_tool("mirror_mail_latest", {"n": 1}) + assert not mc._cache + + +def test_cache_miroir_borne(monkeypatch): + mc = MirrorClient(base_url="http://x", token="t") + mc.session_id = "s" + class R: + def __enter__(self): return self + def __exit__(self, *e): return False + def read(self): return json.dumps({"jsonrpc": "2.0", "id": 1, "result": {"content": [{"type": "text", "text": "{}"}]}}).encode() + monkeypatch.setattr("urllib.request.urlopen", lambda *a, **k: R()) + monkeypatch.setattr(mc, "_check_rate_limit", lambda: None) + for i in range(700): + mc.call_tool("mirror_mail_get", {"message_id": str(i)}) + assert len(mc._cache) <= 300 diff --git a/tests/test_brouillon.py b/tests/test_brouillon.py index 2050dcf..17e4e62 100644 --- a/tests/test_brouillon.py +++ b/tests/test_brouillon.py @@ -18,7 +18,7 @@ def test_texte_brut(): def test_rediger_via_privaite_seulement(monkeypatch): vus = {} - def faux(messages, max_tokens=30): + def faux(messages, max_tokens=30, delai=None): vus["m"] = messages return "```html\n

Bonjour,

C'est note.

Cordialement,
Nabil Derouiche

\n```" monkeypatch.setattr(ia, "appeler_privaite", faux) @@ -28,7 +28,7 @@ def test_rediger_via_privaite_seulement(monkeypatch): def test_refus_net_si_privaite_injoignable(monkeypatch): - def casse(messages, max_tokens=30): + def casse(messages, max_tokens=30, delai=None): raise ia.IAIndisponible("PrivAiTe injoignable") monkeypatch.setattr(ia, "appeler_privaite", casse) with pytest.raises(ia.IAIndisponible):