fix: audit du 21/11/2026 (file d'analyse, délais, miroir, authentification, vue Aujourd'hui)
Réponse illisible du modèle jamais enregistrée comme fiche ; mail en échec mis de côté au lieu de bloquer la file ; lot borné à 55 s (limite Cloudflare) et enchaîné par l'interface ; délais d'appel adaptés (75/90 s) ; erreur JSON-RPC du miroir distincte d'une liste vide ; cache du miroir borné ; clés Cloudflare Access en cache ; vue Aujourd'hui sans les demandes déjà traitées. 192 tests. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01XGaEeTZLvHXfYPUNWkgYoi
This commit is contained in:
1 parent
054a4d64e8
commit
b8b08843d4
11 files changed
+184
-44
No files matched your search
+60
-9
@@ -161,11 +161,27 @@ def _categories(db_path: Optional[str] = None) -> List[str]:
|
||||
return [c for c in cats if c and c != ia.A_CLASSER]
|
||||
|
||||
|
||||
class ReponseIllisible(Exception):
|
||||
"""Le modele a repondu sans fiche JSON exploitable : rien n'est enregistre, le mail sera reessaye."""
|
||||
|
||||
|
||||
def _fiche_presente(reponse: str) -> bool:
|
||||
m = re.search(r"\{.*\}", reponse or "", re.S)
|
||||
try:
|
||||
d = json.loads(m.group(0)) if m else None
|
||||
except ValueError:
|
||||
return False
|
||||
return isinstance(d, dict) and bool(d.get("categorie"))
|
||||
|
||||
|
||||
def analyser(objet: str, expediteur: str, corps: str, db_path: Optional[str] = None, contexte: str = "") -> Dict[str, Any]:
|
||||
"""Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli), ReponseIllisible si la
|
||||
reponse ne contient pas de fiche : une fiche vide ne doit jamais etre enregistree comme une vraie analyse."""
|
||||
exemples = exemples_nabil(db_path)
|
||||
"""Appelle PrivAiTe. Leve IAIndisponible si le service ne repond pas (aucun repli)."""
|
||||
cats = _categories(db_path)
|
||||
rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200)
|
||||
rep = ia.appeler_privaite(construire_messages(objet, expediteur, corps, cats, contexte, exemples), max_tokens=1200, delai=75)
|
||||
if not _fiche_presente(rep):
|
||||
raise ReponseIllisible()
|
||||
return lire_fiche(rep, cats)
|
||||
|
||||
|
||||
@@ -300,24 +316,48 @@ def analyser_mail(mirror_client, message_id: str, db_path: Optional[str] = None,
|
||||
return lire(message_id, db_path)
|
||||
|
||||
|
||||
def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None) -> Dict[str, int]:
|
||||
_ECHECS: Dict[str, Any] = {}
|
||||
|
||||
|
||||
def _mis_de_cote(message_id: str, maintenant: float) -> bool:
|
||||
n, t = _ECHECS.get(message_id, (0, 0.0))
|
||||
if not n:
|
||||
return False
|
||||
if maintenant - t > 86400:
|
||||
_ECHECS.pop(message_id, None)
|
||||
return False
|
||||
return n >= 3 or maintenant - t < 1800
|
||||
|
||||
|
||||
def traiter_lot(mirror_client, jour: str, maximum: int = 5, db_path: Optional[str] = None,
|
||||
budget_s: Optional[float] = None) -> Dict[str, int]:
|
||||
"""Analyse les mails du jour qui n'ont pas encore de fiche. Comptes seulement, aucun contenu."""
|
||||
res = {"analyses": 0, "deja": 0, "erreurs": 0, "restant": 0}
|
||||
mails = mirror_client.get_mails_for_day(jour, max_items=60)
|
||||
faits = {a["message_id"] for a in lister(jour=jour, n=300, db_path=db_path)}
|
||||
a_faire = [m for m in mails if m.get("message_id") and m["message_id"] not in faits]
|
||||
res["deja"] = len(mails) - len(a_faire)
|
||||
for m in a_faire[:maximum]:
|
||||
maintenant = time.time()
|
||||
# Un mail en echec est mis de cote 30 minutes, puis abandonne pour la journee apres 3 essais :
|
||||
# il ne bloque plus l'analyse des suivants (avant, il restait en tete de file a chaque tour).
|
||||
eligibles = [m for m in a_faire if not _mis_de_cote(m["message_id"], maintenant)]
|
||||
res["mis_de_cote"] = len(a_faire) - len(eligibles)
|
||||
for m in eligibles[:maximum]:
|
||||
if budget_s is not None and time.time() - maintenant > budget_s:
|
||||
break # reste sous la limite de 100 s de Cloudflare ; l'interface relance le lot suivant
|
||||
try:
|
||||
analyser_mail(mirror_client, m["message_id"], db_path,
|
||||
{"objet": m.get("objet"), "expediteur": m.get("expediteur"), "date": m.get("date")})
|
||||
res["analyses"] += 1
|
||||
_ECHECS.pop(m["message_id"], None)
|
||||
except ia.IAIndisponible:
|
||||
res["erreurs"] += 1
|
||||
break
|
||||
except Exception:
|
||||
res["erreurs"] += 1
|
||||
res["restant"] = max(0, len(a_faire) - res["analyses"] - res["erreurs"])
|
||||
n, _ = _ECHECS.get(m["message_id"], (0, 0.0))
|
||||
_ECHECS[m["message_id"]] = (n + 1, maintenant)
|
||||
res["restant"] = max(0, len(eligibles) - res["analyses"] - res["erreurs"])
|
||||
return res
|
||||
|
||||
|
||||
@@ -540,6 +580,8 @@ def creer_routeur(mirror_client) -> APIRouter:
|
||||
raise HTTPException(status_code=404, detail="Mail introuvable.")
|
||||
except ia.IAIndisponible as e:
|
||||
raise HTTPException(status_code=503, detail="IA indisponible, aucune analyse : " + str(e) + ".")
|
||||
except ReponseIllisible:
|
||||
raise HTTPException(status_code=502, detail="Réponse de l'IA illisible, rien n'est enregistré. Réessayez.")
|
||||
except HTTPException:
|
||||
raise
|
||||
except Exception:
|
||||
@@ -553,7 +595,7 @@ def creer_routeur(mirror_client) -> APIRouter:
|
||||
if not _verrou.acquire(blocking=False):
|
||||
raise HTTPException(status_code=429, detail="Un lot est déjà en cours.")
|
||||
try:
|
||||
return traiter_lot(mirror_client, jour, maximum)
|
||||
return traiter_lot(mirror_client, jour, maximum, budget_s=55)
|
||||
except ia.IAIndisponible as e:
|
||||
raise HTTPException(status_code=503, detail="IA indisponible : " + str(e) + ".")
|
||||
except Exception:
|
||||
@@ -565,9 +607,18 @@ def creer_routeur(mirror_client) -> APIRouter:
|
||||
def lister_analyses(date: Optional[str] = None, jours: int = Query(7, ge=1, le=60),
|
||||
n: int = Query(100, ge=1, le=300)):
|
||||
if date:
|
||||
return {"analyses": lister(jour=date, n=n)}
|
||||
debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat()
|
||||
return {"analyses": lister(depuis=debut, n=n)}
|
||||
res = lister(jour=date, n=n)
|
||||
else:
|
||||
debut = (_date.fromisoformat(get_tunis_now_iso()[:10]) - timedelta(days=jours)).isoformat()
|
||||
res = lister(depuis=debut, n=n)
|
||||
conn = _db.get_connection()
|
||||
try:
|
||||
traites = {r[0] for r in conn.execute("SELECT message_id FROM classements WHERE traite = 1")}
|
||||
finally:
|
||||
conn.close()
|
||||
for a in res:
|
||||
a["traite"] = a["message_id"] in traites
|
||||
return {"analyses": res}
|
||||
|
||||
@router.get("/fil")
|
||||
def lire_fil(id: str = Query(..., min_length=1, max_length=400)):
|
||||
|
||||
+12
-1
@@ -9,6 +9,17 @@ from app.config import ENV, CF_ACCESS_CERTS_URL, CF_ACCESS_AUD, CF_TEST_SECRET
|
||||
|
||||
cf_access_header = APIKeyHeader(name="Cf-Access-Jwt-Assertion", auto_error=False)
|
||||
|
||||
_JWKS = None
|
||||
|
||||
|
||||
def _client_jwks():
|
||||
"""Un seul client de clés Cloudflare pour tout le service : il garde les clés en cache (une heure) au lieu
|
||||
de les retélécharger à chaque requête ; une clé inconnue (rotation) déclenche un nouveau téléchargement."""
|
||||
global _JWKS
|
||||
if _JWKS is None:
|
||||
_JWKS = jwt.PyJWKClient(CF_ACCESS_CERTS_URL, cache_keys=True, lifespan=3600)
|
||||
return _JWKS
|
||||
|
||||
def verify_cf_access_jwt(request: Request) -> Dict[str, Any]:
|
||||
"""
|
||||
Vérifie la présence et la validité de la signature du jeton Cloudflare Access.
|
||||
@@ -64,7 +75,7 @@ def verify_cf_access_jwt(request: Request) -> Dict[str, Any]:
|
||||
# 4. Mode production avec vérification de signature JWKS Cloudflare Access
|
||||
if CF_ACCESS_CERTS_URL and CF_ACCESS_AUD:
|
||||
try:
|
||||
jwks_client = jwt.PyJWKClient(CF_ACCESS_CERTS_URL)
|
||||
jwks_client = _client_jwks()
|
||||
signing_key = jwks_client.get_signing_key_from_jwt(token)
|
||||
payload = jwt.decode(
|
||||
token,
|
||||
|
||||
+1
-1
@@ -84,7 +84,7 @@ def construire(objet: str, expediteur: str, corps: str, contexte: str = "", cons
|
||||
|
||||
|
||||
def rediger(objet: str, expediteur: str, corps: str, contexte: str = "", consigne_nabil: str = "") -> dict:
|
||||
rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500)
|
||||
rep = ia.appeler_privaite(construire(objet, expediteur, corps, contexte, consigne_nabil), max_tokens=1500, delai=90)
|
||||
rep = re.sub(r"^```(?:html)?\s*|\s*```$", "", (rep or "").strip())
|
||||
html = assainir(rep if "<" in rep else "<p>" + escape(rep).replace("\n\n", "</p><p>").replace("\n", "<br>") + "</p>")
|
||||
if not html:
|
||||
|
||||
@@ -71,10 +71,10 @@ def _cle() -> str:
|
||||
return k
|
||||
|
||||
|
||||
def appeler_privaite(messages, max_tokens: int = 600) -> str:
|
||||
def appeler_privaite(messages, max_tokens: int = 600, delai: Optional[float] = None) -> str:
|
||||
"""Seul point de sortie vers un modele : PrivAiTe. Toute erreur = IAIndisponible, sans repli."""
|
||||
try:
|
||||
r = httpx.post(PRIVAITE_URL, timeout=IA_DELAI_S,
|
||||
r = httpx.post(PRIVAITE_URL, timeout=delai or IA_DELAI_S,
|
||||
headers={"Authorization": "Bearer " + _cle()},
|
||||
json={"model": IA_MODELE, "messages": messages, "max_tokens": max_tokens, "temperature": 0})
|
||||
except httpx.HTTPError as e:
|
||||
|
||||
+23
-15
@@ -136,24 +136,24 @@ class MirrorClient:
|
||||
result_data = None
|
||||
for line in raw_body.split("\n"):
|
||||
line = line.strip()
|
||||
if line.startswith("data: "):
|
||||
try:
|
||||
parsed = json.loads(line[6:])
|
||||
result_data = parsed.get("result", {})
|
||||
break
|
||||
except Exception:
|
||||
continue
|
||||
elif line.startswith("{") and line.endswith("}"):
|
||||
try:
|
||||
parsed = json.loads(line)
|
||||
if "result" in parsed:
|
||||
result_data = parsed["result"]
|
||||
break
|
||||
except Exception:
|
||||
continue
|
||||
cand = line[6:] if line.startswith("data: ") else (line if line.startswith("{") and line.endswith("}") else None)
|
||||
if cand is None:
|
||||
continue
|
||||
try:
|
||||
parsed = json.loads(cand)
|
||||
except Exception:
|
||||
continue
|
||||
if isinstance(parsed, dict) and parsed.get("error"):
|
||||
# Erreur JSON-RPC du miroir : jamais confondue avec une liste vide (« 0 mail »), jamais mise en cache.
|
||||
raise ConnectionError("le miroir a renvoyé une erreur")
|
||||
if isinstance(parsed, dict) and "result" in parsed:
|
||||
result_data = parsed["result"]
|
||||
break
|
||||
|
||||
if not result_data:
|
||||
result_data = {}
|
||||
if isinstance(result_data, dict) and result_data.get("isError"):
|
||||
raise ConnectionError("l'outil du miroir a signalé une erreur")
|
||||
|
||||
# Les outils MCP renvoient content: [{"type": "text", "text": "..."}]
|
||||
content = result_data.get("content", [])
|
||||
@@ -168,6 +168,14 @@ class MirrorClient:
|
||||
final_output = result_data
|
||||
|
||||
if use_cache:
|
||||
if len(self._cache) >= 300:
|
||||
# Cache borné : les entrées expirées partent, puis les plus anciennes (256 Mo pour tout le service).
|
||||
limite = time.time() - self.cache_ttl
|
||||
for k in [k for k, (t, _) in self._cache.items() if t < limite]:
|
||||
self._cache.pop(k, None)
|
||||
if len(self._cache) >= 300:
|
||||
for k, _ in sorted(self._cache.items(), key=lambda kv: kv[1][0])[:100]:
|
||||
self._cache.pop(k, None)
|
||||
self._cache[cache_key] = (now, final_output)
|
||||
|
||||
return final_output
|
||||
|
||||
+1
-1
@@ -72,7 +72,7 @@ CONSIGNE = ("Tu resumes une piece jointe pour un responsable achats. En francais
|
||||
|
||||
|
||||
def resumer_texte(texte: str) -> str:
|
||||
return ia.appeler_privaite([{"role": "system", "content": CONSIGNE}, {"role": "user", "content": texte}], max_tokens=1200).strip()
|
||||
return ia.appeler_privaite([{"role": "system", "content": CONSIGNE}, {"role": "user", "content": texte}], max_tokens=1200, delai=90).strip()
|
||||
|
||||
|
||||
def creer_routeur(mirror_client) -> APIRouter:
|
||||
|
||||
+15
-7
@@ -1081,12 +1081,20 @@
|
||||
function analyserLeJour() {
|
||||
var V = S.avalider; if (V.analyse) return;
|
||||
V.analyse = true; rendre();
|
||||
api('/ia/lot?date=' + S.jour + '&maximum=5', { method: 'POST' }).then(function (r) {
|
||||
V.analyse = false;
|
||||
var rest = r.restant || 0;
|
||||
flash(r.analyses ? r.analyses + ' mail' + (r.analyses > 1 ? 's' : '') + ' analysé' + (r.analyses > 1 ? 's' : '') + (rest ? ', encore ' + rest + ' à analyser : relancez.' : '.') : (r.erreurs ? 'IA indisponible pour le moment.' : 'Tous les mails du jour sont déjà analysés.'));
|
||||
return chargerAValider();
|
||||
}).catch(function (e) { V.analyse = false; if (e.message === 'session') return; rendre(); flash(e.message === 'http 409' ? 'L\'IA est désactivée : activez-la dans Règles.' : e.message === 'http 503' ? 'IA indisponible pour le moment.' : 'Analyse impossible. Réessayez.'); });
|
||||
var total = 0, tours = 0;
|
||||
function lot() {
|
||||
tours++;
|
||||
return api('/ia/lot?date=' + S.jour + '&maximum=5', { method: 'POST' }).then(function (r) {
|
||||
total += r.analyses || 0;
|
||||
var rest = r.restant || 0;
|
||||
if (r.analyses && rest && tours < 12) { flash(total + ' mail' + (total > 1 ? 's' : '') + ' analysé' + (total > 1 ? 's' : '') + ', suite en cours…'); return lot(); }
|
||||
V.analyse = false;
|
||||
flash(total ? total + ' mail' + (total > 1 ? 's' : '') + ' analysé' + (total > 1 ? 's' : '') + (rest ? ', ' + rest + ' restant' + (rest > 1 ? 's' : '') + ' : relancez plus tard.' : '.')
|
||||
: (r.erreurs ? 'IA indisponible pour le moment.' : (r.mis_de_cote ? 'Les mails restants ont échoué récemment : nouvel essai dans 30 minutes.' : 'Tous les mails du jour sont déjà analysés.')));
|
||||
return chargerAValider();
|
||||
});
|
||||
}
|
||||
lot().catch(function (e) { V.analyse = false; if (e.message === 'session') return; rendre(); flash(e.message === 'http 409' ? 'L\'IA est désactivée : activez-la dans Règles.' : e.message === 'http 503' ? 'IA indisponible pour le moment.' : e.message === 'http 429' ? 'Une analyse est déjà en cours.' : 'Analyse impossible. Réessayez.'); if (total) chargerAValider(); });
|
||||
}
|
||||
/* Balayage tactile : vers la droite = accepter, vers la gauche = refuser. Les boutons restent la voie principale. */
|
||||
function balayage(el, decider) {
|
||||
@@ -1139,7 +1147,7 @@
|
||||
var V = S.aujourdhui; V.etat = 'chargement'; rendre();
|
||||
return Promise.all([api('/ia/analyses?jours=14&n=300').catch(function () { return { analyses: [] }; }),
|
||||
api('/suivi?jours=14').catch(function () { return { items: [] }; }), api('/courses?statut=a_faire').catch(function () { return { courses: [] }; })]).then(function (rs) {
|
||||
V.demandes = (rs[0].analyses || []).filter(function (a) { return a.demande && a.demande.reelle; }).map(function (a) { return { id: a.message_id, objet: a.objet, action: a.demande.action, ech: echeanceISO(a.demande.echeance), exp: a.expediteur }; })
|
||||
V.demandes = (rs[0].analyses || []).filter(function (a) { return a.demande && a.demande.reelle && !a.traite; }).map(function (a) { return { id: a.message_id, objet: a.objet, action: a.demande.action, ech: echeanceISO(a.demande.echeance), exp: a.expediteur }; })
|
||||
.sort(function (x, y) { return (x.ech || '9999') < (y.ech || '9999') ? -1 : (x.ech || '9999') > (y.ech || '9999') ? 1 : 0; });
|
||||
V.relances = (rs[1].items || []).filter(function (i) { return i.relancer && !i.clos; });
|
||||
V.courses = rs[2].courses || []; V.etat = 'ok'; rendre();
|
||||
|
||||
@@ -10,7 +10,7 @@
|
||||
<link rel="apple-touch-icon" href="/apple-touch-icon.png">
|
||||
<link rel="stylesheet" href="/static/fonts.css">
|
||||
<link rel="stylesheet" href="/static/nyora.css">
|
||||
<link rel="stylesheet" href="/static/app.css?v=20261121c">
|
||||
<link rel="stylesheet" href="/static/app.css?v=20261121d">
|
||||
</head>
|
||||
<body>
|
||||
<div id="app" class="coque">
|
||||
@@ -31,6 +31,6 @@
|
||||
</div>
|
||||
<div id="calque"></div>
|
||||
<div id="annonce" class="sr" role="status" aria-live="polite"></div>
|
||||
<script src="/static/app.js?v=20261121c"></script>
|
||||
<script src="/static/app.js?v=20261121d"></script>
|
||||
</body>
|
||||
</html>
|
||||
Reference in new issue
Block a user