bolbol/nas-runbooks
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

docs(hermes-tt): index - fix livelock sweep attachments (scan_fail_count)

Browse Source
This commit is contained in:
bolbol
2026-08-07 23:35:51 +00:00
parent de759c72db
commit 08e3dd67ee
1 changed files with 1 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
_INDEX.md
+1
View File
@@ -193,3 +193,4 @@
- [hermes-tt/ria-179-articles-fiabilite-citation.md](hermes-tt/ria-179-articles-fiabilite-citation.md) -- Audit ingestion RIA (179 articles verbatim, 180 notes NyoraNotes) demande par Nabil : extraction/hash/index confirmes exacts, mais 12 articles (2,5,41,97,109,127,132,142,148,152,164,172) avaient un residu TITRE/Chapitre/Section du groupe suivant colle en fin de fichier, polluant le ranking FTS (ex. art.97 remontait sur "penalite retard" hors-sujet). Corrige sur fichiers locaux + notes, verifie stable sans reindexation manuelle (06/08/2026) - [hermes-tt/ria-179-articles-fiabilite-citation.md](hermes-tt/ria-179-articles-fiabilite-citation.md) -- Audit ingestion RIA (179 articles verbatim, 180 notes NyoraNotes) demande par Nabil : extraction/hash/index confirmes exacts, mais 12 articles (2,5,41,97,109,127,132,142,148,152,164,172) avaient un residu TITRE/Chapitre/Section du groupe suivant colle en fin de fichier, polluant le ranking FTS (ex. art.97 remontait sur "penalite retard" hors-sujet). Corrige sur fichiers locaux + notes, verifie stable sans reindexation manuelle (06/08/2026)
- [hermes-tt/nyora-notes-tt-attachments-liaison-onedrive-07-08-2026.md](hermes-tt/nyora-notes-tt-attachments-liaison-onedrive-07-08-2026.md) -- content_hash jamais calcule sur les PJ mail (0/41), JOIN avec onedrive_documents structurellement vide ; fix + backfill (17/20), attachments_vec cree (2048d NVIDIA NIM), Phase 2 extraction ajoutee (nyora-convert-api upload multipart, 14/20 ok) + embedding (14/14 ok). JOIN exact content_hash toujours 0 (structurel, PJ 2026 trop recentes) mais JOIN approximatif ao_reference fonctionne (4/14 PJ avec un match OneDrive) -- confirme que la cle de liaison fiable est la reference AO, pas un hash/identifiant unique. Bonus : deux pieges Docker (docker restart ne recharge jamais une image rebuild, DDL perdue sans wal_checkpoint avant redemarrage) (07/08/2026) - [hermes-tt/nyora-notes-tt-attachments-liaison-onedrive-07-08-2026.md](hermes-tt/nyora-notes-tt-attachments-liaison-onedrive-07-08-2026.md) -- content_hash jamais calcule sur les PJ mail (0/41), JOIN avec onedrive_documents structurellement vide ; fix + backfill (17/20), attachments_vec cree (2048d NVIDIA NIM), Phase 2 extraction ajoutee (nyora-convert-api upload multipart, 14/20 ok) + embedding (14/14 ok). JOIN exact content_hash toujours 0 (structurel, PJ 2026 trop recentes) mais JOIN approximatif ao_reference fonctionne (4/14 PJ avec un match OneDrive) -- confirme que la cle de liaison fiable est la reference AO, pas un hash/identifiant unique. Bonus : deux pieges Docker (docker restart ne recharge jamais une image rebuild, DDL perdue sans wal_checkpoint avant redemarrage) (07/08/2026)
- [hermes-tt/sharepoint-delta-sync.md](hermes-tt/sharepoint-delta-sync.md) -- Ingestion SharePoint -> archive locale mise en place et validée : endpoint POST /sharepoint-sync sur hermes-mail-browser, workflow n8n pBF8OzVvPnGILGgj (toutes les 60 min). Réglages navigateur persistants (désactivation ouverture Office inline, téléchargement PDF forcé), authentification X-Ingest-Key. Piège DSM : port publié sur IP LAN spécifique (192.168.100.33), inaccessible via 172.17.0.1 depuis un autre container, pas de hairpin NAT -- passer par ssh nas-host pour tester. Testé sur 1 an d'historique, 3 sites actifs : 10 downloaded, 0 errors (06/08/2026) - [hermes-tt/sharepoint-delta-sync.md](hermes-tt/sharepoint-delta-sync.md) -- Ingestion SharePoint -> archive locale mise en place et validée : endpoint POST /sharepoint-sync sur hermes-mail-browser, workflow n8n pBF8OzVvPnGILGgj (toutes les 60 min). Réglages navigateur persistants (désactivation ouverture Office inline, téléchargement PDF forcé), authentification X-Ingest-Key. Piège DSM : port publié sur IP LAN spécifique (192.168.100.33), inaccessible via 172.17.0.1 depuis un autre container, pas de hairpin NAT -- passer par ssh nas-host pour tester. Testé sur 1 an d'historique, 3 sites actifs : 10 downloaded, 0 errors (06/08/2026)
- [hermes-tt/nyora-notes-tt-sweep-livelock-fix-08-08-2026.md](hermes-tt/nyora-notes-tt-sweep-livelock-fix-08-08-2026.md) -- run_batch_sweep_all_years.sh bloque (ORDER BY folder_path deterministe + abort apres 3 echecs consecutifs) : 3 notes qui timeoutent systematiquement au listing PJ OWA revenaient toujours en tete de requete et empechaient tout progres sur les 46 autres notes en attente (66->49 puis stuck 49 pendant 14 lots, ~1h40 perdues). Fix : colonne notes.scan_fail_count, ORDER BY scan_fail_count ASC puis folder_path, sink automatique des notes en echec. Rebuild + up -d (jamais restart), verifie sur le lot suivant. Bonus : rebuild a aussi fige en dur le fix embed_attachments.py (vec0) jusque-la seulement patche en live (08/08/2026)