Fiabilité et auto-réparation

Sondes

La plupart des sondes doivent échouer deux fois de suite avant qu’un incident ne s’ouvre ; un conteneur arrêté ou une base de données corrompue agit dès le premier échec. Une sonde qui réussit remet à zéro le compteur de chaque type d’incident qu’elle peut déclencher.

Le manuel d’intervention

• Service ou écouteur hors service : redémarrer le conteneur et attendre la santé ; si les journaux montrent un jeton de messagerie invalide, escalader avec l’extrait plutôt que réécrire un jeton en silence.
• Écouteur obsolète deux fois en une heure : escalader, car cela ressemble à une régression plutôt qu’à un incident passager.
• Flux d’événements ou API hors service : recharger la configuration du proxy si elle est valide, redémarrer le conteneur, et si un déploiement a eu lieu dans les dernières 24 heures, le signaler comme candidat au retour arrière.
• Pression disque : compacter le journal, faire tourner les journaux, purger l’état du gardien.
• Certificat expirant : renouveler et recharger le proxy.
• Anti-oscillation : le même incident se répétant plus que le nombre configuré de fois en 24 heures arrête l’auto-réparation et escalade.

Au-delà des redémarrages

• Un résumé quotidien récapitule les incidents et les actions.
• Une exécution synthétique hebdomadaire de bout en bout exerce les vrais flux sur l’environnement de préproduction.
• Une veille logique exécute la suite de tests du produit sur le code déployé dans un conteneur en lecture seule et compare avec la référence verte : un test qui était vert et devient rouge est une régression ; un test rouge absent de la référence est une notification, pas une action.
• Un pipeline de correction autonome peut mener une régression confirmée à travers un correctif ciblé, les tests locaux, une branche, la CI, la préproduction, l’exécution synthétique, la fusion et la production avec une barrière de santé et un retour arrière automatique. Les secrets sensibles sont retirés de son environnement et les chemins interdits sont refusés.
• Le gardien s’exécute sous un superviseur de services avec un chien de garde, de sorte qu’une boucle bloquée est redémarrée, pas seulement une boucle plantée.

À l’intérieur du produit

• Une file d’envoi durable pour le bot : les messages d’approbation, les avis dans les salons et leurs retraits sont écrits en base et vidés par la boucle, de sorte qu’une décision prise pendant que le bot est hors service est quand même livrée.
• Les webhooks réessaient avec un délai croissant et un circuit par point de terminaison.
• Un balayage nocturne rapproche la liste d’événements du serveur d’accueil avec le journal de messages du bot et enregistre chaque message qui n’est jamais arrivé ; un trou se referme lorsque le message apparaît plus tard, et un balayage partiel est consigné comme incomplet plutôt que comme propre.
• Un chien de garde de matérialisation alerte les administrateurs lorsque le score en cache le plus récent a plus de 26 heures ou que la fenêtre est insuffisamment couverte.
• La sécurité IA change de fournisseur lorsque le fournisseur actif cesse de répondre.
• Chaque tâche de notation s’exécute hors de la boucle d’événements, de sorte qu’une longue passe ne peut jamais figer le bot ; un test le garantit.