Skip to main content
Ce rituel quotidien de vérification est réalisé chaque matin par l’astreinte. Il permet de détecter rapidement les problèmes survenus pendant la nuit et d’assurer la stabilité de la plateforme avant le début de l’activité. La durée cible est de 15 à 20 minutes.

​
Durée cible

15 à 20 minutes. Passé ce délai, il y a probablement quelque chose à corriger.
Cette checklist est aussi disponible en version imprimable auprès de devops@kaeyros-analytics.com. Un tableau de bord Grafana dédié agrège les 6 premiers points en une seule vue.

​
La checklist

1

1. Alertes de nuit

Ouvrez alertmanager.kaeyros.org. Toute alerte encore active doit être traitée ou explicitement acquittée avec commentaire. Toute alerte résolue pendant la nuit doit être vérifiée : est-ce que le service est bien revenu ?
Une alerte acquittée sans action doit toujours avoir un commentaire expliquant pourquoi elle est ignorée (par exemple : “faux positif connu, ticket #12345 ouvert”).
2

2. Sauvegardes PostgreSQL

Vérifiez dans le bucket S3 logical-backup-kaeyros que la sauvegarde de la nuit est bien présente pour chaque cluster.
Si une sauvegarde est manquante, ouvrez un ticket immédiatement. Ne partez pas en production sans sauvegarde du jour.
3

3. Certificats en attente

Listez les certificats qui ne sont pas prêts :
Tout certificat non prêt depuis plus de 24h est à diagnostiquer. Consultez la page Débloquer un certificat pour la procédure de résolution.
4

4. Sondes de disponibilité

Ouvrez monitoring.kaeyros.org (Checkmate) et health-check.kaeyros.org. Toute sonde rouge est à traiter.
Priorisez les sondes marquées comme critiques. Une sonde rouge sur un service non critique peut attendre 30 minutes, une sonde critique doit être traitée immédiatement.
5

5. État du cluster

Vérifiez que tous les nœuds sont en état Ready :
Puis repérez les pods en état anormal :
Les pods en état CrashLoopBackOff, Error ou Pending depuis plus de 5 minutes méritent une investigation. Les pods Completed (jobs terminés) sont normaux.
6

6. Applications ArgoCD

Listez les applications qui ne sont ni synchronisées ni en bonne santé :
Pour chaque application en dérive, vérifiez si c’est un déploiement en cours ou une anomalie. Les applications en OutOfSync depuis plus de 30 minutes doivent être examinées.
7

7. VictoriaMetrics et journaux

Vérifiez que les conteneurs de collecte sont healthy sur le serveur d’outillage. Si VictoriaLogs est unhealthy, la chaîne d’alerte peut être partiellement hors service.
Une interruption de VictoriaMetrics ou VictoriaLogs masque d’autres problèmes. Traitez en priorité.
8

8. Consigner

Si tout est vert, postez un message bref dans le canal d’astreinte (par exemple : “Checklist 5h30 OK, rien à signaler”). Sinon, ouvrez un ticket ou remontez à l’équipe avec les détails trouvés.
La consigne est obligatoire : elle prouve que la checklist a été effectuée et donne un point de repère horaire à l’équipe.

​
Ce qu’il faut escalader tout de suite

En cas de doute, escaladez. Il vaut mieux signaler un faux positif que manquer un incident majeur.