> ## Documentation Index
> Fetch the complete documentation index at: https://infra-docs.kaeyros.org/llms.txt
> Use this file to discover all available pages before exploring further.

# Checklist de surveillance quotidienne à 5h30

> Rituel matinal de 5h30 : vérifier les alertes de nuit, les sauvegardes, les certificats, la santé des sondes et l'état du cluster.

Ce rituel quotidien de vérification est réalisé chaque matin par l'astreinte. Il permet de détecter rapidement les problèmes survenus pendant la nuit et d'assurer la stabilité de la plateforme avant le début de l'activité. La durée cible est de 15 à 20 minutes.

## Durée cible

**15 à 20 minutes**. Passé ce délai, il y a probablement quelque chose à corriger.

> [!TIP]
>
> Cette checklist est aussi disponible en version imprimable auprès de [devops@kaeyros-analytics.com](mailto:devops@kaeyros-analytics.com). Un tableau de bord Grafana dédié agrège les 6 premiers points en une seule vue.

## La checklist

**1. 1. Alertes de nuit**

Ouvrez [alertmanager.kaeyros.org](https://alertmanager.kaeyros.org). Toute alerte encore active doit être traitée ou explicitement acquittée avec commentaire. Toute alerte résolue pendant la nuit doit être vérifiée : est-ce que le service est bien revenu ?

> [!NOTE]
>
> Une alerte acquittée sans action doit toujours avoir un commentaire expliquant pourquoi elle est ignorée (par exemple : "faux positif connu, ticket #12345 ouvert").

**2. 2. Sauvegardes PostgreSQL**

Vérifiez dans le bucket S3 `logical-backup-kaeyros` que la sauvegarde de la nuit est bien présente pour chaque cluster.

```bash theme={null}
aws s3 ls s3://logical-backup-kaeyros/ --recursive | grep $(date +%Y-%m-%d)
```

> [!WARNING]
>
> Si une sauvegarde est manquante, ouvrez un ticket immédiatement. Ne partez pas en production sans sauvegarde du jour.

**3. 3. Certificats en attente**

Listez les certificats qui ne sont pas prêts :

```bash theme={null}
kubectl get certificate -A | grep -v ' True '
```

Tout certificat non prêt depuis plus de 24h est à diagnostiquer. Consultez la page [Débloquer un certificat](https://infra-docs.kaeyros.org/operations/debloquer-certificat.md) pour la procédure de résolution.

**4. 4. Sondes de disponibilité**

Ouvrez [monitoring.kaeyros.org](https://monitoring.kaeyros.org) (Checkmate) et [health-check.kaeyros.org](https://health-check.kaeyros.org). Toute sonde rouge est à traiter.

> [!TIP]
>
> Priorisez les sondes marquées comme critiques. Une sonde rouge sur un service non critique peut attendre 30 minutes, une sonde critique doit être traitée immédiatement.

**5. 5. État du cluster**

Vérifiez que tous les nœuds sont en état Ready :

```bash theme={null}
kubectl get nodes -o wide
```

Puis repérez les pods en état anormal :

```bash theme={null}
kubectl get pods -A | grep -v 'Running\|Completed'
```

> [!NOTE]
>
> Les pods en état `CrashLoopBackOff`, `Error` ou `Pending` depuis plus de 5 minutes méritent une investigation. Les pods `Completed` (jobs terminés) sont normaux.

**6. 6. Applications ArgoCD**

Listez les applications qui ne sont ni synchronisées ni en bonne santé :

```bash theme={null}
argocd app list | grep -v 'Synced.*Healthy'
```

Pour chaque application en dérive, vérifiez si c'est un déploiement en cours ou une anomalie. Les applications en `OutOfSync` depuis plus de 30 minutes doivent être examinées.

**7. 7. VictoriaMetrics et journaux**

Vérifiez que les conteneurs de collecte sont healthy sur le serveur d'outillage. Si VictoriaLogs est unhealthy, la chaîne d'alerte peut être partiellement hors service.

```bash theme={null}
kubectl get pods -n monitoring | grep victoria
```

> [!WARNING]
>
> Une interruption de VictoriaMetrics ou VictoriaLogs masque d'autres problèmes. Traitez en priorité.

**8. 8. Consigner**

Si tout est vert, postez un message bref dans le canal d'astreinte (par exemple : "Checklist 5h30 OK, rien à signaler"). Sinon, ouvrez un ticket ou remontez à l'équipe avec les détails trouvés.

> [!NOTE]
>
> La consigne est obligatoire : elle prouve que la checklist a été effectuée et donne un point de repère horaire à l'équipe.

## Ce qu'il faut escalader tout de suite

| Symptôme | À qui remonter |
| - | - |
| Cluster complètement hors service | Équipe infrastructure immédiatement + [devops@kaeyros-analytics.com](mailto:devops@kaeyros-analytics.com) |
| Base de données corrompue ou perte de données | Équipe infrastructure + tech lead |
| Faille de sécurité suspectée (Wazuh) | RSSI + équipe infrastructure |
| Alerte Wazuh niveau critique | RSSI |

> [!WARNING]
>
> En cas de doute, escaladez. Il vaut mieux signaler un faux positif que manquer un incident majeur.


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.