Moderniser l’observabilité en production
Faire évoluer la gestion des métriques et des logs vers une solution centralisée, légère et rapide, adaptée à des volumes importants.
Une organisation exploitant environ 200 serveurs s’appuyait sur Nagios, Elastic et Prometheus, avec des connexions SSH ponctuelles pour la consultation de logs. Les différentes sources éparpillées compliquaient les investigations.
Gestion d'une évolution progressive vers Prometheus et Thanos, puis VictoriaMetrics pour les métriques. Transition vers Vector et Loki, puis vers Quickwit pour les logs et traces. Point central de visualisation avec Grafana et routage des alertes avec Alertmanager. Ajout d'un processus de création et de résolution d'incidents et d'un catalogue de services à l'aide d'incident.io.
- Environ 600 Go de métriques conservées sur une fenêtre de deux mois à travers quelques clusters VictoriaMetrics.
- Environ 4 To de logs provenant de Kubernetes et de conteneurs LXC traités sur une fenêtre de trois semaines.
- Centralisation des tableaux de bord, métriques, logs et traces afin que tout soit accessible depuis Grafana.
- Des alertes routées vers les bons intervenants plutôt qu'envoyées en masse à une seule personne.
DÉPART
- Nagios
- SSH ponctuel
- Supervision fragmentée entre Elastic et Grafana
- Logs dispersés
- Alertes envoyées à une personne
DESTINATION
- 01Hôtes et services catalogués
- 02Visualisation centralisée par Grafana
- 03Cluster de monitoring
- 04Gestion d'incidents