Grafana Loki : Une solution scalable pour vos logs

L’observabilité ne se limite pas aux métriques et aux traces : les logs jouent un rôle essentiel dans la compréhension et le diagnostic des systèmes IT modernes. De nombreuses solutions de gestion des logs existent, mais elles peuvent être complexes et coûteuses en matière d’indexation et de stockage. Loki, développé par Grafana Labs, offre une approche alternative, scalable et économique pour la centralisation et l’analyse des logs.

Cas d’utilisation concret : Imaginez un système de microservices en production générant des millions de lignes de logs par jour. Avec certaines solutions traditionnelles, les coûts d’indexation et de stockage peuvent rapidement devenir un problème. Grafana Loki réduit ce défi en utilisant une approche inspirée de Prometheus, où seuls les métadonnées sont indexées, permettant ainsi un stockage plus efficace.

Qu’est-ce que Grafana Loki ?

Grafana Loki est une solution open-source de gestion des logs conçue pour offrir une alternative plus simple et plus économique aux solutions traditionnelles. Contrairement à certaines plateformes qui indexent entièrement les logs, Loki n’indexe que les métadonnées, ce qui réduit significativement les besoins en stockage et en puissance de calcul.

Comparatif entre solutions de gestion des logs et Grafana Loki

Critère	Solutions classiques	Grafana Loki
Indexation	Complète (contenu + métadonnées)	Partielle (métadonnées uniquement)
Coût de stockage	Élevé	Faible
Performances de recherche	Rapide pour les recherches full-text	Moins rapide pour les recherches de contenu
Scalabilité	Peut-être complexe	Conçu pour être hautement scalable
Intégration avec Grafana	Possible via des plugins	Native
Courbe d’apprentissage	Peut-être abrupte	Généralement plus douce
Flexibilité des requêtes	Très élevée (ex: Lucene query syntax)	Limitée, mais suffisante pour la plupart des cas

Les principales fonctionnalités de Grafana Loki

• Stockage optimisé : Moins gourmand en ressources grâce à l’indexation des métadonnées uniquement.
• Compatibilité avec Prometheus : Même logique de fonctionnement que Prometheus pour les métriques.
• Requêtage par labels : Recherche des logs en fonction de labels associés.
• Intégration avec Grafana : Visualisation intuitive des logs. Support natif des logs
• Kubernetes : Facile à déployer pour observer les workloads Kubernetes.
• Multi-tenance : Permet à plusieurs équipes d’utiliser la même infrastructure tout en isolant leurs données.
• Stockage objet : Support des solutions de stockage objet comme Amazon S3, Azure Blob Storage et MinIO pour la rétention à long terme des logs.
• Cache distribué : Intégration avec Memcached pour optimiser les performances des requêtes et réduire la charge sur les composants de stockage.

Architecture de Grafana Loki

L’architecture de Grafana Loki repose sur plusieurs composants :

• Promtail : Collecte et envoie les logs vers Loki.
• Distributor : Reçoit les logs entrants et les répartit aux ingesters.
• Ingester : Stocke temporairement les logs avant de les écrire sur un stockage persistant.
• Querier : Interroge les logs stockés.
• Ruler : Gère les alertes basées sur les logs.
• Store Gateway : Permet d’accéder aux logs stockés dans un stockage objet (S3, Azure Blob, MinIO, etc.).
• Cache (Memcached) : Utilisé pour améliorer la rapidité des requêtes et réduire la charge sur le stockage principal.

Deux modes d’installation sont possibles comme pour Grafana Mimir :

• Monolithique : Tous les composants sont regroupés dans une seule instance. Microservices : Chaque composant est déployé indépendamment.

Visualisation avec Grafana

Grafana offre des outils puissants pour visualiser les logs collectés par Loki :

• Explore : Interface intuitive pour explorer et filtrer les logs en temps réel.
• Dashboards : Création de tableaux de bord personnalisés pour visualiser les métriques et les logs.

Exemple de dashboard pour les logs NGINX:

• Affichage du nombre de requêtes par statut HTTP

Top 10 des IP rejetés :

Alertes avec Loki

Loki permet de configurer des alertes basées sur les logs :

• Définition de règles d’alerte avec LogQL
• Intégration avec Grafana Alerting
• Exemple de règle d’alerte :

groups:
  - name: http_errors
    rules:
      - alert: HighErrorRate
        expr: |
          sum(rate({job="nginx"}[5m])) by (status_code)
          / sum(rate({job="nginx"}[5m]))
          > 0.1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "High HTTP error rate"
          description: "Error rate is above 10% for the last 10 minutes"

Avantages et inconvénients

Avantages :

• Coûts de stockage réduits
• Scalabilité élevée
• Intégration facile dans l’écosystème Grafana

Inconvénients :

• Fonctionnalités de recherche moins avancées que certaines solutions traditionnelles
• Écosystème moins mature que des solutions établies comme ELK
• Peut nécessiter plus d’effort pour des cas d’utilisation très spécifiques

Conclusion

Grafana Loki offre une approche rafraîchissante de la gestion des logs, particulièrement adaptée aux environnements cherchant à optimiser leurs coûts et leur scalabilité. Cependant, il n’est pas une solution universelle et peut ne pas convenir à tous les cas d’usage, notamment ceux nécessitant des capacités de recherche très avancées.

Avant d’adopter Loki, il est crucial d’évaluer soigneusement vos besoins spécifiques en matière de gestion des logs et de les comparer aux forces et faiblesses de la solution. Dans de nombreux cas, Loki peut offrir un excellent compromis entre fonctionnalités, performances et coût, mais il est important de rester conscient de ses limitations potentielles.

Ressources complémentaires :

Documentation officielle de Grafana Loki

Référentiel GitHub de Grafana Loki

Référentiel GitHub de Promtail