Ce document fournit des procédures de dépannage et des descriptions de référence des alertes système prédéfinies pour vous aider à identifier les échecs de déploiement et à résoudre les incidents opérationnels liés aux composants de journalisation et de surveillance dans l'appareil Google Distributed Cloud (GDC) air gap. Vous pouvez utiliser ces procédures et définitions d'alertes pour vérifier que les piles de journalisation et de surveillance sont en cours d'exécution, inspecter les configurations de pipeline et résoudre les problèmes de composants.
Identifier les composants d'Observability
La plate-forme d'observabilité déploie ses composants dans l'espace de noms obs-system du cluster d'infrastructure de l'organisation.
L'instance Grafana de l'opérateur d'infrastructure (IO) permet d'accéder aux métriques au niveau de l'organisation pour surveiller les composants d'infrastructure tels que l'utilisation du processeur et la consommation de stockage. Il permet également d'accéder aux journaux d'opérations et d'audit. De plus, il donne accès aux alertes, aux journaux et aux métriques des composants exploitables de GDC.
Les piles de surveillance et de journalisation GDC utilisent des solutions Open Source dans le cadre de la plate-forme d'observabilité. Ces composants collectent les journaux et les métriques des pods Kubernetes, des machines bare metal, des commutateurs réseau, du stockage et des services gérés.
Le tableau suivant décrit tous les composants qui intègrent la plate-forme d'observabilité :
| Composant | Description |
|---|---|
Prometheus |
Prometheus est une base de données de séries temporelles permettant de collecter et de stocker des métriques, et d'évaluer des alertes. Prometheus stocke les métriques dans l'instance Cortex du cluster d'infrastructure de l'organisation pour un stockage à long terme. Prometheus ajoute des étiquettes sous forme de paires clé-valeur et collecte des métriques à partir des nœuds Kubernetes, des pods, des machines bare metal, des commutateurs réseau et des appareils de stockage. |
Alertmanager |
Alertmanager est un système de gestion défini par l'utilisateur qui envoie des alertes lorsque les journaux ou les métriques indiquent que des composants du système sont défaillants ou ne fonctionnent pas normalement. Il gère le routage, la mise en sourdine et l'agrégation des alertes Prometheus. |
Loki |
Loki est une base de données de séries temporelles qui stocke et agrège les journaux de différentes sources. Il indexe les journaux pour permettre des requêtes efficaces. |
Grafana |
Grafana fournit une interface utilisateur (UI) permettant d'afficher les métriques collectées par Prometheus et d'interroger les journaux d'audit et opérationnels des instances Loki correspondantes. L'UI vous permet de visualiser des tableaux de bord de métriques et d'alertes. |
Fluent Bit |
Fluent Bit est un processeur qui extrait les journaux de différents composants ou emplacements et les envoie à Loki. Il s'exécute sur chaque nœud de tous les clusters. |
Identifier les échecs de déploiement
Si votre déploiement est en cours d'exécution et opérationnel, les composants s'exécutent à l'état READY.
Suivez les étapes ci-dessous pour identifier les échecs de déploiement :
Confirmez l'état actuel d'un composant :
kubectl get -n obs-system TYPE/COMPONENTRemplacez les éléments suivants :
TYPE: type de composantCOMPONENT: nom du composant
Un résultat semblable aux lignes suivantes doit s'afficher :
NAME READY AGE COMPONENT 1/1 23hSi le composant est opérationnel, la colonne
READYdu résultat affiche la valeurN/N. Si la colonneREADYn'affiche pas de valeur, cela n'indique pas nécessairement un échec. Le service peut avoir besoin de plus de temps pour traiter la demande.Vérifiez les pods de chaque composant :
kubectl get pods -n obs-system | awk 'NR==1 | /COMPONENT/'Remplacez
COMPONENTpar le nom du composant.Un résultat semblable aux lignes suivantes doit s'afficher :
NAME READY STATUS RESTARTS AGE COMPONENT 1/1 Running 0 23hVérifiez que la colonne
READYaffiche la valeurN/N, que la colonneSTATUSaffiche une valeurRunninget que le nombre deRESTARTSne dépasse pas la valeur2.Un nombre élevé de redémarrages indique les symptômes suivants :
- Les pods échouent et Kubernetes les redémarre.
- La colonne
STATUSaffiche la valeurCrashLoopBackoff.
Pour résoudre l'état d'échec, consultez les journaux des pods.
Si un pod est à l'état
PENDING, cela indique un ou plusieurs des symptômes suivants :- Le pod attend un accès réseau pour télécharger le conteneur nécessaire.
- Un problème de configuration empêche le pod de démarrer. Par exemple, une valeur
Secretrequise par le pod est manquante. - Votre cluster Kubernetes n'a plus de ressources pour planifier le pod, ce qui se produit si de nombreuses applications sont exécutées sur le cluster.
Déterminez la cause d'un état
PENDING:kubectl describe -n obs-system pod/POD_NAMERemplacez
POD_NAMEpar le nom du pod qui affiche l'étatPENDING.Le résultat affiche plus de détails sur le pod.
Accédez à la section
Eventsdu résultat pour afficher un tableau listant les événements récents du pod et un résumé de la cause de l'étatPENDING.Le résultat suivant montre un exemple de section
Eventspour un objet GrafanaStatefulSet:Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 13s (x3 over 12d) statefulset-controller create Pod grafana-0 in StatefulSet grafana successfulSi aucun événement ne se produit dans votre pod ou dans une autre ressource pendant une période prolongée, vous recevez le résultat suivant :
Events: <none>
Vérifier que la pile de journalisation d'observabilité est en cours d'exécution
Suivez les étapes ci-dessous pour vérifier que la pile de journalisation est en cours d'exécution :
Vérifiez que toutes les instances ou tous les pods Loki ont l'injection side-car Istio. Vérifiez que tous les pods Fluent Bit nommés
anthos-audit-logs-forwarder-SUFFIXetanthos-log-forwarder-SUFFIXont reçu l'injection side-car Istio.Vérifiez que toutes les instances Loki s'exécutent sans erreur dans le cluster d'infrastructure de l'organisation.
Vérifiez l'état des objets
anthos-audit-logs-forwarderetanthos-log-forwarderDaemonSetpour vous assurer que toutes les instances s'exécutent sans erreur sur tous les nœuds.Vérifiez que vous obtenez les journaux opérationnels des conteneurs
kube-apiserver-SUFFIXet les journaux d'audit du serveur d'API Kubernetes pour les cinq dernières minutes dans tous les clusters. Pour ce faire, exécutez les requêtes suivantes dans l'instance Grafana :- Journaux opérationnels :
sum (count_over_time({service_name="apiserver"} [5m])) by (cluster, fluentbit_pod) - Journaux d'audit :
sum (count_over_time({cluster=~".+"} [5m])) by (cluster, node)
Vous devez obtenir des valeurs non nulles pour tous les nœuds du plan de contrôle dans le cluster d'infrastructure de l'organisation.
- Journaux opérationnels :
Vérifier que la pile de surveillance Observability est en cours d'exécution
Suivez les étapes ci-dessous pour vérifier que la pile de surveillance est en cours d'exécution :
Vérifiez que les instances Grafana sont en cours d'exécution dans le cluster d'infrastructure de l'organisation. Les pods
grafana-0doivent s'exécuter sans erreur dans les espaces de noms suivants :obs-systeminfra-obs-obs-systemplatform-obs-obs-system
Assurez-vous que tous les composants de surveillance se trouvent dans le maillage de services Istio. Suivez les étapes de la section Identifier les échecs de déploiement. Chacun des pods suivants doit indiquer que tous les conteneurs sont prêts dans la colonne
READY. Par exemple, une valeur de3/3signifie que trois conteneurs sur trois sont prêts. De plus, les pods doivent disposer d'un conteneuristio-proxy. Si les pods ne remplissent pas ces conditions, redémarrez-les :Nom du pod Nombre de conteneurs prêts cortex-2/2cortex-etcd-02/2cortex-proxy-server-2/2cortex-tenant-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-2/2meta-prometheus-04/4cortex-alertmanager-2/2cortex-compactor-2/2cortex-distributor-2/2cortex-etcd-02/2cortex-ingester-2/2cortex-querier-2/2cortex-query-frontend-2/2cortex-query-scheduler-2/2cortex-ruler-2/2cortex-store-gateway-2/2cortex-tenant-2/2grafana-proxy-server-2/2meta-blackbox-exporter-2/2meta-grafana-03/3meta-grafana-proxy-server-*2/2meta-prometheus-04/4Assurez-vous que Cortex s'exécute sans erreur.
Récupérer les journaux d'observabilité
Le tableau suivant contient les commandes que vous devez exécuter pour récupérer les journaux de chacun des composants déployés par la plate-forme d'observabilité.
| Composant | Commande de récupération des journaux |
|---|---|
grafana |
kubectl logs -n obs-system statefulset/grafana |
anthos-prometheus-k8s |
kubectl logs -n obs-system statefulset/anthos-prometheus-k8s |
alertmanager |
kubectl logs -n obs-system statefulset/alertmanager |
ops-logs-loki-io |
kubectl logs -n obs-system statefulset/ops-logs-loki-io |
ops-logs-loki-io-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-io-read |
ops-logs-loki-all |
kubectl logs -n obs-system statefulset/ops-logs-loki-all |
ops-logs-loki-all-read |
kubectl logs -n obs-system statefulset/ops-logs-loki-all-read |
audit-logs-loki-io |
kubectl logs -n obs-system statefulset/audit-logs-loki-io |
audit-logs-loki-io-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-io-read |
audit-logs-loki-pa |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa |
audit-logs-loki-pa-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-pa-read |
audit-logs-loki-all |
kubectl logs -n obs-system statefulset/audit-logs-loki-all |
audit-logs-loki-all-read |
kubectl logs -n obs-system statefulset/audit-logs-loki-all-read |
anthos-log-forwarder |
kubectl logs -n obs-system daemonset/anthos-log-forwarder |
anthos-audit-logs-forwarder |
kubectl logs -n obs-system daemonset/anthos-audit-logs-forwarder |
oplogs-forwarder |
kubectl logs -n obs-system daemonset/oplogs-forwarder |
logmon-operator |
kubectl logs -n obs-system deployment/logmon-operator |
Pour afficher les journaux de l'instance précédente d'un composant, ajoutez l'option -p à la fin de chaque commande. L'ajout de l'option -p vous permet d'examiner les journaux d'une instance ayant échoué précédemment au lieu de l'instance en cours d'exécution.
Afficher la configuration
La pile d'observabilité utilise des ressources personnalisées de l'API Kubernetes pour configurer les pipelines de surveillance et de journalisation.
La ressource personnalisée LoggingPipeline est déployée dans le cluster d'infrastructure de l'organisation et configure les instances Loki.
Les commandes suivantes affichent les actions disponibles que vous pouvez effectuer sur le pipeline de journalisation :
Affichez la configuration actuelle de votre déploiement de pipeline de journalisation :
kubectl get loggingpipeline -n obs-system default -o yamlModifiez la configuration du déploiement de votre pipeline de journalisation :
kubectl edit loggingpipeline -n obs-system default
GDC utilise un opérateur de journalisation et de surveillance nommé logmon-operator pour gérer le déploiement des composants d'observabilité tels que Prometheus et Fluent Bit. L'API du composant logmon-operator est la définition de ressource personnalisée logmon. La définition de ressource personnalisée logmon indique à logmon-operator comment configurer l'observabilité pour votre déploiement. Cette définition de ressource personnalisée inclut les propriétés des volumes pour stocker vos métriques, les règles d'alerte pour Alertmanager, les configurations Prometheus pour collecter les métriques et les configurations Grafana pour les tableaux de bord.
Les commandes suivantes montrent les actions disponibles que vous pouvez effectuer sur la définition de ressource personnalisée logmon :
Affichez la configuration actuelle de votre déploiement Observability :
kubectl get logmon -n obs-system logmon-default -o yamlModifiez la configuration de votre déploiement Observability :
kubectl edit logmon -n obs-system logmon-default
Le résultat de l'exécution de l'une ou l'autre de ces commandes peut faire référence à plusieurs objets Kubernetes ConfigMap pour une configuration ultérieure. Par exemple, vous pouvez configurer des règles Alertmanager dans un objet ConfigMap distinct, référencé par son nom dans la définition de ressource personnalisée logmon. Vous pouvez modifier et afficher la configuration d'Alertmanager via la définition de ressource personnalisée logmon nommée gpc-alertmanager-config.
Pour afficher la configuration d'Alertmanager, exécutez la commande suivante :
kubectl get configmap -n obs-system gpc-alertmanager-config -o yaml
Problèmes courants
Cette section présente les problèmes courants que vous pouvez rencontrer lors du déploiement de la plate-forme d'observabilité.
Vous ne pouvez pas accéder à Grafana
Par défaut, Grafana n'est pas exposé aux machines externes à votre cluster Kubernetes. Pour accéder temporairement à l'interface Grafana depuis l'extérieur du cluster d'infrastructure de l'organisation, vous pouvez transférer le port Service vers localhost. Pour transférer le port de Service, exécutez la commande suivante :
kubectl port-forward -n gpc-system service/grafana 33000\:3000
Dans votre navigateur Web, accédez à http://localhost:33000 pour afficher le tableau de bord Grafana de votre déploiement. Pour mettre fin au processus, appuyez sur les touches Ctrl+C.
Grafana s'exécute lentement
Si Grafana s'exécute lentement, cela indique les éléments suivants :
- Les requêtes adressées à Prometheus ou Loki renvoient un volume excessif de données.
- Les requêtes renvoient plus de données qu'il n'est raisonnable d'en afficher sur un seul graphique.
Pour résoudre les problèmes de lenteur dans Grafana, vérifiez les requêtes sur vos tableaux de bord Grafana personnalisés. Si les requêtes renvoient plus de données qu'il n'est raisonnable d'en afficher sur un seul graphique, envisagez de réduire la quantité de données affichées pour améliorer les performances du tableau de bord.
Le tableau de bord Grafana n'affiche aucune métrique ni aucun journal
Si Grafana n'affiche aucune métrique ni aucun journal, cela peut être dû aux raisons suivantes :
- Les sources de données Grafana ne sont pas correctement configurées.
- Le système rencontre des problèmes de connectivité avec les sources de données de surveillance ou de journalisation.
- Le système ne collecte pas de métriques ni de journaux.
Pour afficher les journaux et les métriques, procédez comme suit :
- Dans l'interface utilisateur de Grafana, cliquez sur Paramètres du tableau de bord.
- Sélectionnez Sources de données.
- Sur la page Sources de données, vérifiez que les sources suivantes s'affichent :
| Nom | Organisation | URL |
|---|---|---|
Audit Logs |
All |
http://audit-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Root |
http://ops-logs-loki-io-read.obs-system.svc:3100 |
Operational Logs |
Org |
http://ops-logs-loki-all-read.obs-system.svc:3100 |
prometheus |
http://anthos-prometheus-k8s.obs-system.svc:9090 |
L'absence de ces sources de données indique que la pile d'observabilité n'a pas réussi à configurer Grafana correctement.
Si vous avez configuré correctement les sources de données, mais qu'aucune donnée ne s'affiche, cela peut indiquer un problème avec les objets Service qui collectent des métriques ou des journaux pour alimenter Prometheus ou Loki.
Lorsque Prometheus collecte des métriques, il suit un modèle d'extraction pour interroger régulièrement vos objets Service afin d'obtenir des métriques et de stocker les valeurs trouvées. Pour que Prometheus découvre vos objets Service pour la collecte de métriques, les conditions suivantes doivent être remplies :
Tous les pods des objets
Servicesont annotés avec'monitoring.gke.io/scrape: "true"'.Le format de métrique Prometheus expose les métriques des pods via HTTP. Par défaut, Prometheus recherche ces métriques au niveau du point de terminaison
http://POD_NAME:80/metrics. Si nécessaire, vous pouvez remplacer le port, le point de terminaison et le schéma à l'aide d'annotations.
Fluent Bit collecte les journaux et est destiné à s'exécuter sur chaque nœud de vos clusters Kubernetes. Fluent Bit envoie les journaux à Loki pour un stockage à long terme.
Si aucun journal n'est présent dans Grafana, essayez les solutions suivantes :
Vérifiez les journaux des instances Loki pour vous assurer qu'elles s'exécutent sans erreur.
Si les instances Loki s'exécutent correctement, mais que les journaux n'apparaissent pas, vérifiez les journaux dans Fluent Bit pour vous assurer que le service fonctionne comme prévu. Pour savoir comment extraire des journaux, consultez Récupérer les journaux d'observabilité.
Alertmanager n'ouvre pas les alertes
Si Alertmanager ne parvient pas à ouvrir les alertes, procédez comme suit :
- Dans votre objet
configMapde l'espace de nomsgpc-system, assurez-vous que l'étiquettelogmon: system_metricsexiste. - Vérifiez que la section de données
configMapinclut une clé nomméealertmanager.yml. La valeur de la cléalertmanager.ymldoit correspondre aux règles d'alerte contenues dans votre fichier de configuration Alertmanager valide. Assurez-vous que la définition de ressource personnalisée
logmonnomméelogmon-defaultdans l'espace de nomsgpc-systemcontient une référence à l'objetconfigMap. La définition de ressource personnaliséelogmon-defaultdoit contenir le nom de l'objetconfigMap, comme illustré dans l'exemple suivant :apiVersion: addons.gke.io/v1 kind: Logmon spec: system_metrics: outputs: default_prometheus: deployment: components: alertmanager: alertmanagerConfigurationConfigmaps: - alerts-configLa valeur
alerts-configde l'exemple correspond au nom de votre objetconfigMap.
Alertmanager n'envoie pas d'alertes aux canaux de notification configurés
Une erreur de configuration peut vous empêcher de recevoir des notifications dans le logiciel externe que vous avez configuré comme canal de notification, tel que Slack, même si Alertmanager génère des alertes dans l'instance Grafana.
Pour recevoir des alertes dans votre logiciel externe, procédez comme suit :
Vérifiez que les valeurs de votre fichier de configuration Alertmanager sont correctement formatées. Lorsque Alertmanager déclenche une alerte, il interroge un webhook sur le logiciel externe.
Assurez-vous que les URL de webhook qui se connectent au logiciel externe sont correctes. Si les URL sont correctes, assurez-vous que le logiciel est configuré pour accepter les webhooks. Vous devrez peut-être générer une clé API pour accéder à l'API du service externe, ou votre clé API actuelle est peut-être arrivée à expiration et vous devez l'actualiser.
Si le service externe se trouve en dehors du déploiement de votre appareil GDC sous air gap, assurez-vous que les règles de sortie sont configurées pour le cluster d'infrastructure de votre organisation. Cette configuration permet à Alertmanager d'envoyer des requêtes à un service situé en dehors du réseau Kubernetes interne. Si vous ne vérifiez pas les règles de sortie, Alertmanager risque de ne pas trouver le logiciel externe.
Vous ne pouvez pas voir les métriques de votre charge de travail limitée au projet
Suivez les étapes ci-dessous pour appliquer une solution de contournement et obtenir des métriques à partir de votre charge de travail :
- Assurez-vous que la ressource personnalisée
MonitoringTargetest à l'étatReady. - Pour extraire votre charge de travail, vous devez déclarer toutes les informations cibles spécifiées dans le
MonitoringTargetde la spécification de pod des charges de travail. Par exemple, si vous déclarez que les métriques sont disponibles sur le port8080, le pod de charge de travail doit déclarer à Kubernetes que le port8080est ouvert. Sinon, Prometheus ignore la charge de travail. - Prometheus exécute plusieurs segments, ce qui signifie que tous les pods Prometheus ne sont pas censés scraper votre pod. Vous pouvez identifier le numéro de segment dans le nom de chaque pod Prometheus. Par exemple,
primary-prometheus-shard0-replica0-0fait partie du segment0. Recherchez le pod à partir duquel vous souhaitez effectuer l'extraction pour chaque segment Prometheus :- Transférez le port du pod
primary-prometheus-shardSHARD_NUMBER-replica0-0de Prometheus dans l'espace de nomsobs-systempour accéder à l'UI Prometheus. RemplacezSHARD_NUMBERdans le nom du pod par des nombres croissants chaque fois que vous vérifiez un nouveau segment. - Accédez à l'UI Prometheus dans votre navigateur Web et procédez comme suit :
- Cliquez sur État > Cibles.
- Assurez-vous que le pod que vous souhaitez scraper figure dans la liste. Si ce n'est pas le cas, vérifiez l'instance suivante. S'il n'y a plus de segments à vérifier, vérifiez à nouveau que Prometheus dispose de suffisamment d'informations pour le découvrir.
- Vérifiez que le pod
primary-prometheus-shardSHARD_NUMBER-replica0-0de Prometheus consigne les erreurs dans l'espace de nomsobs-system.
- Transférez le port du pod
- Vérifiez les erreurs des journaux du pod
cortex-tenantdans l'espace de nomsobs-system.
Aucun tableau de bord n'a été créé
Suivez les étapes ci-dessous pour appliquer une solution de contournement et découvrir pourquoi un tableau de bord n'est pas créé :
- Vérifiez l'état de la ressource personnalisée
Dashboardpour détecter d'éventuelles erreurs. La ressource personnalisée doit avoir l'étatReady. - Assurez-vous de vérifier la bonne instance Grafana. Par exemple, si vous avez déployé le tableau de bord dans l'espace de noms de votre projet nommé
my-namespace, le tableau de bord doit se trouver dans l'instance Grafana au niveau du point de terminaisonhttps://GDCH_URL/my-namespace/grafana. - Vérifiez les journaux de
fleet-admin-controllerdans l'espace de nomsgpc-system. Recherchez les erreurs liées au tableau de bord en recherchant son nom dans les journaux. Si vous trouvez des erreurs, cela signifie que le fichier JSON de votre objetconfigMapn'est pas au bon format et que vous devez le corriger. - Vérifiez les journaux Grafana dans l'espace de noms
PROJECT_NAME-obs-systempour rechercher d'éventuelles erreurs. Les tableaux de bord interrogent l'API REST Grafana. Grafana doit donc fonctionner pour qu'un tableau de bord soit créé.
Votre alerte ne s'ouvre pas
Suivez les étapes ci-dessous pour appliquer une solution de contournement et identifier pourquoi une alerte ne s'ouvre pas :
- Assurez-vous que Cortex et Loki sont tous deux en mode bucket-storage. Les règles ne fonctionnent que si le backend est soutenu par un stockage de bucket.
- Vérifiez que l'état des ressources personnalisées
MonitoringRuleetLoggingRuleestReady. - Vérifiez les conditions d'alerte suivantes :
- Expressions PromQL et LogQL : comparez toutes les fonctions que vous utilisez à la documentation Créer des règles d'alerte pour vous assurer que vos règles sont configurées comme vous le souhaitez. Assurez-vous que les expressions renvoient une valeur
trueoufalse. - Durée : le champ
forde la ressource personnalisée définit la durée pendant laquelle une condition doit être vraie. Le champintervaldéfinit la fréquence d'évaluation de la condition. Comparez les valeurs de ces champs et assurez-vous que vos conditions sont logiques.
- Expressions PromQL et LogQL : comparez toutes les fonctions que vous utilisez à la documentation Créer des règles d'alerte pour vous assurer que vos règles sont configurées comme vous le souhaitez. Assurez-vous que les expressions renvoient une valeur
- Vérifiez l'interface utilisateur de Grafana pour voir si l'alerte est ouverte à l'aide de la page Alertes.
- Si Grafana indique que l'alerte est ouverte, vérifiez vos canaux de notification et assurez-vous qu'Alertmanager peut les contacter pour générer l'alerte.
Les journaux attendus ne sont pas disponibles
Si vous ne voyez pas les journaux opérationnels de votre composant, procédez comme suit :
- Vérifiez si votre composant est en cours d'exécution et produit des journaux.
- Vérifiez si les journaux de vos composants doivent être collectés en tant que fonctionnalité intégrée. Si ce n'est pas le cas, assurez-vous que la ressource personnalisée
LoggingTargetest déployée avec une spécification valide et l'étatReady.
Suivez les étapes ci-dessous si vous ne voyez pas les journaux d'audit de votre composant :
- Si votre composant écrit des journaux dans un fichier, assurez-vous que le fichier existe réellement dans le système de fichiers du nœud au niveau du chemin d'accès
/var/log/audit/SERVICE_NAME/NAMESPACE/ACCESS_LEVEL/audit.log. - Vérifiez que le pod
anthos-audit-logs-forwarder-SUFFIXsur le même nœud ne comporte aucune erreur. - Si votre composant utilise un point de terminaison syslog pour recevoir des journaux, assurez-vous que la ressource personnalisée
AuditLoggingTargetest déployée avec une spécification valide et un étatReady.
Identifier les règles d'alerte prédéfinies
Cette section contient des informations sur les règles d'alerte prédéfinies qui existent dans les composants d'observabilité pour vous avertir des défaillances du système.
Règles d'alerte prédéfinies dans Loki
Le tableau suivant fournit les règles d'alerte préinstallées dans Loki pour les échecs de journalisation d'audit :
| Nom | Type | Description |
|---|---|---|
FluentBitAuditLoggingWriteFailure |
Critique | Fluent Bit n'a pas réussi à transférer les journaux d'audit au cours des cinq dernières minutes. |
LokiAuditLoggingWriteFailure |
Critique | Loki n'a pas réussi à écrire les journaux d'audit dans l'espace de stockage backend. |
Lorsque l'une ou plusieurs de ces alertes s'affichent, cela signifie que le système a perdu au moins un enregistrement d'audit.
Règles d'alerte prédéfinies dans Prometheus
Le tableau suivant présente les règles d'alerte préinstallées dans Prometheus pour les composants Kubernetes :
| Nom | Type | Description |
|---|---|---|
KubeAPIDown |
Critique | L'API Kube a disparu de la découverte de cibles Prometheus pendant 15 minutes. |
KubeClientErrors |
Avertissement | Le taux d'erreur du client du serveur d'API Kubernetes est supérieur à 0,01 depuis 15 minutes. |
KubeClientErrors |
Critique | Le taux d'erreur du client du serveur d'API Kubernetes est supérieur à 0,1 depuis 15 minutes. |
KubePodCrashLooping |
Avertissement | Le pod est dans un état de boucle de plantage depuis plus de 15 minutes. |
KubePodNotReady |
Avertissement | Le pod est dans un état non prêt depuis plus de 15 minutes. |
KubePersistentVolumeFillingUp |
Critique | Les octets disponibles d'un objet PersistentVolume revendiqué sont inférieurs à 0,03. |
KubePersistentVolumeFillingUp |
Avertissement | Les octets disponibles d'un objet PersistentVolume revendiqué sont inférieurs à 0,15. |
KubePersistentVolumeErrors |
Critique | Le volume persistant est en phase Failed ou Pending depuis cinq minutes. |
KubeNodeNotReady |
Avertissement | Le nœud n'est pas prêt depuis plus de 15 minutes. |
KubeNodeCPUUsageHigh |
Critique | L'utilisation du processeur du nœud est supérieure à 80 %. |
KubeNodeMemoryUsageHigh |
Critique | L'utilisation de la mémoire du nœud est supérieure à 80 %. |
NodeFilesystemSpaceFillingUp |
Avertissement | L'utilisation du système de fichiers du nœud est supérieure à 60 %. |
NodeFilesystemSpaceFillingUp |
Critique | L'utilisation du système de fichiers du nœud est supérieure à 85 %. |
CertManagerCertExpirySoon |
Avertissement | Un certificat arrive à expiration dans 21 jours. |
CertManagerCertNotReady |
Critique | Un certificat n'est pas prêt à diffuser du trafic après 10 minutes. |
CertManagerHittingRateLimits |
Critique | Vous avez atteint une limite de débit lors de la création ou du renouvellement de certificats pendant cinq minutes. |
DeploymentNotReady |
Critique | Un déploiement sur le cluster d'infrastructure de l'organisation est dans un état non prêt depuis plus de 15 minutes. |
StatefulSetNotReady |
Critique | Un objet StatefulSet sur le cluster d'infrastructure de l'organisation est dans un état non prêt depuis plus de 15 minutes. |
AuditLogsForwarderDown |
Critique | Le DaemonSet anthos-audit-logs-forwarder est indisponible depuis plus de 15 minutes. |
AuditLogsLokiDown |
Critique | Le StatefulSet audit-logs-loki est dans un état non prêt depuis plus de 15 minutes. |