Gérer les journaux de flux

Utilisez les journaux de flux pour enregistrer les métadonnées du trafic réseau, y compris les quintuplets, dans Google Distributed Cloud (GDC) air-gapped vers la pile d'observabilité sous forme de journaux interrogeables. Utilisez ces journaux pour :

Comprendre les flux de trafic pour un service particulier dans une organisation.
Comprendre et identifier les problèmes liés à l'état du réseau d'une charge de travail Kubernetes
Vérifiez les règles de réseau Kubernetes.

Les journaux de flux sont une fonctionnalité GDC basée sur le projet Open Source Hubble : https://github.com/cilium/hubble. Configurez les journaux de flux à l'aide de la ressource FlowLog de l'API Networking.

Avant de commencer

Vous devez obtenir l'autorisation de gérer ou d'afficher les journaux de flux depuis la console GDC. Pour gérer les journaux de flux, demandez à l'administrateur IAM de votre organisation de vous accorder le rôle Administrateur des journaux de flux (flowlog-admin). Pour afficher uniquement les journaux de flux existants, demandez à votre administrateur IAM de l'organisation de vous accorder le rôle Lecteur de journaux de flux (flowlog-viewer).

Pour savoir comment définir des liaisons de rôle à partir de la console GDC, consultez Accorder l'accès aux ressources.
Avant de pouvoir interroger et afficher les journaux de flux dans les tableaux de bord, vous devez obtenir l'accès à l'instance de surveillance. Pour en savoir plus, consultez Interroger et afficher les métriques.

Créer un journal de flux

Créez un journal de flux pour enregistrer les métadonnées du trafic réseau filtrées par un ensemble de spécifications donné.

Créer un journal de flux avec des filtres de protocole et d'espace de noms

Créez un fichier nommé example-flowlog.yaml avec le contenu suivant :

apiVersion: networking.gdc.goog/v1
kind: FlowLog
metadata:
  name: "FLOW_LOG_NAME"
  namespace: "platform"
spec:
  filters:
    - l4Protocols:
        - tcp
      source:
        namespacePodSelectors:
          - namespace: gpc-system
          - namespace: kube-system
      destination:
        namespacePodSelectors:
          - namespace: kube-system
  lifetime:
    duration: "1h"

Remplacez FLOW_LOG_NAME par le nom choisi pour le journal de flux.

Dans cet exemple, le journal de flux capture tous les flux pour lesquels une connexion TCP a été démarrée par un pod dans l'espace de noms gpc-system ou kube-system vers un pod dans l'espace de noms kube-system. L'enregistrement des journaux s'arrête une heure après la création de l'objet.

Créez l'objet de journal de flux :
```
kubectl --kubeconfig MANAGEMENT_API_SERVER apply -f example-flowlog.yaml
```
Remplacez MANAGEMENT_API_SERVER par le chemin d'accès au fichier kubeconfig pour le serveur d'API Management zonale.

Remarque : L'objet FlowLog doit être créé dans l'espace de noms platform.

Vérifiez que la valeur FLOW_LOG_NAME a été correctement réconciliée et que le processus de journalisation a démarré en examinant le champ Status :

kubectl --kubeconfig MANAGEMENT_API_SERVER describe -n platform FLOW_LOG_NAME

Exemple d'état :

Status:
  Clusters:
    Cluster:  org-1-infra-cluster
    Conditions:
      Last Transition Time:  2024-01-19T01:46:11Z
      Message:
      Observed Generation:   1
      Reason:                ResourcesPropagated
      Status:                True
      Type:                  Propagated
    Name:                    cilium-flowlog-config
    Namespace:               kube-system
    Node:                    org-1-infra
    Cluster:                 user-vm-1-cluster
    Conditions:
      Last Transition Time:  2024-01-19T01:46:11Z
      Message:
      Observed Generation:   1
      Reason:                ResourcesPropagated
      Status:                True
      Type:                  Propagated
    Name:                    cilium-flowlog-config
    Namespace:               kube-system
    Node:                    user-vm-1
    Cluster:                 user-vm-2-cluster
    Conditions:
      Last Transition Time:  2024-01-19T01:46:11Z
      Message:
      Observed Generation:   1
      Reason:                ResourcesPropagated
      Status:                True
      Type:                  Propagated
    Name:                    cilium-flowlog-config
    Namespace:               kube-system
    Node:                    user-vm-2
  Conditions:
    Last Transition Time:  2024-01-18T19:17:53Z
    Message:
    Observed Generation:   1
    Reason:                Active
    Status:                True
    Type:                  Logging
    Last Transition Time:  2024-01-19T01:46:11Z
    Message:
    Observed Generation:   1
    Reason:                ResourcesPropagated
    Status:                True
    Type:                  Propagated
    Last Transition Time:  2024-01-18T19:17:53Z
    Message:
    Observed Generation:   1
    Reason:                Succeeded
    Status:                True
    Type:                  Reconciled
  Start Time:              2024-01-18T19:17:53Z
  End Time:              2024-01-18T20:17:53Z

Cet exemple de résultat contient les conditions suivantes :

Propagated : la configuration du journal de flux a été envoyée aux clusters user-vm-1, user-vm-2 et org-1-infra.
Reconciled : le journal de flux a été programmé avec succès sur les clusters user-vm-1, user-vm-2 et org-1-infra.
Logging : le journal de flux n'est pas expiré ni désactivé, n'a rencontré aucune erreur et peut générer des journaux si les filtres correspondent aux flux.
Start Time et End Time indiquent que le job a commencé à 19:17:53 et qu'il expire à 20:17:53.

Pour que ce journal de flux puisse générer des entrées de journal, toutes les conditions Propagated, Reconciled et Logging doivent être remplies.

Modifier un journal de flux

Pour modifier un journal de flux existant, modifiez la définition de l'objet de journal de flux créé dans le fichier example-flowlog.yaml et appliquez-le à nouveau :

kubectl --kubeconfig MANAGEMENT_API_SERVER apply -f example-flowlog.yaml

Afficher les journaux de flux dans le tableau de bord de surveillance

Ouvrez le tableau de bord des journaux opérationnels. Pour en savoir plus, consultez Interroger les journaux opérationnels.
Définissez la valeur du menu déroulant identifier sur network-flow-logs, puis cliquez sur add json parser (ajouter un analyseur JSON) et fournissez la valeur suivante à la requête : {identifier="network-flow-logs"} | json :
Cliquez sur Exécuter la requête. Les entrées de journal de flux enregistrées s'affichent :
Utilisez les filtres pour affiner davantage les résultats. Par exemple, définissez la valeur user-vm-1 dans le menu déroulant cluster pour n'examiner que les flux collectés à partir du cluster user-vm-1 :
Parcourez les entrées de journaux de flux, développez l'entrée pour afficher les détails et ajoutez d'autres filtres de libellés si nécessaire à l'aide de l'icône de raccourci. Dans cet exemple, nous souhaitons filtrer plus précisément les flux par adresse IP source :
Cliquez sur l'icône de raccourci + pour filtrer les flux par champ de métadonnées spécifique.

Afficher les résultats par nom de journal de flux

Lorsque plusieurs journaux de flux sont créés, un filtre de libellé supplémentaire peut être créé pour afficher les résultats d'un ou de plusieurs journaux de flux.

Pour afficher les résultats limités aux journaux générés par FLOW_LOG_NAME, créez un filtre de libellé avec les valeurs suivantes :

La valeur de Label est On. Ce champ est sensible à la casse.
La valeur de Operator est ~=. Il utilise un comparateur d'expressions régulières.
La valeur de Value est /FLOW_LOG_NAME/. La valeur FLOW_LOG_NAME doit être entourée de /.

Filtrez les résultats pour n'afficher que les journaux générés par flowlog1 :

Filtrer les libellés par nom de flux

Références

Documentation sur l'exportateur dynamique Hubble : https://docs.cilium.io/en/latest/observability/hubble-exporter/#dynamic-exporter-configuration