Tableaux de bord de surveillance et de journalisation pour Cloud TPU

Le dépôt des tableaux de bord de surveillance et de débogage Cloud TPU contient toute l'infrastructure et la logique nécessaires pour surveiller et déboguer les workflows exécutés sur des VM TPU. Il nécessite Terraform, un outil Open Source qui utilise des fichiers de configuration pour définir et gérer l'infrastructure Google Cloud.

Tableau de bord de surveillance

Le tableau de bord de surveillance présente les métriques Cloud TPU suivantes :

  • Utilisation du processeur sur le nœud de calcul TPU : cpu/utilization
  • Utilisation de la mémoire par VM TPU : memory/usage
  • Octets réseau reçus par un pod sur le réseau : network/received_bytes_count
  • Octets réseau envoyés par un pod sur le réseau : network/sent_bytes_count
  • Durée d'inactivité du TensorCore de la puce TPU : tpu/tensorcore/idle_duration

Cloud Monitoring génère automatiquement des données de métriques. Pour afficher le tableau de bord de surveillance, accédez à la console Google Cloud , sélectionnez Surveillance, puis Tableaux de bord. Sélectionnez GCE - Tableau de bord de surveillance des TPU dans la liste des tableaux de bord. Le tableau de bord de surveillance Cloud TPU est composé de plusieurs volets, chacun affichant des données de métriques. Pour chaque métrique Cloud TPU, le tableau de bord affiche les valeurs actuelles de la métrique, la moyenne et les valeurs maximales dans des volets distincts. Les volets "Moyenne" et "Maximale" vous permettent d'identifier les VM TPU présentant un comportement atypique qui nécessitent une analyse approfondie.

Vous pouvez également afficher les métriques TPU à l'aide de l'explorateur de métriques dans la console Cloud Monitoring deGoogle Cloud . Pour en savoir plus, consultez Surveiller les VM Cloud TPU.

Tableau de bord de journalisation

Le tableau de bord de journalisation comporte deux sections :

  1. Métriques de journal : affiche le nombre d'entrées de trace de la pile collectées pour chaque nœud de calcul de VM TPU.
  2. Panneau "Journaux" : affiche toutes les entrées de trace de la pile, avec des colonnes pour la gravité, le code temporel et un résumé de l'entrée. Vous pouvez filtrer ce panneau de journaux par chaîne ou par étiquette de nœud de calcul TPU, comme node_id ou worker_id. Par exemple, l'ajout d'un filtre resource.labels.node_id:"testing" permet d'afficher toutes les entrées de trace collectées pour le nœud de calcul de VM TPU dont l'ID est défini sur "testing".

Cloud Logging collecte les entrées de journal générées par les services Google Cloud , les services tiers, les frameworks de ML et votre code. Vous pouvez installer le package PyPi cloud-tpu-diagnostics pour écrire des traces de la pile Python en cas de survenue d'une défaillance ou d'une exception, ou lorsque votre charge de travail ne répond pas. Pour en savoir plus, consultez Déboguer des VM Cloud TPU.

Pour afficher le tableau de bord de journalisation, accédez à la console Google Cloud , sélectionnez Surveillance, puis Tableaux de bord. Sélectionnez GCE - Tableau de bord de journalisation des TPU dans la liste des tableaux de bord.

Configurer les tableaux de bord de métriques et de journalisation

Suivez ces instructions pour configurer les tableaux de bord de métriques et de journalisation.

Cloner le dépôt du tableau de bord

Vous pouvez cloner le dépôt directement à partir du dépôt GitHub de surveillance et de débogage de Cloud TPU ou à partir de la ligne de commande :

git clone https://github.com/google/cloud-tpu-monitoring-debugging.git

Installer Terraform

  1. Installez Terraform sur votre machine locale.
  2. Exécutez terraform init pour ajouter les plug-ins nécessaires et créer le répertoire .terraform.
  3. Exécutez terraform init –upgrade pour installer les mises à jour disponibles.

Configurer les autorisations pour la surveillance et la journalisation

Les rôles "Administrateur Monitoring", "Éditeur de configuration du tableau de bord Monitoring" et "Administrateur Logging" sont requis pour déployer des ressources de surveillance dans votre projet Google Cloud . Pour en savoir plus sur les rôles de surveillance, consultez Accorder l'accès à Cloud Monitoring.

Créer un bucket Cloud Storage

Créez un bucket Cloud Storage pour stocker les fichiers d'état Terraform. Vous pouvez également utiliser un bucket Cloud Storage existant. L'utilisation d'un bucket Cloud Storage garantit que plusieurs utilisateurs peuvent exécuter Terraform en même temps et accéder à la même infrastructure.

  1. Dans Cloud Shell, créez le bucket Cloud Storage :

    gcloud storage buckets create gs://${GCS_BUCKET_NAME}

  2. Activez la gestion des versions des objets pour conserver l'historique de vos déploiements. L'activation de la gestion des versions des objets augmente les coûts de stockage. Vous pouvez limiter cette augmentation des coûts en configurant la gestion du cycle de vie des objets afin de supprimer les anciennes versions d'état.

    gcloud storage buckets update gs://${GCS_BUCKET_NAME} --versioning

Initialiser Terraform

Exécutez terraform init dans le répertoire gcp_resources/gce du dépôt. La commande vous invite à saisir le nom d'un bucket Cloud Storage pour stocker les fichiers d'état Terraform.

Déployer les tableaux de bord de surveillance et de journalisation

Exécutez terraform apply dans le répertoire gcp_resources/gce pour déployer les tableaux de bord de surveillance et de journalisation dans votre projet Google Cloud . La commande vous invite à fournir des valeurs pour les variables suivantes :

  • var.monitoring_dashboard_config
  • var.project_name
  • var.stack_trace_bucket_config

Si vous ne souhaitez déployer que le tableau de bord de surveillance, exécutez terraform init et terraform apply dans le répertoire gcp_resources/gce/dashboard/monitoring_dashboard. De même, exécutez ces commandes dans le répertoire gcp_resources/gce/dashboard/logging_dashboard pour ne déployer que le tableau de bord de journalisation.

Exemples de configurations

Lorsque vous exécutez terraform apply, Terraform vous invite à spécifier certaines valeurs de variables de configuration. Cette section fournit des exemples de configurations que vous pouvez utiliser. Chaque exemple montre la sortie affichée par la commande terraform apply, ainsi que les valeurs suggérées pour chaque variable de configuration (en gras). L'entrée doit être au format JSON et entourée d'accolades ("{}").

Exemple 1

Cet exemple spécifie le nom du projet Google Cloud et utilise les valeurs par défaut pour le reste de la configuration.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": <the number of outliers to show on dashboard, default to 10 if not set>
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

Exemple 2

Cet exemple configure le tableau de bord pour présenter cinq VM TPU atypiques.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
        "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"outlier_count":5}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

Exemple 3

Cette configuration crée un tableau de bord qui affiche 10 VM TPU atypiques en utilisant "test" comme préfixe pour les noms de nœuds générés par le tableau de bord.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &ltnumber of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test"}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

Exemple 4

Cette configuration crée un tableau de bord qui affiche cinq VM atypiques en utilisant "test" comme préfixe pour les noms de nœuds générés par le tableau de bord.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
        "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test", "outlier_count":5}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

Exemple 5

Cet exemple configure un bucket Cloud Storage pour stocker les traces de la pile. Les traces de la pile sont soumises à une règle de conservation par défaut de 30 jours.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket"}

Exemple 6

Cet exemple configure un bucket Cloud Storage avec une période de conservation de 20 jours.

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
        "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket", "retention_days":20}