Surveiller les métriques du framework de charge de travail

Ce document explique comment collecter et afficher les métriques Megascale XLA (MXLA), Orbax et PyGrain (Grain) pour les charges de travail Cloud TPU exécutées sur Google Kubernetes Engine (GKE), et comment afficher les analyseurs basés sur ces métriques dans la plate-forme ML Diagnostics. En surveillant ces métriques, vous pouvez identifier et résoudre les goulots d'étranglement des performances au niveau de la communication Multislice, des points de contrôle et du chargement des données.

Chaque ensemble de métriques cible un composant distinct de votre charge de travail pour vous aider à diagnostiquer les problèmes à différentes étapes de votre pipeline :

  • Métriques Megascale XLA (MXLA) : mesurez les latences de transfert du réseau de centres de données (DCN) entre les tranches, les temps de transfert d'appareil à hôte (D2H) et d'hôte à appareil (H2D), la latence de calcul et les opérations collectives de bout en bout dans les charges de travail TPU multislice. Utilisez ces métriques pour identifier les traînards et les goulots d'étranglement matériels.
  • Métriques Orbax : suivez les durées d'enregistrement et de restauration des points de contrôle asynchrones, le volume de données et le débit d'écriture de la bibliothèque de points de contrôle Orbax. Utilisez ces métriques pour détecter les retards de point de contrôle, les blocages ou les temps de blocage excessifs des threads d'entraînement.
  • Métriques PyGrain (Grain) : mesurez la latence d'itération de l'ensemble de données, les temps de lecture de la source de données, le nombre total d'octets lus et l'état de préparation du tampon de préchargement à partir de la bibliothèque de chargement de données PyGrain. Utilisez ces métriques pour déterminer si votre charge de travail est limitée par les entrées en raison de goulots d'étranglement au niveau des E/S ou du chargement des données.

Vous pouvez accéder à ces métriques via un port Prometheus que vous lisez directement, la bibliothèque de surveillance TPU, la CLI tpu-info ou Cloud Monitoring.

La plate-forme ML Diagnostics inclut également des analyseurs de surveillance des charges de travail qui analysent automatiquement ces métriques lorsqu'une charge de travail subit une dégradation des performances. Ces analyseurs déterminent si une baisse du cycle d'utilisation des TPU est causée par la latence de transfert réseau MXLA, les points de contrôle asynchrones Orbax ou le chargement de données PyGrain.

Métriques Megascale

Megascale XLA (MXLA) est une extension d'exécution et de compilation de communication qui coordonne les opérations collectives sur plusieurs tranches TPU sur le réseau de centre de données (DCN). Alors que les liaisons d'interconnexion entre puces (ICI) gèrent la communication à haut débit entre les puces TPU d'une même tranche, MXLA gère les transferts de données entre les tranches, les réductions côté hôte et le déplacement des données entre la mémoire de l'hôte et la mémoire à haut débit (HBM) du TPU.

Lorsque vous exécutez des charges de travail Multislice sur des TPU, vous pouvez collecter des métriques MXLA pour résoudre les goulots d'étranglement du réseau et du traitement des hôtes entre les tranches. GKE collecte ces métriques par défaut en tant que métriques système GKE, et vous pouvez les afficher dans Cloud Monitoring. Les métriques sont également disponibles automatiquement dans l'onglet des métriques système de ML Diagnostics, où elles sont agrégées automatiquement pour le contexte de la charge de travail de l'exécution de ML.

Le tableau suivant liste les métriques Megascale disponibles :

Nom de la métrique Nom de la métrique GKE Description
Latence de transfert DCN MXLA container/multislice/network/dcn_transfer_latencies

Mesure la latence de transfert aller-retour du réseau de centre de données (DCN) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux.

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)
Latence de transfert MXLA entrant container/multislice/network/dcn_inbound_transfer_latencies

Mesure la latence de transfert DCN entrant unidirectionnel pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux.

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)
Latence de calcul MXLA container/multislice/accelerator/compute_latencies

Mesure la latence de calcul de l'hôte requise pour effectuer une opération de réduction. Les anomalies peuvent indiquer des problèmes de processeur ou de mémoire, tels que des défaillances de module de mémoire DIMM (Dual Inline Memory Module).

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)
Latence collective MXLA de bout en bout container/multislice/network/collective_end_to_end_latencies

Mesure la latence collective de bout en bout sur le DCN, du lancement de l'opération par l'hôte jusqu'à la réception du résultat par tous les pairs. Cela inclut la réduction des données côté hôte et l'envoi de la sortie au TPU. Les résultats sont des chaînes qui détaillent la taille de la mémoire tampon, le type d'opération et les latences moyennes (P50, P90, P95 et P99.9).

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)
Latence MXLA d2h container/multislice/accelerator/device_to_host_transfer_latencies

Mesure la latence de transfert unidirectionnel d'appareil à hôte (D2H) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux.

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)
Latence MXLA h2d container/multislice/accelerator/host_to_device_transfer_latencies

Mesure la latence de transfert unidirectionnel hôte à appareil (H2D) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux.

La métrique possède les propriétés suivantes :

  • Type de métrique: CUMULATIVE
  • Type de valeur : DISTRIBUTION
  • Unité : microsecondes (us)

Métriques Orbax

Orbax est une bibliothèque de points de contrôle distribués pour les charges de travail JAX qui enregistre et restaure les pondérations de modèle, les états de l'optimiseur et les itérateurs d'ensembles de données dans des environnements à hôte unique et multi-hôtes. Pour minimiser les temps d'arrêt de l'entraînement, Orbax est compatible avec les points de contrôle asynchrones, qui copient les états de la mémoire TPU vers la mémoire hôte pendant la phase synchrone, puis écrivent le point de contrôle dans l'espace de stockage dans un thread d'arrière-plan pendant que l'entraînement se poursuit.

Si votre charge de travail utilise Orbax pour la création de points de contrôle, vous pouvez collecter des métriques Orbax pour résoudre les problèmes de retards de création de points de contrôle, de débit d'écriture lent ou de blocages. Orbax exporte ces métriques sur un port Prometheus, que vous pouvez lire directement ou envoyer à Cloud Monitoring à l'aide de Google Cloud Managed Service pour Prometheus. Pour activer ces métriques dans GKE, Cloud Monitoring ou ML Diagnostics, consultez Accéder aux métriques Orbax et PyGrain.

Le tableau suivant liste les métriques Orbax disponibles :

Nom de la métrique Prometheus Description
jax_checkpoint_write_async_total_duration_secs

Durée totale de l'ensemble du pipeline d'écriture de points de contrôle asynchrones.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/checkpoint/write/async/total_duration_secs
  • Type de métrique : histogramme
  • Unité : secondes (s)
jax_orbax_write_gbytes

Nombre total de gigaoctets écrits lors d'une opération d'enregistrement de point de contrôle.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/orbax/write/gbytes
  • Type de métrique : histogramme
  • Unité : gigaoctets (GBy)
jax_orbax_write_gbytes_per_sec

Débit d'écriture en gigaoctets par seconde (Go/s) sur les phases synchrone et asynchrone d'une opération d'enregistrement de point de contrôle.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/orbax/write/gbytes_per_sec
  • Type de métrique : histogramme
  • Unité : gigaoctets par seconde (GBps)
jax_checkpoint_write_async_blocking_duration_secs

Temps passé dans la phase de blocage d'un enregistrement de point de contrôle asynchrone avant de passer au thread d'arrière-plan.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/checkpoint/write/async/blocking_duration_secs
  • Type de métrique : histogramme
  • Unité : secondes (s)
jax_orbax_read_total_duration_secs

Durée totale de bout en bout d'une opération de restauration de point de contrôle.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/orbax/read/total_duration_secs
  • Type de métrique : histogramme
  • Unité : secondes (s)
jax_orbax_read_blocking_duration_secs

Durée de la phase de préparation synchrone (bloquante) d'une opération de restauration de point de contrôle.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/orbax/read/blocking_duration_secs
  • Type de métrique : histogramme
  • Unité : secondes (s)
jax_orbax_write_async_start_total

Nombre d'opérations d'écriture de point de contrôle asynchrones démarrées.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /jax/orbax/write/async/start
  • Type de métrique : Compteur
  • Unité : nombre (1)

Métriques PyGrain

PyGrain (Grain) est une bibliothèque Python permettant de lire, de prétraiter et de regrouper par lots les données d'entrée pour les charges de travail d'entraînement et d'évaluation de machine learning. PyGrain fournit des pipelines de données déterministes et reproductibles qui préchargent et transforment les enregistrements sur le processeur hôte afin que les accélérateurs TPU ne soient pas bloqués en attendant les lots d'entrée.

Si votre charge de travail utilise PyGrain pour le chargement des données, vous pouvez collecter des métriques PyGrain pour résoudre les problèmes de goulots d'étranglement du pipeline d'entrée, de lenteur des lectures de stockage ou d'épuisement des tampons de préchargement. PyGrain exporte ces métriques sur un port Prometheus, que vous pouvez lire directement ou envoyer à Cloud Monitoring à l'aide de Google Cloud Managed Service pour Prometheus. Pour activer ces métriques dans GKE, Cloud Monitoring ou ML Diagnostics, consultez Accéder aux métriques Orbax et PyGrain.

Le tableau suivant liste les métriques PyGrain disponibles :

Nom de la métrique Prometheus Description
grain_python_dataset_next_duration_ns

Temps passé dans l'appel de méthode next pour l'ensemble de données.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /grain/python/dataset/next_duration_ns
  • Type de métrique : histogramme
  • Unité : nanosecondes (ns)
grain_python_dataset_prefetch_buffer_ready_count

Nombre d'éléments prêts dans le tampon de préchargement.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /grain/python/dataset/prefetch_buffer_ready_count
  • Type de métrique : histogramme
  • Unité : nombre (1)
grain_python_data_sources_bytes_read_total

Nombre total d'octets lus à partir des sources de données.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /grain/python/data_sources/bytes_read
  • Type de métrique : Compteur
  • Unité : octets (By)
grain_python_dataset_source_read_time_ns

Temps passé à lire les données de la source de données.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /grain/python/dataset/source_read_time_ns
  • Type de métrique : histogramme
  • Unité : nanosecondes (ns)
grain_python_data_loader_iterator_get_next

Temps passé dans l'appel de méthode next pour la classe DataLoaderIterator.

La métrique possède les propriétés suivantes :

  • Chemin de la métrique : /grain/python/data_loader/iterator_get_next
  • Type de métrique : histogramme
  • Unité : nanosecondes (ns)

Prérequis

Avant de collecter des métriques Megascale, Orbax ou PyGrain, ou d'utiliser les analyseurs ML Diagnostics associés, assurez-vous que votre environnement répond aux exigences des sections suivantes.

Exigences de mégascale

Pour collecter des métriques Megascale et les afficher dans Cloud Monitoring, vous devez respecter les exigences de version suivantes :

  • Installez LibTPU version 0.40.0 ou ultérieure.
  • Pour afficher ces métriques dans Cloud Monitoring, installez GKE 1.36.4-gke.1247000 ou une version ultérieure.

Exigences concernant Orbax et PyGrain

Pour exporter les métriques Orbax et PyGrain depuis votre charge de travail, respectez les exigences suivantes concernant les packages et les conteneurs :

  • Packages Python :
    • Installez Orbax (orbax-checkpoint) version 0.12.1 ou ultérieure.
    • Installez PyGrain (grain) version 0.2.18 ou ultérieure.
    • Installez le package Python prometheus-client dans votre image de conteneur. Le package orbax-checkpoint installe automatiquement prometheus-client en tant que dépendance, mais pas grain. Si votre charge de travail n'utilise que PyGrain, installez le package en exécutant pip install prometheus-client.
  • Configuration du conteneur de charge de travail :
    • Définissez les variables d'environnement suivantes :
      • ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true" (active les métriques Orbax)
      • ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true" (active les métriques PyGrain)
    • Exposez le port TCP 9431 sur le conteneur de charge de travail.

L'exemple de spécification de conteneur suivant définit les variables d'environnement de télémétrie et expose le port TCP 9431 :

containers:
- name: WORKLOAD_CONTAINER
  env:
  - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
    value: "true"
  - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
    value: "true"
  ports:
  - name: framework-metrics
    containerPort: 9431
    protocol: TCP

Remplacez WORKLOAD_CONTAINER par le nom de votre conteneur de charge de travail.

Exigences de l'analyseur de diagnostics de ML

Pour utiliser les analyseurs de diagnostics de ML pour les métriques Megascale, Orbax et PyGrain, installez GKE version 1.36.4-gke.1247000 ou ultérieure.

Accéder aux métriques Megascale

Lorsque votre cluster exécute une version de GKE et de LibTPU compatible, GKE collecte automatiquement les métriques Megascale afin que vous puissiez les afficher dans Cloud Monitoring. Vous pouvez également déployer un collecteur Prometheus de votre choix pour lire les métriques Megascale directement à partir du port Prometheus de l'environnement d'exécution MXLA.

Accéder aux métriques Orbax et PyGrain

Lorsque vous activez la télémétrie Prometheus sur votre conteneur de charge de travail, Orbax et PyGrain exportent les métriques sur le port TCP 9431. Vous pouvez accéder à ces métriques de l'une des manières suivantes :

  • Lire directement le point de terminaison Prometheus : déployez un collecteur Prometheus de votre choix pour lire les métriques Orbax et PyGrain à partir du port 9431 sur le conteneur de charge de travail.
  • Envoyer des métriques à Cloud Monitoring : utilisez Google Cloud Managed Service pour Prometheus pour lire le port 9431 sur chaque nœud et envoyer les métriques à Cloud Monitoring.

Afficher les métriques avec Google Cloud Managed Service pour Prometheus

Pour envoyer des métriques Orbax et PyGrain du port 9431 vers Cloud Monitoring, déployez une ressource personnalisée PodMonitoring Google Cloud Managed Service pour Prometheus dans votre cluster GKE. La ressource PodMonitoring indique au collecteur Google Cloud Managed Service pour Prometheus sur chaque nœud de lire le port 9431 et d'envoyer les métriques à Cloud Monitoring. Pour en savoir plus, consultez Configurer une ressource PodMonitoring.

Le point de terminaison prometheus.googleapis.com et le collecteur Google Cloud Managed Service pour Prometheus sont activés par défaut dans les clusters GKE. L'utilisation de Google Cloud Managed Service pour Prometheus entraîne des frais supplémentaires.

Activer la collecte gérée

La collecte gérée pour Google Cloud Managed Service pour Prometheus est activée par défaut dans les clusters GKE Standard exécutant GKE 1.27 ou une version ultérieure. Pour en savoir plus, consultez Activer la collecte gérée.

Si la collecte gérée est désactivée sur votre cluster, activez-la :

gcloud container clusters update CLUSTER_NAME \
  --enable-managed-prometheus \
  --region=REGION

Remplacez les éléments suivants :

  • CLUSTER_NAME : nom de votre cluster GKE.
  • REGION : région où se trouve votre cluster.

Si vous avez modifié les autorisations par défaut sur le compte de service du nœud, assurez-vous qu'il dispose du rôle "Rédacteur de métriques Monitoring" (roles/monitoring.metricWriter).

Configurer le modèle de pod de charge de travail

Pour préparer vos pods de charge de travail au scraping, mettez à jour le modèle de pod dans votre fichier manifeste JobSet, Job ou Deployment :

  1. Ajoutez une étiquette de pod, telle que ml-framework-metrics: "enabled", afin que la ressource PodMonitoring puisse sélectionner les pods de la charge de travail.
  2. Définissez les variables d'environnement ENABLE_ORBAX_PROMETHEUS_TELEMETRY et ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY sur "true".
  3. Exposez le port TCP 9431 et attribuez-lui un nom de port, tel que framework-metrics.

L'exemple de modèle de pod suivant configure ces champs :

template:
  metadata:
    labels:
      ml-framework-metrics: "enabled"     # used by the PodMonitoring selector
  spec:
    containers:
    - name: WORKLOAD_CONTAINER
      env:
      - name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
        value: "true"
      - name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
        value: "true"
      ports:
      - name: framework-metrics
        containerPort: 9431
        protocol: TCP

Remplacez WORKLOAD_CONTAINER par le nom de votre conteneur de charge de travail.

Vérifier le point de terminaison des métriques

Avant de déployer la ressource PodMonitoring, vérifiez que votre conteneur de charge de travail exporte les métriques sur le port 9431. Transférez le port 9431 à partir d'un pod de charge de travail en cours d'exécution et interrogez le point de terminaison /metrics :

kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'

Remplacez les éléments suivants :

  • NAMESPACE : espace de noms Kubernetes dans lequel votre charge de travail s'exécute.
  • WORKLOAD_POD : nom d'un pod de charge de travail en cours d'exécution.

Orbax initialise chaque métrique la première fois qu'il enregistre une valeur. Les métriques Orbax n'apparaissent donc qu'après la première opération d'enregistrement ou de restauration de point de contrôle.

Déployer la ressource PodMonitoring

Pour configurer Google Cloud Managed Service pour Prometheus afin qu'il lise les pods de votre charge de travail, procédez comme suit :

  1. Enregistrez le manifeste suivant sous le nom orbax-grain-podmonitoring.yaml :

    apiVersion: monitoring.googleapis.com/v1
    kind: PodMonitoring
    metadata:
      name: orbax-grain-metrics
      namespace: WORKLOAD_NAMESPACE  # must match the workload namespace
    spec:
      selector:
        matchLabels:
          ml-framework-metrics: "enabled"
      endpoints:
      - port: framework-metrics             # the named containerPort (9431)
        path: /metrics
        interval: 30s                        # a longer interval reduces sample volume and cost
        metricRelabeling:                    # optional: keep only Orbax and PyGrain series to control cost
        - action: keep
          sourceLabels: [__name__]
          regex: (jax_orbax_|jax_checkpoint_|grain_python_).+
      targetLabels:                          # optional: copy the JobSet name onto every series
        fromPod:
        - from: jobset.sigs.k8s.io/jobset-name
          to: jobset_name
    

    Remplacez WORKLOAD_NAMESPACE par l'espace de noms Kubernetes dans lequel votre charge de travail s'exécute.

  2. Appliquez le fichier manifeste et vérifiez que la ressource PodMonitoring est créée :

    kubectl apply -f orbax-grain-podmonitoring.yaml
    kubectl get podmonitoring -A
    

Une ressource PodMonitoring ne lit que les pods de son propre espace de noms. Si vos charges de travail s'exécutent sur plusieurs espaces de noms, utilisez la même spécification avec kind: ClusterPodMonitoring et omettez le champ metadata.namespace. Une ressource ClusterPodMonitoring découvre les pods correspondants dans tous les espaces de noms.

Facultatif : Vérifier que Google Cloud Managed Service pour Prometheus extrait les pods

Pour vérifier que Google Cloud Managed Service pour Prometheus extrait activement vos pods de charge de travail, procédez comme suit :

  1. Dans l'espace de noms gmp-public, modifiez la ressource OperatorConfig et définissez features.targetStatus.enabled sur true.
  2. Inspectez la ressource PodMonitoring et vérifiez que les cibles signalent Health: up :

    kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics
    

    Remplacez NAMESPACE par l'espace de noms Kubernetes dans lequel votre charge de travail s'exécute.

  3. Une fois le dépannage terminé, redéfinissez features.targetStatus.enabled sur false dans la ressource OperatorConfig. Il n'est recommandé d'activer l'état de la cible que lorsque vous examinez des problèmes actifs.

Interroger les métriques dans Cloud Monitoring

Pour interroger les métriques envoyées à Cloud Monitoring, procédez comme suit :

  1. Dans la console Google Cloud , accédez à Surveillance > Explorateur de métriques.
  2. Sélectionnez PromQL, puis saisissez la requête suivante pour vérifier que vos cibles envoient des rapports :

    up{namespace="NAMESPACE"}
    

    Remplacez NAMESPACE par l'espace de noms Kubernetes de votre charge de travail.

Dans le sélecteur de métriques basé sur un menu, les métriques sont stockées au format prometheus.googleapis.com/METRIC_NAME/TYPE, où TYPE correspond à counter, histogram ou gauge. Chaque bibliothèque construit son nom de métrique Prometheus à partir de son chemin de métrique en remplaçant / par _. Les compteurs ajoutent un suffixe _total, et les histogrammes sont exportés en tant que séries temporelles _bucket, _sum et _count.

Vous pouvez utiliser les exemples de requêtes PromQL suivants pour analyser les métriques Orbax et PyGrain :

# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))

# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
  / sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))

# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))

# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))

# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))

Considérations liées au coût

La facturation de Google Cloud Managed Service pour Prometheus est basée sur le nombre d'échantillons ingérés. Pour réduire les coûts, configurez un interval de scraping plus long et utilisez metricRelabeling pour ne conserver que les séries temporelles dont vous avez besoin. Vous pouvez consulter le volume d'ingestion de chaque métrique sur la page Gestion des métriques de Cloud Monitoring.

Afficher les résultats de l'analyseur dans les diagnostics de ML

La surveillance des charges de travail avec les diagnostics de ML et les métriques système contextualisées par charge de travail sont automatiquement activées pour les charges de travail TPU GKE JobSet et Job exécutées sur GKE version 1.36.4-gke.1247000 et ultérieure. La surveillance des charges de travail suit le cycle d'utilisation agrégé des TPU pour votre charge de travail. En cas de baisse de 15 % ou plus du cycle d'activité (performance degradation), ML Diagnostics exécute des analyseurs sur les couches d'infrastructure, d'orchestrateur et de framework.

Si votre charge de travail s'exécute sur plusieurs tranches (à l'aide de la couche MXLA) ou utilise les bibliothèques PyGrain ou Orbax, ML Diagnostics exécute les analyseurs de framework suivants pour déterminer si la dégradation des performances est due à la latence de transfert réseau, au chargement des données ou à la création de points de contrôle asynchrones :

Les rapports de l'analyseur de diagnostics de ML sont fournis sans frais supplémentaires. La génération des résultats de l'analyseur ne nécessite pas de configurer Google Cloud Managed Service pour Prometheus pour les métriques Orbax et PyGrain. Dans l'onglet Métriques système de la console ML Diagnostics Google Cloud , les métriques Megascale s'affichent automatiquement lorsque vous utilisez des versions compatibles de LibTPU et de GKE.

Vous pouvez afficher les résultats de l'analyseur de l'une des manières suivantes :

  • ConsoleGoogle Cloud  : dans la console ML Diagnostics Google Cloud (voir Afficher les exécutions de machine learning), ouvrez l'onglet Présentation de la surveillance, recherchez l'événement performance degradation, puis cliquez sur Afficher les détails pour inspecter le rapport de l'analyseur.
  • Google Cloud CLI ou API REST : utilisez les commandes monitored-events pour lister et décrire les événements et leurs rapports d'analyse. Pour en savoir plus, consultez Premiers pas avec la CLI ML Diagnostics.