Surveiller les métriques du framework de charge de travail
Ce document explique comment collecter et afficher les métriques Megascale XLA (MXLA), Orbax et PyGrain (Grain) pour les charges de travail Cloud TPU exécutées sur Google Kubernetes Engine (GKE), et comment afficher les analyseurs basés sur ces métriques dans la plate-forme ML Diagnostics. En surveillant ces métriques, vous pouvez identifier et résoudre les goulots d'étranglement des performances au niveau de la communication Multislice, des points de contrôle et du chargement des données.
Chaque ensemble de métriques cible un composant distinct de votre charge de travail pour vous aider à diagnostiquer les problèmes à différentes étapes de votre pipeline :
- Métriques Megascale XLA (MXLA) : mesurez les latences de transfert du réseau de centres de données (DCN) entre les tranches, les temps de transfert d'appareil à hôte (D2H) et d'hôte à appareil (H2D), la latence de calcul et les opérations collectives de bout en bout dans les charges de travail TPU multislice. Utilisez ces métriques pour identifier les traînards et les goulots d'étranglement matériels.
- Métriques Orbax : suivez les durées d'enregistrement et de restauration des points de contrôle asynchrones, le volume de données et le débit d'écriture de la bibliothèque de points de contrôle Orbax. Utilisez ces métriques pour détecter les retards de point de contrôle, les blocages ou les temps de blocage excessifs des threads d'entraînement.
- Métriques PyGrain (Grain) : mesurez la latence d'itération de l'ensemble de données, les temps de lecture de la source de données, le nombre total d'octets lus et l'état de préparation du tampon de préchargement à partir de la bibliothèque de chargement de données PyGrain. Utilisez ces métriques pour déterminer si votre charge de travail est limitée par les entrées en raison de goulots d'étranglement au niveau des E/S ou du chargement des données.
Vous pouvez accéder à ces métriques via un port Prometheus que vous lisez directement, la bibliothèque de surveillance TPU, la CLI tpu-info ou Cloud Monitoring.
La plate-forme ML Diagnostics inclut également des analyseurs de surveillance des charges de travail qui analysent automatiquement ces métriques lorsqu'une charge de travail subit une dégradation des performances. Ces analyseurs déterminent si une baisse du cycle d'utilisation des TPU est causée par la latence de transfert réseau MXLA, les points de contrôle asynchrones Orbax ou le chargement de données PyGrain.
Métriques Megascale
Megascale XLA (MXLA) est une extension d'exécution et de compilation de communication qui coordonne les opérations collectives sur plusieurs tranches TPU sur le réseau de centre de données (DCN). Alors que les liaisons d'interconnexion entre puces (ICI) gèrent la communication à haut débit entre les puces TPU d'une même tranche, MXLA gère les transferts de données entre les tranches, les réductions côté hôte et le déplacement des données entre la mémoire de l'hôte et la mémoire à haut débit (HBM) du TPU.
Lorsque vous exécutez des charges de travail Multislice sur des TPU, vous pouvez collecter des métriques MXLA pour résoudre les goulots d'étranglement du réseau et du traitement des hôtes entre les tranches. GKE collecte ces métriques par défaut en tant que métriques système GKE, et vous pouvez les afficher dans Cloud Monitoring. Les métriques sont également disponibles automatiquement dans l'onglet des métriques système de ML Diagnostics, où elles sont agrégées automatiquement pour le contexte de la charge de travail de l'exécution de ML.
Le tableau suivant liste les métriques Megascale disponibles :
| Nom de la métrique | Nom de la métrique GKE | Description |
|---|---|---|
| Latence de transfert DCN MXLA | container/multislice/network/dcn_transfer_latencies |
Mesure la latence de transfert aller-retour du réseau de centre de données (DCN) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux. La métrique possède les propriétés suivantes :
|
| Latence de transfert MXLA entrant | container/multislice/network/dcn_inbound_transfer_latencies |
Mesure la latence de transfert DCN entrant unidirectionnel pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux. La métrique possède les propriétés suivantes :
|
| Latence de calcul MXLA | container/multislice/accelerator/compute_latencies |
Mesure la latence de calcul de l'hôte requise pour effectuer une opération de réduction. Les anomalies peuvent indiquer des problèmes de processeur ou de mémoire, tels que des défaillances de module de mémoire DIMM (Dual Inline Memory Module). La métrique possède les propriétés suivantes :
|
| Latence collective MXLA de bout en bout | container/multislice/network/collective_end_to_end_latencies |
Mesure la latence collective de bout en bout sur le DCN, du lancement de l'opération par l'hôte jusqu'à la réception du résultat par tous les pairs. Cela inclut la réduction des données côté hôte et l'envoi de la sortie au TPU. Les résultats sont des chaînes qui détaillent la taille de la mémoire tampon, le type d'opération et les latences moyennes (P50, P90, P95 et P99.9). La métrique possède les propriétés suivantes :
|
| Latence MXLA d2h | container/multislice/accelerator/device_to_host_transfer_latencies |
Mesure la latence de transfert unidirectionnel d'appareil à hôte (D2H) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux. La métrique possède les propriétés suivantes :
|
| Latence MXLA h2d | container/multislice/accelerator/host_to_device_transfer_latencies |
Mesure la latence de transfert unidirectionnel hôte à appareil (H2D) pour chaque fragment de données. Les anomalies peuvent être corrélées à un matériel réseau défectueux. La métrique possède les propriétés suivantes :
|
Métriques Orbax
Orbax est une bibliothèque de points de contrôle distribués pour les charges de travail JAX qui enregistre et restaure les pondérations de modèle, les états de l'optimiseur et les itérateurs d'ensembles de données dans des environnements à hôte unique et multi-hôtes. Pour minimiser les temps d'arrêt de l'entraînement, Orbax est compatible avec les points de contrôle asynchrones, qui copient les états de la mémoire TPU vers la mémoire hôte pendant la phase synchrone, puis écrivent le point de contrôle dans l'espace de stockage dans un thread d'arrière-plan pendant que l'entraînement se poursuit.
Si votre charge de travail utilise Orbax pour la création de points de contrôle, vous pouvez collecter des métriques Orbax pour résoudre les problèmes de retards de création de points de contrôle, de débit d'écriture lent ou de blocages. Orbax exporte ces métriques sur un port Prometheus, que vous pouvez lire directement ou envoyer à Cloud Monitoring à l'aide de Google Cloud Managed Service pour Prometheus. Pour activer ces métriques dans GKE, Cloud Monitoring ou ML Diagnostics, consultez Accéder aux métriques Orbax et PyGrain.
Le tableau suivant liste les métriques Orbax disponibles :
| Nom de la métrique Prometheus | Description |
|---|---|
jax_checkpoint_write_async_total_duration_secs |
Durée totale de l'ensemble du pipeline d'écriture de points de contrôle asynchrones. La métrique possède les propriétés suivantes :
|
jax_orbax_write_gbytes |
Nombre total de gigaoctets écrits lors d'une opération d'enregistrement de point de contrôle. La métrique possède les propriétés suivantes :
|
jax_orbax_write_gbytes_per_sec |
Débit d'écriture en gigaoctets par seconde (Go/s) sur les phases synchrone et asynchrone d'une opération d'enregistrement de point de contrôle. La métrique possède les propriétés suivantes :
|
jax_checkpoint_write_async_blocking_duration_secs |
Temps passé dans la phase de blocage d'un enregistrement de point de contrôle asynchrone avant de passer au thread d'arrière-plan. La métrique possède les propriétés suivantes :
|
jax_orbax_read_total_duration_secs |
Durée totale de bout en bout d'une opération de restauration de point de contrôle. La métrique possède les propriétés suivantes :
|
jax_orbax_read_blocking_duration_secs |
Durée de la phase de préparation synchrone (bloquante) d'une opération de restauration de point de contrôle. La métrique possède les propriétés suivantes :
|
jax_orbax_write_async_start_total |
Nombre d'opérations d'écriture de point de contrôle asynchrones démarrées. La métrique possède les propriétés suivantes :
|
Métriques PyGrain
PyGrain (Grain) est une bibliothèque Python permettant de lire, de prétraiter et de regrouper par lots les données d'entrée pour les charges de travail d'entraînement et d'évaluation de machine learning. PyGrain fournit des pipelines de données déterministes et reproductibles qui préchargent et transforment les enregistrements sur le processeur hôte afin que les accélérateurs TPU ne soient pas bloqués en attendant les lots d'entrée.
Si votre charge de travail utilise PyGrain pour le chargement des données, vous pouvez collecter des métriques PyGrain pour résoudre les problèmes de goulots d'étranglement du pipeline d'entrée, de lenteur des lectures de stockage ou d'épuisement des tampons de préchargement. PyGrain exporte ces métriques sur un port Prometheus, que vous pouvez lire directement ou envoyer à Cloud Monitoring à l'aide de Google Cloud Managed Service pour Prometheus. Pour activer ces métriques dans GKE, Cloud Monitoring ou ML Diagnostics, consultez Accéder aux métriques Orbax et PyGrain.
Le tableau suivant liste les métriques PyGrain disponibles :
| Nom de la métrique Prometheus | Description |
|---|---|
grain_python_dataset_next_duration_ns |
Temps passé dans l'appel de méthode La métrique possède les propriétés suivantes :
|
grain_python_dataset_prefetch_buffer_ready_count |
Nombre d'éléments prêts dans le tampon de préchargement. La métrique possède les propriétés suivantes :
|
grain_python_data_sources_bytes_read_total |
Nombre total d'octets lus à partir des sources de données. La métrique possède les propriétés suivantes :
|
grain_python_dataset_source_read_time_ns |
Temps passé à lire les données de la source de données. La métrique possède les propriétés suivantes :
|
grain_python_data_loader_iterator_get_next |
Temps passé dans l'appel de méthode La métrique possède les propriétés suivantes :
|
Prérequis
Avant de collecter des métriques Megascale, Orbax ou PyGrain, ou d'utiliser les analyseurs ML Diagnostics associés, assurez-vous que votre environnement répond aux exigences des sections suivantes.
Exigences de mégascale
Pour collecter des métriques Megascale et les afficher dans Cloud Monitoring, vous devez respecter les exigences de version suivantes :
- Installez LibTPU version
0.40.0ou ultérieure. - Pour afficher ces métriques dans Cloud Monitoring, installez GKE
1.36.4-gke.1247000ou une version ultérieure.
Exigences concernant Orbax et PyGrain
Pour exporter les métriques Orbax et PyGrain depuis votre charge de travail, respectez les exigences suivantes concernant les packages et les conteneurs :
- Packages Python :
- Installez Orbax (
orbax-checkpoint) version0.12.1ou ultérieure. - Installez PyGrain (
grain) version0.2.18ou ultérieure. - Installez le package Python
prometheus-clientdans votre image de conteneur. Le packageorbax-checkpointinstalle automatiquementprometheus-clienten tant que dépendance, mais pasgrain. Si votre charge de travail n'utilise que PyGrain, installez le package en exécutantpip install prometheus-client.
- Installez Orbax (
- Configuration du conteneur de charge de travail :
- Définissez les variables d'environnement suivantes :
ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(active les métriques Orbax)ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(active les métriques PyGrain)
- Exposez le port TCP
9431sur le conteneur de charge de travail.
- Définissez les variables d'environnement suivantes :
L'exemple de spécification de conteneur suivant définit les variables d'environnement de télémétrie et expose le port TCP 9431 :
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Remplacez WORKLOAD_CONTAINER par le nom de votre conteneur de charge de travail.
Exigences de l'analyseur de diagnostics de ML
Pour utiliser les analyseurs de diagnostics de ML pour les métriques Megascale, Orbax et PyGrain, installez GKE version 1.36.4-gke.1247000 ou ultérieure.
Accéder aux métriques Megascale
Lorsque votre cluster exécute une version de GKE et de LibTPU compatible, GKE collecte automatiquement les métriques Megascale afin que vous puissiez les afficher dans Cloud Monitoring. Vous pouvez également déployer un collecteur Prometheus de votre choix pour lire les métriques Megascale directement à partir du port Prometheus de l'environnement d'exécution MXLA.
Accéder aux métriques Orbax et PyGrain
Lorsque vous activez la télémétrie Prometheus sur votre conteneur de charge de travail, Orbax et PyGrain exportent les métriques sur le port TCP 9431. Vous pouvez accéder à ces métriques de l'une des manières suivantes :
- Lire directement le point de terminaison Prometheus : déployez un collecteur Prometheus de votre choix pour lire les métriques Orbax et PyGrain à partir du port
9431sur le conteneur de charge de travail. - Envoyer des métriques à Cloud Monitoring : utilisez Google Cloud Managed Service pour Prometheus pour lire le port
9431sur chaque nœud et envoyer les métriques à Cloud Monitoring.
Afficher les métriques avec Google Cloud Managed Service pour Prometheus
Pour envoyer des métriques Orbax et PyGrain du port 9431 vers Cloud Monitoring, déployez une ressource personnalisée PodMonitoring Google Cloud Managed Service pour Prometheus dans votre cluster GKE. La ressource PodMonitoring indique au collecteur Google Cloud Managed Service pour Prometheus sur chaque nœud de lire le port 9431 et d'envoyer les métriques à Cloud Monitoring. Pour en savoir plus, consultez Configurer une ressource PodMonitoring.
Le point de terminaison prometheus.googleapis.com et le collecteur Google Cloud Managed Service pour Prometheus sont activés par défaut dans les clusters GKE. L'utilisation de Google Cloud Managed Service pour Prometheus entraîne des frais supplémentaires.
Activer la collecte gérée
La collecte gérée pour Google Cloud Managed Service pour Prometheus est activée par défaut dans les clusters GKE Standard exécutant GKE 1.27 ou une version ultérieure. Pour en savoir plus, consultez Activer la collecte gérée.
Si la collecte gérée est désactivée sur votre cluster, activez-la :
gcloud container clusters update CLUSTER_NAME \
--enable-managed-prometheus \
--region=REGION
Remplacez les éléments suivants :
CLUSTER_NAME: nom de votre cluster GKE.REGION: région où se trouve votre cluster.
Si vous avez modifié les autorisations par défaut sur le compte de service du nœud, assurez-vous qu'il dispose du rôle "Rédacteur de métriques Monitoring" (roles/monitoring.metricWriter).
Configurer le modèle de pod de charge de travail
Pour préparer vos pods de charge de travail au scraping, mettez à jour le modèle de pod dans votre fichier manifeste JobSet, Job ou Deployment :
- Ajoutez une étiquette de pod, telle que
ml-framework-metrics: "enabled", afin que la ressourcePodMonitoringpuisse sélectionner les pods de la charge de travail. - Définissez les variables d'environnement
ENABLE_ORBAX_PROMETHEUS_TELEMETRYetENABLE_PYGRAIN_PROMETHEUS_TELEMETRYsur"true". - Exposez le port TCP
9431et attribuez-lui un nom de port, tel queframework-metrics.
L'exemple de modèle de pod suivant configure ces champs :
template:
metadata:
labels:
ml-framework-metrics: "enabled" # used by the PodMonitoring selector
spec:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Remplacez WORKLOAD_CONTAINER par le nom de votre conteneur de charge de travail.
Vérifier le point de terminaison des métriques
Avant de déployer la ressource PodMonitoring, vérifiez que votre conteneur de charge de travail exporte les métriques sur le port 9431. Transférez le port 9431 à partir d'un pod de charge de travail en cours d'exécution et interrogez le point de terminaison /metrics :
kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'
Remplacez les éléments suivants :
NAMESPACE: espace de noms Kubernetes dans lequel votre charge de travail s'exécute.WORKLOAD_POD: nom d'un pod de charge de travail en cours d'exécution.
Orbax initialise chaque métrique la première fois qu'il enregistre une valeur. Les métriques Orbax n'apparaissent donc qu'après la première opération d'enregistrement ou de restauration de point de contrôle.
Déployer la ressource PodMonitoring
Pour configurer Google Cloud Managed Service pour Prometheus afin qu'il lise les pods de votre charge de travail, procédez comme suit :
Enregistrez le manifeste suivant sous le nom
orbax-grain-podmonitoring.yaml:apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: orbax-grain-metrics namespace: WORKLOAD_NAMESPACE # must match the workload namespace spec: selector: matchLabels: ml-framework-metrics: "enabled" endpoints: - port: framework-metrics # the named containerPort (9431) path: /metrics interval: 30s # a longer interval reduces sample volume and cost metricRelabeling: # optional: keep only Orbax and PyGrain series to control cost - action: keep sourceLabels: [__name__] regex: (jax_orbax_|jax_checkpoint_|grain_python_).+ targetLabels: # optional: copy the JobSet name onto every series fromPod: - from: jobset.sigs.k8s.io/jobset-name to: jobset_nameRemplacez
WORKLOAD_NAMESPACEpar l'espace de noms Kubernetes dans lequel votre charge de travail s'exécute.Appliquez le fichier manifeste et vérifiez que la ressource
PodMonitoringest créée :kubectl apply -f orbax-grain-podmonitoring.yaml kubectl get podmonitoring -A
Une ressource PodMonitoring ne lit que les pods de son propre espace de noms. Si vos charges de travail s'exécutent sur plusieurs espaces de noms, utilisez la même spécification avec kind:
ClusterPodMonitoring et omettez le champ metadata.namespace. Une ressource ClusterPodMonitoring découvre les pods correspondants dans tous les espaces de noms.
Facultatif : Vérifier que Google Cloud Managed Service pour Prometheus extrait les pods
Pour vérifier que Google Cloud Managed Service pour Prometheus extrait activement vos pods de charge de travail, procédez comme suit :
- Dans l'espace de noms
gmp-public, modifiez la ressourceOperatorConfiget définissezfeatures.targetStatus.enabledsurtrue. Inspectez la ressource
PodMonitoringet vérifiez que les cibles signalentHealth: up:kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metricsRemplacez
NAMESPACEpar l'espace de noms Kubernetes dans lequel votre charge de travail s'exécute.Une fois le dépannage terminé, redéfinissez
features.targetStatus.enabledsurfalsedans la ressourceOperatorConfig. Il n'est recommandé d'activer l'état de la cible que lorsque vous examinez des problèmes actifs.
Interroger les métriques dans Cloud Monitoring
Pour interroger les métriques envoyées à Cloud Monitoring, procédez comme suit :
- Dans la console Google Cloud , accédez à Surveillance > Explorateur de métriques.
Sélectionnez PromQL, puis saisissez la requête suivante pour vérifier que vos cibles envoient des rapports :
up{namespace="NAMESPACE"}Remplacez
NAMESPACEpar l'espace de noms Kubernetes de votre charge de travail.
Dans le sélecteur de métriques basé sur un menu, les métriques sont stockées au format prometheus.googleapis.com/METRIC_NAME/TYPE, où TYPE correspond à counter, histogram ou gauge. Chaque bibliothèque construit son nom de métrique Prometheus à partir de son chemin de métrique en remplaçant / par _. Les compteurs ajoutent un suffixe _total, et les histogrammes sont exportés en tant que séries temporelles _bucket, _sum et _count.
Vous pouvez utiliser les exemples de requêtes PromQL suivants pour analyser les métriques Orbax et PyGrain :
# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))
# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
/ sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))
# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))
# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))
# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))
Considérations liées au coût
La facturation de Google Cloud Managed Service pour Prometheus est basée sur le nombre d'échantillons ingérés. Pour réduire les coûts, configurez un interval de scraping plus long et utilisez metricRelabeling pour ne conserver que les séries temporelles dont vous avez besoin. Vous pouvez consulter le volume d'ingestion de chaque métrique sur la page Gestion des métriques de Cloud Monitoring.
Afficher les résultats de l'analyseur dans les diagnostics de ML
La surveillance des charges de travail avec les diagnostics de ML et les métriques système contextualisées par charge de travail sont automatiquement activées pour les charges de travail TPU GKE JobSet et Job exécutées sur GKE version 1.36.4-gke.1247000 et ultérieure. La surveillance des charges de travail suit le cycle d'utilisation agrégé des TPU pour votre charge de travail. En cas de baisse de 15 % ou plus du cycle d'activité (performance degradation), ML Diagnostics exécute des analyseurs sur les couches d'infrastructure, d'orchestrateur et de framework.
Si votre charge de travail s'exécute sur plusieurs tranches (à l'aide de la couche MXLA) ou utilise les bibliothèques PyGrain ou Orbax, ML Diagnostics exécute les analyseurs de framework suivants pour déterminer si la dégradation des performances est due à la latence de transfert réseau, au chargement des données ou à la création de points de contrôle asynchrones :
- Analyseur de latence de transfert réseau à très grande échelle
- Analyseur PyGrain
- Analyseur de points de contrôle asynchrones Orbax
Les rapports de l'analyseur de diagnostics de ML sont fournis sans frais supplémentaires. La génération des résultats de l'analyseur ne nécessite pas de configurer Google Cloud Managed Service pour Prometheus pour les métriques Orbax et PyGrain. Dans l'onglet Métriques système de la console ML Diagnostics Google Cloud , les métriques Megascale s'affichent automatiquement lorsque vous utilisez des versions compatibles de LibTPU et de GKE.
Vous pouvez afficher les résultats de l'analyseur de l'une des manières suivantes :
- ConsoleGoogle Cloud : dans la console ML Diagnostics Google Cloud (voir Afficher les exécutions de machine learning), ouvrez l'onglet Présentation de la surveillance, recherchez l'événement
performance degradation, puis cliquez sur Afficher les détails pour inspecter le rapport de l'analyseur. - Google Cloud CLI ou API REST : utilisez les commandes
monitored-eventspour lister et décrire les événements et leurs rapports d'analyse. Pour en savoir plus, consultez Premiers pas avec la CLI ML Diagnostics.