Messwerte des Arbeitslast-Frameworks überwachen
In diesem Dokument wird erläutert, wie Sie Megascale XLA (MXLA)-, Orbax- und PyGrain (Grain)-Messwerte für Cloud TPU-Arbeitslasten erfassen und ansehen, die in der Google Kubernetes Engine (GKE) ausgeführt werden. Außerdem wird beschrieben, wie Sie Analysetools, die auf diesen Messwerten basieren, in der ML-Diagnoseplattform aufrufen. Durch das Monitoring dieser Messwerte können Sie Leistungsengpässe bei der Multislice-Kommunikation, der Prüfpunkterstellung und dem Laden von Daten erkennen und beheben.
Jeder Satz von Messwerten ist auf eine bestimmte Komponente Ihrer Arbeitslast ausgerichtet, um Ihnen bei der Diagnose von Problemen in verschiedenen Phasen Ihrer Pipeline zu helfen:
- Megascale XLA (MXLA)-Messwerte: Messen Sie die Übertragungslatenzen des Rechenzentrumsnetzwerks (DCN) zwischen Slices, die Übertragungszeiten von Gerät zu Host (D2H) und von Host zu Gerät (H2D), die Rechenlatenz und die End-to-End-Kollektivvorgänge in Multi-Slice-TPU-Arbeitslasten. Verwenden Sie diese Messwerte, um Nachzügler und Hardwareengpässe zu identifizieren.
- Orbax-Messwerte: Verfolgen Sie die Dauer des asynchronen Speicherns und Wiederherstellens von Prüfpunkten, das Datenvolumen und den Schreibdurchsatz aus der Orbax-Prüfpunktbibliothek. Verwenden Sie diese Messwerte, um Verzögerungen bei der Prüfpunktausführung, Blockierungen oder übermäßige Blockierungszeiten für Trainings-Threads zu erkennen.
- PyGrain-Messwerte (Grain): Messen Sie die Latenz der Dataset-Iteration, die Lesezeiten der Datenquelle, die Gesamtzahl der gelesenen Byte und die Bereitschaft des Prefetch-Puffers aus der PyGrain-Datenladebibliothek. Anhand dieser Messwerte können Sie feststellen, ob Ihre Arbeitslast aufgrund von E/A- oder Datenladeengpässen eingabegebunden ist.
Sie können auf diese Messwerte über einen Prometheus-Port, den Sie direkt lesen, die TPU Monitoring Library, die tpu-info-CLI oder Cloud Monitoring zugreifen.
Die ML Diagnostics-Plattform enthält auch Analysetools für das Monitoring von Arbeitslasten, die diese Messwerte automatisch analysieren, wenn die Leistung einer Arbeitslast beeinträchtigt wird. Diese Analysetools ermitteln, ob ein Rückgang des TPU-Arbeitszyklus durch die MXLA-Netzwerkübertragungslatenz, die asynchrone Orbax-Prüfpunkterstellung oder das Laden von PyGrain-Daten verursacht wird.
Megascale-Messwerte
Megascale XLA (MXLA) ist eine Kommunikationslaufzeit und Compiler-Erweiterung, die kollektive Vorgänge über mehrere TPU-Slices hinweg über das Rechenzentrumsnetzwerk (Data Center Network, DCN) koordiniert. Während Inter-Chip-Interconnect-Verbindungen (ICI) die Hochgeschwindigkeitskommunikation zwischen TPU-Chips innerhalb eines einzelnen Slices übernehmen, verwaltet MXLA Datenübertragungen zwischen Slices, hostseitige Reduzierungen und Datenbewegungen zwischen Hostspeicher und TPU-HBM (High Bandwidth Memory).
Wenn Sie Arbeitslasten mit mehreren Slices auf TPUs ausführen, können Sie MXLA-Messwerte erfassen, um Netzwerk- und Hostverarbeitungsengpässe zwischen Slices zu beheben. Die GKE erfasst diese Messwerte standardmäßig als GKE-Systemmesswerte. Sie können sie in Cloud Monitoring aufrufen. Die Messwerte sind auch automatisch auf dem Tab „Systemmesswerte“ von ML Diagnostics verfügbar, wo sie automatisch für den Arbeitslastkontext der ML-Ausführung aggregiert werden.
In der folgenden Tabelle sind die verfügbaren Megascale-Messwerte aufgeführt:
| Messwertname | GKE-Messwertname | Beschreibung |
|---|---|---|
| MXLA-DCN-Übertragungslatenz | container/multislice/network/dcn_transfer_latencies |
Misst die Roundtrip-Übertragungslatenz des Rechenzentrumsnetzwerks (Data Center Network, DCN) für jeden Datenblock. Ausreißer können mit fehlerhafter Netzwerkhardware korrelieren. Der Messwert hat die folgenden Eigenschaften:
|
| Latenz bei der eingehenden MXLA-Übertragung | container/multislice/network/dcn_inbound_transfer_latencies |
Misst die Latenz der eingehenden DCN-Übertragung in eine Richtung für jeden Datenblock. Ausreißer können mit fehlerhafter Netzwerkhardware zusammenhängen. Der Messwert hat die folgenden Eigenschaften:
|
| MXLA-Rechenlatenz | container/multislice/accelerator/compute_latencies |
Misst die Host-Rechenlatenz, die für den Abschluss eines Reduktionsvorgangs erforderlich ist. Ausreißer können auf CPU- oder Arbeitsspeicherprobleme hinweisen, z. B. auf Fehler bei Dual Inline Memory Modules (DIMMs). Der Messwert hat die folgenden Eigenschaften:
|
| MXLA-E2E-Gesamtlatenz | container/multislice/network/collective_end_to_end_latencies |
Misst die kollektive End-to-End-Latenz über das DCN, vom Host, der den Vorgang initiiert, bis alle Peers die Ausgabe empfangen. Dazu gehören die datenseitige Reduzierung auf dem Host und das Senden der Ausgabe an die TPU. Die Ergebnisse sind Strings mit Details zu Puffergröße, Vorgangstyp und mittleren, P50-, P90-, P95- und P99,9-Latenzen. Der Messwert hat die folgenden Eigenschaften:
|
| MXLA-d2h-Latenz | container/multislice/accelerator/device_to_host_transfer_latencies |
Misst die einseitige Übertragungslatenz von Gerät zu Host (D2H) für jeden Datenblock. Ausreißer können mit fehlerhafter Netzwerkhardware zusammenhängen. Der Messwert hat die folgenden Eigenschaften:
|
| MXLA-h2d-Latenz | container/multislice/accelerator/host_to_device_transfer_latencies |
Misst die unidirektionale Host-zu-Gerät-Übertragungslatenz (H2D) für jeden Datenblock. Ausreißer können mit fehlerhafter Netzwerkhardware zusammenhängen. Der Messwert hat die folgenden Eigenschaften:
|
Orbax-Messwerte
Orbax ist eine verteilte Prüfpunktbibliothek für JAX-Arbeitslasten, mit der Modellgewichtungen, Optimierungsstatus und Dataset-Iteratoren in Umgebungen mit einem oder mehreren Hosts gespeichert und wiederhergestellt werden können. Um die Trainingsausfallzeit zu minimieren, unterstützt Orbax asynchrones Checkpointing. Dabei werden Zustände während der synchronen Phase vom TPU-Speicher in den Hostspeicher kopiert und der Prüfpunkt dann in einem Hintergrundthread in den Speicher geschrieben, während das Training fortgesetzt wird.
Wenn Ihre Arbeitslast Orbax für die Prüfpunkterstellung verwendet, können Sie Orbax-Messwerte erfassen, um Verzögerungen bei der Prüfpunkterstellung, langsamen Schreibdurchsatz oder Stillstände zu beheben. Orbax exportiert diese Messwerte über einen Prometheus-Port, den Sie direkt lesen oder mit Google Cloud Managed Service for Prometheus an Cloud Monitoring senden können. Informationen zum Aktivieren dieser Messwerte in GKE, Cloud Monitoring oder ML Diagnostics finden Sie unter Auf Orbax- und PyGrain-Messwerte zugreifen.
In der folgenden Tabelle sind die verfügbaren Orbax-Messwerte aufgeführt:
| Prometheus-Messwertname | Beschreibung |
|---|---|
jax_checkpoint_write_async_total_duration_secs |
Gesamtzeit für die gesamte asynchrone Prüfpunkt-Schreibpipeline. Der Messwert hat die folgenden Eigenschaften:
|
jax_orbax_write_gbytes |
Gesamtzahl der Gigabyte, die während eines Prüfpunkt-Speichervorgangs geschrieben wurden. Der Messwert hat die folgenden Eigenschaften:
|
jax_orbax_write_gbytes_per_sec |
Schreibdurchsatz in Gigabyte pro Sekunde (GB/s) sowohl in der synchronen als auch in der asynchronen Phase eines Prüfpunkt-Speichervorgangs. Der Messwert hat die folgenden Eigenschaften:
|
jax_checkpoint_write_async_blocking_duration_secs |
Zeit, die in der Blockierungsphase eines asynchronen Prüfpunktspeichervorgangs verbracht wird, bevor die Übergabe an den Hintergrundthread erfolgt. Der Messwert hat die folgenden Eigenschaften:
|
jax_orbax_read_total_duration_secs |
Gesamtdauer eines Prüfpunkt-Wiederherstellungsvorgangs. Der Messwert hat die folgenden Eigenschaften:
|
jax_orbax_read_blocking_duration_secs |
Dauer der synchronen (blockierenden) Vorbereitungsphase eines Prüfpunkt-Wiederherstellungsvorgangs. Der Messwert hat die folgenden Eigenschaften:
|
jax_orbax_write_async_start_total |
Anzahl der gestarteten asynchronen Prüfpunkt-Schreibvorgänge. Der Messwert hat die folgenden Eigenschaften:
|
PyGrain-Messwerte
PyGrain (Grain) ist eine Python-Bibliothek zum Lesen, Vorverarbeiten und Batching von Eingabedaten für Trainings- und Bewertungsarbeitslasten im Bereich des maschinellen Lernens. PyGrain bietet deterministische, reproduzierbare Datenpipelines, die Datensätze auf der Host-CPU vorab abrufen und transformieren, damit TPU-Beschleuniger nicht auf Eingabe-Batches warten müssen.
Wenn Ihre Arbeitslast PyGrain zum Laden von Daten verwendet, können Sie PyGrain-Messwerte erfassen, um Engpässe in der Eingabepipeline, langsame Lesevorgänge im Speicher oder erschöpfte Prefetch-Puffer zu beheben. PyGrain exportiert diese Messwerte über einen Prometheus-Port, den Sie direkt lesen oder mit Google Cloud Managed Service for Prometheus an Cloud Monitoring senden können. Informationen zum Aktivieren dieser Messwerte in GKE, Cloud Monitoring oder ML Diagnostics finden Sie unter Auf Orbax- und PyGrain-Messwerte zugreifen.
In der folgenden Tabelle sind die verfügbaren PyGrain-Messwerte aufgeführt:
| Prometheus-Messwertname | Beschreibung |
|---|---|
grain_python_dataset_next_duration_ns |
Zeit, die für den Methodenaufruf Der Messwert hat die folgenden Eigenschaften:
|
grain_python_dataset_prefetch_buffer_ready_count |
Anzahl der einsatzbereiten Elemente im Prefetch-Zwischenspeicher. Der Messwert hat die folgenden Eigenschaften:
|
grain_python_data_sources_bytes_read_total |
Gesamtzahl der aus Datenquellen gelesenen Bytes. Der Messwert hat die folgenden Eigenschaften:
|
grain_python_dataset_source_read_time_ns |
Zeit, die für das Lesen aus der Datenquelle aufgewendet wurde. Der Messwert hat die folgenden Eigenschaften:
|
grain_python_data_loader_iterator_get_next |
Zeit, die im Methodenaufruf Der Messwert hat die folgenden Eigenschaften:
|
Vorbereitung
Bevor Sie Megascale-, Orbax- oder PyGrain-Messwerte erfassen oder die zugehörigen ML-Diagnoseanalysetools verwenden, müssen Sie dafür sorgen, dass Ihre Umgebung die Anforderungen in den folgenden Abschnitten erfüllt.
Anforderungen für Megascale
Wenn Sie Megascale-Messwerte erfassen und in Cloud Monitoring ansehen möchten, müssen die folgenden Versionsanforderungen erfüllt sein:
- Installieren Sie LibTPU-Version
0.40.0oder höher. - Wenn Sie diese Messwerte in Cloud Monitoring aufrufen möchten, installieren Sie die GKE-Version
1.36.4-gke.1247000oder höher.
Orbax- und PyGrain-Anforderungen
Wenn Sie Orbax- und PyGrain-Messwerte aus Ihrer Arbeitslast exportieren möchten, müssen die folgenden Paket- und Containeranforderungen erfüllt sein:
- Python-Pakete:
- Installieren Sie Orbax (
orbax-checkpoint) Version0.12.1oder höher. - Installieren Sie PyGrain (
grain) Version0.2.18oder höher. - Installieren Sie das Python-Paket
prometheus-clientin Ihrem Container-Image. Das Paketorbax-checkpointinstalliertprometheus-clientautomatisch als Abhängigkeit,grainjedoch nicht. Wenn Ihre Arbeitslast nur PyGrain verwendet, installieren Sie das Paket mitpip install prometheus-client.
- Installieren Sie Orbax (
- Konfiguration des Arbeitslastcontainers:
- Legen Sie die folgenden Umgebungsvariablen fest:
ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(aktiviert Orbax-Messwerte)ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(aktiviert PyGrain-Messwerte)
- Geben Sie den TCP-Port
9431im Arbeitslastcontainer frei.
- Legen Sie die folgenden Umgebungsvariablen fest:
In der folgenden Beispiel-Containerspezifikation werden die Telemetrie-Umgebungsvariablen festgelegt und der TCP-Port 9431 freigegeben:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Ersetzen Sie WORKLOAD_CONTAINER durch den Namen Ihres Arbeitslastcontainers.
Anforderungen an ML Diagnostics-Analysetools
Wenn Sie die ML-Diagnoseanalysetools für Megascale-, Orbax- und PyGrain-Messwerte verwenden möchten, installieren Sie die GKE-Version 1.36.4-gke.1247000 oder höher.
Auf Megascale-Messwerte zugreifen
Wenn auf Ihrem Cluster eine unterstützte GKE-Version und LibTPU ausgeführt werden, erfasst GKE automatisch Megascale-Messwerte, damit Sie sie in Cloud Monitoring ansehen können. Sie können auch einen Prometheus-Collector Ihrer Wahl bereitstellen, um Megascale-Messwerte direkt über den Prometheus-Port der MXLA-Laufzeit zu lesen.
Auf Orbax- und PyGrain-Messwerte zugreifen
Wenn Sie Prometheus-Telemetrie für Ihren Arbeitslastcontainer aktivieren, exportieren Orbax und PyGrain Messwerte über den TCP-Port 9431. Sie können auf diese Messwerte auf eine der folgenden Arten zugreifen:
- Prometheus-Endpunkt direkt lesen: Stellen Sie einen Prometheus-Collector Ihrer Wahl bereit, um Orbax- und PyGrain-Messwerte von Port
9431im Arbeitslastcontainer zu lesen. - Messwerte an Cloud Monitoring senden: Verwenden Sie Google Cloud Managed Service for Prometheus, um Port
9431auf jedem Knoten zu lesen und die Messwerte an Cloud Monitoring zu senden.
Messwerte mit Google Cloud Managed Service for Prometheus ansehen
Wenn Sie Orbax- und PyGrain-Messwerte von Port 9431 an Cloud Monitoring senden möchten, stellen Sie eine benutzerdefinierte Google Cloud Managed Service for Prometheus-Ressource PodMonitoring in Ihrem GKE-Cluster bereit. Die Ressource PodMonitoring weist den Google Cloud Managed Service for Prometheus-Collector auf jedem Knoten an, Port 9431 zu lesen und die Messwerte an Cloud Monitoring zu senden. Weitere Informationen finden Sie unter PodMonitoring-Ressource konfigurieren.
Der prometheus.googleapis.com-Endpunkt und der Google Cloud Managed Service for Prometheus-Collector sind in GKE-Clustern standardmäßig aktiviert. Für die Verwendung von Google Cloud Managed Service for Prometheus fallen zusätzliche Gebühren an.
Verwaltete Sammlung aktivieren
Die verwaltete Erfassung für Google Cloud Managed Service for Prometheus ist in GKE-Standardclustern mit GKE-Version 1.27 oder höher standardmäßig aktiviert. Weitere Informationen finden Sie unter Verwaltete Erfassung aktivieren.
Wenn die verwaltete Erfassung in Ihrem Cluster deaktiviert ist, aktivieren Sie sie:
gcloud container clusters update CLUSTER_NAME \
--enable-managed-prometheus \
--region=REGION
Ersetzen Sie Folgendes:
CLUSTER_NAME: der Name Ihres GKE-Clusters.REGION: die Region, in der sich Ihr Cluster befindet.
Wenn Sie die Standardberechtigungen für das Knotendienstkonto geändert haben, prüfen Sie, ob es die Rolle Monitoring-Messwert-Autor (roles/monitoring.metricWriter) hat.
Pod-Vorlage für die Arbeitslast konfigurieren
Wenn Sie Ihre Arbeitslast-Pods für das Scraping vorbereiten möchten, aktualisieren Sie die Pod-Vorlage in Ihrem JobSet-, Job- oder Deployment-Manifest:
- Fügen Sie ein Pod-Label wie
ml-framework-metrics: "enabled"hinzu, damit diePodMonitoring-Ressource die Arbeitslast-Pods auswählen kann. - Legen Sie die Umgebungsvariablen
ENABLE_ORBAX_PROMETHEUS_TELEMETRYundENABLE_PYGRAIN_PROMETHEUS_TELEMETRYauf"true"fest. - Geben Sie den TCP-Port
9431frei und weisen Sie ihm einen Portnamen wieframework-metricszu.
In der folgenden Beispiel-Pod-Vorlage werden diese Felder konfiguriert:
template:
metadata:
labels:
ml-framework-metrics: "enabled" # used by the PodMonitoring selector
spec:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Ersetzen Sie WORKLOAD_CONTAINER durch den Namen Ihres Arbeitslastcontainers.
Messwert-Endpunkt prüfen
Prüfen Sie vor dem Bereitstellen der PodMonitoring-Ressource, ob Ihr Arbeitslastcontainer Messwerte auf Port 9431 exportiert. Leiten Sie den Port 9431 von einem laufenden Arbeitslast-Pod weiter und fragen Sie den Endpunkt /metrics ab:
kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'
Ersetzen Sie Folgendes:
NAMESPACE: der Kubernetes-Namespace, in dem Ihre Arbeitslast ausgeführt wird.WORKLOAD_POD: der Name eines laufenden Arbeitslast-Pods.
Orbax initialisiert jeden Messwert, wenn zum ersten Mal ein Wert aufgezeichnet wird. Orbax-Messwerte werden also erst nach dem ersten Speichern oder Wiederherstellen eines Prüfpunkts angezeigt.
PodMonitoring-Ressource bereitstellen
Führen Sie die folgenden Schritte aus, um Google Cloud Managed Service for Prometheus so zu konfigurieren, dass Ihre Arbeitslast-Pods gelesen werden:
Speichern Sie das folgende Manifest als
orbax-grain-podmonitoring.yaml:apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: orbax-grain-metrics namespace: WORKLOAD_NAMESPACE # must match the workload namespace spec: selector: matchLabels: ml-framework-metrics: "enabled" endpoints: - port: framework-metrics # the named containerPort (9431) path: /metrics interval: 30s # a longer interval reduces sample volume and cost metricRelabeling: # optional: keep only Orbax and PyGrain series to control cost - action: keep sourceLabels: [__name__] regex: (jax_orbax_|jax_checkpoint_|grain_python_).+ targetLabels: # optional: copy the JobSet name onto every series fromPod: - from: jobset.sigs.k8s.io/jobset-name to: jobset_nameErsetzen Sie
WORKLOAD_NAMESPACEdurch den Kubernetes-Namespace, in dem Ihre Arbeitslast ausgeführt wird.Wenden Sie das Manifest an und prüfen Sie, ob die
PodMonitoring-Ressource erstellt wurde:kubectl apply -f orbax-grain-podmonitoring.yaml kubectl get podmonitoring -A
Eine PodMonitoring-Ressource liest Pods nur im eigenen Namespace. Wenn Ihre Arbeitslasten in mehreren Namespaces ausgeführt werden, verwenden Sie dieselbe Spezifikation mit kind:
ClusterPodMonitoring und lassen Sie das Feld metadata.namespace weg. Eine ClusterPodMonitoring-Ressource erkennt übereinstimmende Pods in allen Namespaces.
Optional: Prüfen, ob Google Cloud Managed Service for Prometheus die Pods scrapt
Führen Sie die folgenden Schritte aus, um zu prüfen, ob Google Cloud Managed Service for Prometheus Ihre Arbeitslast-Pods aktiv erfasst:
- Bearbeiten Sie im Namespace
gmp-publicdie RessourceOperatorConfigund setzen Siefeatures.targetStatus.enabledauftrue. Prüfen Sie die Ressource
PodMonitoringund bestätigen Sie, dass die ZieleHealth: upmelden:kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metricsErsetzen Sie
NAMESPACEdurch den Kubernetes-Namespace, in dem Ihre Arbeitslast ausgeführt wird.Setzen Sie nach der Fehlerbehebung
features.targetStatus.enabledin der RessourceOperatorConfigwieder auffalse. Es wird empfohlen, den Zielstatus nur zu aktivieren, wenn Sie aktive Probleme untersuchen.
Messwerte in Cloud Monitoring abfragen
Führen Sie die folgenden Schritte aus, um die an Cloud Monitoring gesendeten Messwerte abzufragen:
- Rufen Sie in der Google Cloud Console Monitoring > Metrics Explorer auf.
Wählen Sie PromQL aus und geben Sie die folgende Abfrage ein, um zu prüfen, ob Ihre Ziele Berichte erstellen:
up{namespace="NAMESPACE"}Ersetzen Sie
NAMESPACEdurch den Kubernetes-Namespace Ihrer Arbeitslast.
In der menübasierten Messwertauswahl werden Messwerte im Format prometheus.googleapis.com/METRIC_NAME/TYPE gespeichert, wobei TYPE entweder counter, histogram oder gauge ist. Jede Bibliothek erstellt ihren Prometheus-Messwertnamen aus ihrem Messwertpfad, indem sie / durch _ ersetzt. Zählern wird das Suffix _total angehängt und Histogramme werden als Zeitreihen _bucket, _sum und _count exportiert.
Mit den folgenden PromQL-Beispielabfragen können Sie Orbax- und PyGrain-Messwerte analysieren:
# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))
# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
/ sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))
# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))
# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))
# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))
Kostengesichtspunkte
Die Abrechnung für Google Cloud Managed Service for Prometheus basiert auf der Anzahl der aufgenommenen Stichproben. Wenn Sie die Kosten senken möchten, konfigurieren Sie ein längeres Scraping-interval und verwenden Sie metricRelabeling, um nur die benötigten Zeitreihen beizubehalten. Sie können das Aufnahmevolumen für jeden Messwert auf der Seite Messwertverwaltung in Cloud Monitoring aufrufen.
Analyseausgaben in ML-Diagnose ansehen
ML-Diagnose-Arbeitslastüberwachung und arbeitslastkontextualisierte Systemmesswerte werden automatisch für GKE-TPU-Arbeitslasten (JobSet und Job) aktiviert, die auf GKE-Version 1.36.4-gke.1247000 und höher ausgeführt werden. Das Arbeitslastmonitoring verfolgt den aggregierten TPU-Arbeitszyklus für Ihre Arbeitslast. Wenn der Arbeitszyklus (performance degradation) um 15 % oder mehr sinkt, führt ML Diagnostics Analysen auf den Infrastruktur-, Orchestrator- und Framework-Ebenen aus.
Wenn Ihre Arbeitslast über mehrere Slices (mit der MXLA-Ebene) ausgeführt wird oder die PyGrain- oder Orbax-Bibliotheken verwendet, führt ML Diagnostics die folgenden Framework-Analysetools aus, um festzustellen, ob die Leistungsverschlechterung durch die Latenz bei der Netzwerkübertragung, das Laden von Daten oder asynchrone Prüfpunkte verursacht wurde:
ML-Diagnose-Analyseberichte werden ohne zusätzliche Kosten bereitgestellt. Für die Generierung von Analyseergebnissen ist keine Konfiguration von Google Cloud Managed Service for Prometheus für Orbax- und PyGrain-Messwerte erforderlich. Auf dem Tab Systemmesswerte der ML Diagnostics- Google Cloud Console werden Megascale-Messwerte automatisch angezeigt, wenn Sie unterstützte LibTPU- und GKE-Versionen verwenden.
Sie haben folgende Möglichkeiten, um die Ausgabe des Analysetools aufzurufen:
- Google Cloud -Konsole: Öffnen Sie in der ML-Diagnose- Google Cloud -Konsole (siehe Ausführungen des maschinellen Lernens ansehen) den Tab Monitoring-Übersicht, suchen Sie das Ereignis
performance degradationund klicken Sie auf Details ansehen, um den Analysebericht zu prüfen. - Google Cloud CLI oder REST API: Verwenden Sie die
monitored-events-Befehle, um Ereignisse und ihre Analyseberichte aufzulisten und zu beschreiben. Weitere Informationen finden Sie unter Erste Schritte mit der ML-Diagnose-Befehlszeile.