Arbeitslastmonitoring mit ML Diagnostics

Das Arbeitslastmonitoring ist eine integrierte Funktion der ML Diagnostics-Plattform mit der Probleme erkannt und diagnostiziert werden können, die sich auf KI-/ML-Arbeitslasten auswirken, die auf TPUs in ausgeführt werden Google Cloud. Für jeden GKE-Job erstellt das Arbeitslastmonitoring von ML Diagnostics automatisch eine ML-Ausführung und überwacht den TPU-Arbeitszyklus in der gesamten Arbeitslast, um Ereignisse zu erkennen, die sich auf die Arbeitslast auswirken.

Das Arbeitslastmonitoring von ML Diagnostics bietet die folgenden Hauptfunktionen:

  • Zuordnung von Arbeitslast zu Knoten:Die Google Cloud Knoten , die von Ihrer Arbeitslast verwendet werden, werden automatisch ermittelt. Diese Funktion ist standardmäßig für alle TPU-Arbeitslasten in GKE verfügbar.
  • Statusverfolgung:Sie können den Status von Arbeitslasten für mehrere Statuswerte überwachen, darunter performance degradation (Leistungsverschlechterung), hang (Hängen), orchestrator interruption (Unterbrechung des Orchestrators) und termination (Beendigung).
  • Messwertbasierte Problemerkennung:Sie können Probleme mit Arbeitslasten (Leistungsverschlechterung, Hängen, Unterbrechung des Orchestrators und Beendigung) erkennen, indem Sie den aggregierten TPU-Arbeitszyklus überwachen. Standardmäßig weist ein Rückgang des Arbeitszyklus um 15% auf eine Leistungsverschlechterung hin und löst eine Analyse aus. Für andere Ereignisse werden andere Indikatoren verwendet, um Hängen, Unterbrechungen des Orchestrators und Beendigungen zu erkennen.
  • Automatisierte Diagnose:Wenn ein Problem erkannt wird, werden automatisierte Analysetools ausgeführt, um potenzielle Ursachen in der Infrastruktur, im Orchestrator oder im Framework zu finden. Zu den Analysetools gehören:
    • Infrastruktur: ICI-Link, Temperatur, TPU-Drosselung, HBM-Kapazität, HBM-Bandbreite, Hostarbeitsspeicherauslastung, CPU-Auslastung, ToR-Uplink-Überlastung, ToR-NIC-Link.
    • Orchestrator: GKE-Knotenpoolunterbrechung, GKE-Slice-Unterbrechung.
    • Framework: Megascale-XLA-Hängen.
  • Problemlokalisierung:Sie können die spezifischen Knoten und Instanzen ermitteln, die von erkannten Problemen betroffen sind.
  • Vorgeschlagene Maßnahmen:Empfohlene Schritte zur Wiederherstellung oder weiteren Untersuchung, z. B. Neustarten eines Jobs, Entfernen eines potenziell fehlerhaften Knotens oder Erfassen von XProf-Profilen.
  • Ereigniszeitachse:Eine Zeitachse der Arbeitslastereignisse neben dem Messwert für den TPU-Arbeitszyklus, um Ereignisse mit Zeitreihen von Messwerten in Beziehung zu setzen.
  • Analysedetails:Detaillierte Berichte für Analysetools, die für jedes Ereignis ausgeführt werden.
  • Systemmesswerte: Systemmesswerte werden automatisch in Intervallen von einer Minute für jede ML-Ausführung für das Arbeitslastmonitoring erfasst. Diese Systemmesswerte liefern zusätzliche Informationen, die mit Arbeitslastereignissen in Beziehung gesetzt werden können, um eine detailliertere Analyse zu ermöglichen. Zu den Systemmesswerten gehören:
    • TPU-Gerät: Arbeitszyklus, TensorCore-Auslastung.
    • Hostgerät: Host-CPU-Auslastung, Hostarbeitsspeicherauslastung.
    • HBM: Arbeitsspeicherbandbreitenauslastung, HBM-Gesamtspeicher, verwendeter HBM-Speicher.
    • Megascale XLA: MXLA-DCN-Übertragungslatenz, MXLA-Eingangsübertragungslatenz, MXLA-Rechenlatenz, MXLA-End-to-End-Kollektivlatenz, MXLA-D2H-Latenz, MXLA-H2D-Latenz.

Vorbereitung

Wenn Sie das ML Diagnostics Workload Monitoring verwenden möchten, aktivieren Sie die Cluster Director API und fügen Sie die erforderlichen IAM-Berechtigungen hinzu. Weitere Informationen finden Sie unter Voraussetzungen für ML Diagnostics.

Jetzt starten

Wenn Sie Ihren TPU-Job in GKE einreichen, beginnt das ML Diagnostics-System automatisch mit der Verfolgung Ihrer Arbeitslast, ohne dass eine manuelle Codeinstrumentierung erforderlich ist. Diagnoseinformationen werden in der ML Diagnostics Google Cloud Console angezeigt und können mit der ML Diagnostics CLI oder API abgerufen werden. Diagnoseinformationen werden für jede Machine-Learning-Ausführung (ML-Ausführung) aufgeführt.

Das Arbeitslastmonitoring ist für GKE-Versionen ab 1.36.0-gke.4447000 automatisch aktiviert. Megascale-XLA-Hängen und Megascale-XLA-Messwerte sind ab LibTPU-Version 0.40.0 verfügbar.

Arbeitslastmonitoring und Analysetools

ML Diagnostics überwacht kontinuierlich die Leistung Ihrer Arbeitslast, indem der TPU-Arbeitszyklus und seine Beziehung zur zugrunde liegenden Infrastruktur beobachtet werden. Standardmäßig weist ein Rückgang des Arbeitszyklus um 15% auf eine Leistungsverschlechterung hin und löst eine Analyse aus. Für andere Ereignisse werden andere Indikatoren verwendet, um Hängen, Unterbrechungen des Orchestrators und Beendigungen zu erkennen.

Die Arbeitslaststatus werden automatisch verfolgt und einer der folgenden Werte zugewiesen:

  • running (wird ausgeführt): Die Arbeitslast wird aktiv ausgeführt. Dieser Status wird in der Console nicht direkt Google Cloud angezeigt.
  • termination (Beendigung): Die Arbeitslast wurde beendet und wird nicht mehr ausgeführt. Dies kann auf eine erwartete Unterbrechung des Orchestrators (die zu einem Neustart führt), einen erfolgreichen Abschluss oder einen fehlgeschlagenen Job zurückzuführen sein.
  • hang(Hängen): Wird durch einen längeren Zeitraum mit minimaler bis keiner TPU-Aktivität ohne Abschluss der Arbeitslast erkannt.
  • performance degradation(Leistungsverschlechterung): Wird durch einen erheblichen Rückgang der Leistungsmesswerte wie des aggregierten TPU-Arbeitszyklus ausgelöst.
  • Orchestrator interruption(Unterbrechung des Orchestrators): Erkannte GKE-Unterbrechung des Orchestrators. Dazu gehören Slice-Unterbrechungen für TPU7x (Ironwood) und Knotenpoolunterbrechungen für frühere Versionen.

Bei Problemen, die in der Arbeitslast erkannt werden, löst ML Diagnostics eine Reihe von Analysetools aus, um potenzielle Probleme mit der Arbeitslast auf den Ebenen Infrastruktur, Orchestrator und Framework zu diagnostizieren. Diese Analysetools erkennen Probleme mit der Infrastruktur, dem Orchestrator oder dem Framework, ermitteln die betroffenen Knoten und schlagen Schritte zur Fehlerbehebung vor.

Das ICI-Link-Analysetool erkennt Probleme mit den ICI-Links (Inter-Chip Interconnect), die TPUs innerhalb eines Slice verbinden. Dieses Analysetool erkennt potenzielle ICI-Netzwerkprobleme auf den Links zwischen TPU-Prozessoren. Das Analysetool ermittelt die spezifischen Knoten, auf denen die problematischen Arbeitslasten ausgeführt werden.

Temperaturanalysetool

Das Temperaturanalysetool überwacht und erkennt TPU-Knoten, die überhitzen. Übermäßige Temperaturen können sich negativ auf die Leistung der Arbeitslast auswirken. Das Analysetool ermittelt die spezifischen Knoten, bei denen Temperaturprobleme auftreten, die durch Überhitzung in den TensorCores oder im HBM (High Bandwidth Memory, Speicher mit hoher Bandbreite) verursacht werden können.

TPU-Drosselungsanalysetool

Das TPU-Drosselungsanalysetool erkennt, wenn eine Drosselung des TPU-Chips auftritt. Dies kann auf Einschränkungen bei der Stromversorgung, der Temperatur oder anderer Hardware zurückzuführen sein. Das Analysetool ermittelt die spezifischen Knoten, bei denen die Drosselung auftritt.

HBM-Kapazitätsanalysetool

Das HBM-Kapazitätsanalysetool überwacht die HBM-Auslastung (High Bandwidth Memory, Speicher mit hoher Bandbreite) von TPU-Knoten. Dieses Analysetool erkennt TPU-Knoten, bei denen die HBM-Auslastung entweder das Limit erreicht (ca. 90%) oder zu OOM-Fehlern (Out of Memory, nicht genügend Arbeitsspeicher) führt. Zu den möglichen Maßnahmen zur Fehlerbehebung gehört das Erfassen von XProf-Profiling-Traces für eine detaillierte Analyse der HBM-Arbeitsspeichernutzung. Sie sollten auch die Arbeitslastkonfigurationen ändern, um die HBM-Nutzung zu optimieren, z. B. die Batchgröße reduzieren oder Modellparameter anpassen.

HBM-Bandbreitenanalysetool

Das HBM-Bandbreitenanalysetool überwacht die Lese- und Schreibbandbreite des HBM (High Bandwidth Memory, Speicher mit hoher Bandbreite) von TPU-Knoten und -Instanzen. Dieses Analysetool erkennt TPU-Instanzen, bei denen die HBM-Bandbreite gedrosselt wird. Dies weist darauf hin, dass HBM-Vorgänge eingeschränkt sind. Dies ist wahrscheinlich auf Bandbreitenlimits oder Hardwareprobleme wie eine hohe TPU-Chiptemperatur zurückzuführen. Das Analysetool ermittelt die spezifischen Instanzen, bei denen die Drosselung auftritt.

Analysetool für die Hostarbeitsspeicherauslastung

Das Analysetool für die Hostarbeitsspeicherauslastung überwacht die nicht löschbare Hostarbeitsspeicherauslastung von TPU-Knoten und -Instanzen. Dieses Analysetool erkennt TPU-Instanzen, bei denen die nicht löschbare Hostarbeitsspeicherauslastung nahe am Limit liegt. Dies kann die Leistung beeinträchtigen und das Risiko von OOM-Ereignissen (Out of Memory, nicht genügend Arbeitsspeicher) erhöhen. Dies kann durch übermäßiges Prefetching oder Pufferung in der Datenpipeline, vorübergehende RAM-Spitzen während der Prüfpunktvorgänge oder Speicherlecks in benutzerdefinierten Loadern verursacht werden. Informationen zu GKE-Arbeitslasten finden Sie unter Best Practices für GKE zum Identifizieren von Arbeitslasten und Konfigurieren geeigneter Arbeitsspeicheranfragen und -limits.

Analysetool für die CPU-Auslastung

Das Analysetool für die CPU-Auslastung überwacht die Host-CPU-Auslastung von TPU-Knoten und -Instanzen. Dieses Analysetool erkennt TPU-Instanzen, bei denen die Host-CPU-Auslastung nahe am zugewiesenen Limit liegt. Dies kann sich negativ auf die Anwendungsleistung auswirken und möglicherweise zu Verlangsamungen oder Reaktionslosigkeit führen. Zu den möglichen Maßnahmen zur Fehlerbehebung gehört die Verwendung von Cloud Profiling für eine detaillierte Analyse der CPU-Auslastung. Informationen zu GKE-Arbeitslasten finden Sie unter Best Practices für GKE zum Identifizieren von Arbeitslasten und Konfigurieren geeigneter Arbeitsspeicheranfragen und limits.

Dieses Analysetool erkennt Netzwerkprobleme zwischen dem ToR-Switch (Top-of-Rack) und den NIC-Links (Network Interface Card). Das Analysetool ermittelt die spezifischen Instanzen, auf denen die problematischen Arbeitslasten ausgeführt werden.

Dieses Analysetool erkennt Probleme mit ToR-Switches (Top-of-Rack), bei denen es zu einer Überlastung des Netzwerkpfads kommt. Dieses Analysetool weist auf eine hohe Auslastung an bestimmten Uplink-Ports hin. Das Analysetool ermittelt die spezifischen Instanzen, bei denen die Überlastung auftritt.

Analysetool für GKE-Orchestrator-Slice-Unterbrechung

Dieses Analysetool erkennt Unterbrechungsereignisse auf Slice-Ebene in der GKE-Orchestratorebene. Wenn eine Slice-Unterbrechung erkannt wird, ermittelt das Analysetool den betroffenen Slice und identifiziert den zugrunde liegenden Unterblock als potenzielle Ursache der Unterbrechung. Dieses Analysetool funktioniert auf der Ebene jedes Slice in der Arbeitslast, sodass Sie für jeden Slice einzeln Slice-Unterbrechungsereignisse erhalten.

Analysetool für GKE-Orchestrator-Knotenpoolunterbrechung

Dieses Analysetool erkennt Knotenpoolunterbrechungsereignisse, die in der GKE-Orchestratorebene auftreten. Für TPU-Generationen bis TPU v6e (Trillium) registriert GKE keine einheitliche „Slice“-Ressource. Es werden nur standardmäßige, einzelne Compute Engine-VMs (Knoten) registriert, die als Knotenpools zusammengebunden sind.

Wenn ein Knoten aufgrund einer geplanten Unterbrechung (Wartung, Preemption oder Hostfehler) oder eines ungeplanten Fehlers ausfällt, wendet GKE automatisch Taints an (z. B. node.kubernetes.io/unreachable) und ändert den Status des Knotens in NotReady. Das Analysetool für Knotenpoolunterbrechungen verwendet diese Indikatoren, um Unterbrechungen des Orchestrators zu erkennen.

Analysetool für Megascale-XLA-Hängen (MXLA)

Dieses Analysetool erkennt Hängen, die sich auf TPU-Arbeitslasten mit mehreren Slices auf der MXLA-Frameworkebene auswirken. Cloud TPU-Multislice-Umgebungen bestehen aus mehreren TPU-Slices, die über das Rechnenzentrumsnetzwerk (Data Center Network, DCN) kommunizieren. Multislice-Arbeitslasten verwenden Megascale-Kollektive für die Kommunikation über DCN. Ein Megascale-Hängen tritt auf, wenn ein Worker für einen festgelegten Zeitraum auf einen Megascale-Kommunikationsvorgang gewartet hat. In diesen Fällen erhalten Sie in Ihren Cloud TPU-Logs die Meldung HANG_DETECTED von Megascale.

Megascale erkennt und meldet in der Regel Hängen, da es für die Kommunikation über DCN verantwortlich ist. Dies bedeutet jedoch nicht unbedingt, dass der Fehler durch Megascale verursacht wird. Oft ist das Erkennen von Hängen ein Symptom eines Problems in einem anderen Teil des Systems. Aus diesem Grund ist die Meldung HANG_DETECTED von Megascale ein allgemeiner Hinweis darauf, dass eine Arbeitslast nicht ordnungsgemäß ausgeführt wird. Dies kann durch Drittanbietersoftware, Google-eigene Software oder ein Problem mit der Hardware selbst verursacht werden.

Anstatt Nutzerlogs manuell zu durchsuchen, wird dieses Analysetool automatisch ausgelöst, wenn Hängen auftreten. Es liefert Analyseberichte zu potenziellen Ursachen des Hängens im ML Diagnostics-System. Das Analysetool ermittelt die folgenden potenziellen Ursachen:

  1. BAD_TPU_CHIP: Das MXLA-Hängen wurde wahrscheinlich durch ein Problem mit dem TPU-TensorCore verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten.
  2. BAD_SC_CHIP: Das MXLA-Hängen wurde wahrscheinlich durch ein Problem mit dem TPU-SparseCore verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten.
  3. NETWORKING_ISSUE: Das MXLA-Hängen wurde wahrscheinlich durch ein Netzwerkproblem im DCN-Netzwerk verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten.
  4. DIFFERENT_MODULE: Das MXLA-Hängen wurde wahrscheinlich durch die Ausführung verschiedener HLO-Module auf verschiedenen VMs verursacht. Um die Ursache zu ermitteln, prüfen Sie den Digest, der vom Analysetool in den Logs ausgegeben wird.
  5. FINGERPRINT_MISMATCH: Das MXLA-Hängen wurde wahrscheinlich durch eine inkonsistente HLO-Modulkompilierung auf verschiedenen VMs verursacht. Dies ist wahrscheinlich ein Fehler im JAX-Tracing oder im XLA-Compiler. Um die Ursache zu ermitteln, prüfen Sie den Digest, der vom Analysetool in den Logs ausgegeben wird. Erstellen Sie einen Dump Ihrer HLO-Berechnungen und teilen Sie die Ausgabe mit dem Google XLA-Compilerteam, um weitere Fehler zu beheben. Weitere Informationen finden Sie unter HLO Berechnungen dumpen.
  6. DATA_INPUT_STALL: Das MXLA-Hängen wurde wahrscheinlich durch einen Dateninput-Stall verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten.
  7. ICI_ERROR: Das MXLA-Hängen wurde wahrscheinlich durch einen ICI-Fehler verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten.
  8. PROGRAM_NOT_QUEUED: Das MXLA-Hängen wurde wahrscheinlich dadurch verursacht, dass einige VMs keine Programme in die Warteschlange für die TPU gestellt haben. Prüfen Sie, ob Ihre Anwendung blockiert ist oder abstürzt, wodurch verhindert wird, dass JAX das nächste TPU-Programm (jitted-Funktionen) in die Warteschlange stellt.
  9. LAUNCHES_ORDER_INCONSISTENT: Das MXLA-Hängen wurde wahrscheinlich durch eine inkonsistente Startreihenfolge auf verschiedenen VMs verursacht. Um die Ursache zu ermitteln, prüfen Sie den Digest, der vom Analysetool in den Logs ausgegeben wird.
  10. UNRECOVERABLE_ERROR: Das MXLA-Hängen wurde durch einen nicht behebaren Fehler verursacht. Das Analysetool meldet auch die spezifischen Instanzen, bei denen Probleme auftreten. Prüfen Sie das Fehlerlog der Instanzen mit nicht behebbaren Fehlern. Wenn der Fehler spezifisch für die jeweilige Maschine zu sein scheint (z. B. Fehler beim Kopieren von Daten von der TPU zum Host), müssen Sie Ihren Job so konfigurieren, dass diese Hosts vermieden werden. Wenn die Fehlerlogs nicht darauf hinweisen, dass das Problem mit einer bestimmten Maschine zusammenhängt, liegt das Problem wahrscheinlich auf Anwendungsebene.
  11. UNKNOWN: Das MXLA-Hängen wurde erkannt, aber eine potenzielle Ursache wurde nicht ermittelt.

Systemmesswerte

Für jede ML-Ausführung für das Arbeitslastmonitoring werden Systemmesswerte automatisch in Intervallen von einer Minute von Cloud Monitoring erfasst. Diese Systemmesswerte liefern zusätzliche Informationen, die mit Arbeitslastereignissen in Beziehung gesetzt werden können, und für eine detailliertere Analyse neben den Ergebnissen des Analysetools. Zu den Systemmesswerten gehören:

  • TPU-Gerätemesswerte: Arbeitszyklus (node/accelerator/duty_cycle), TensorCore-Auslastung (node/accelerator/tensorcore_utilization).
  • Hostgerätemesswerte: Host-CPU-Auslastung (node/cpu/allocatable_utilization), Hostarbeitsspeicherauslastung (node/memory/allocatable_utilization).
  • HBM-Messwerte: Arbeitsspeicherbandbreitenauslastung (node/accelerator/memory_bandwidth_utilization), HBM-Gesamtspeicher (node/accelerator/memory_total), verwendeter HBM-Speicher (node/accelerator/memory_used).
  • MXLA-Messwerte für Multislice-Arbeitslasten: MXLA-DCN-Übertragungslatenz (container/multislice/network/dcn_transfer_latencies), MXLA-Eingangsübertragungslatenz (container/multislice/network/dcn_inbound_transfer_latencies), MXLA-Rechenlatenz (container/multislice/accelerator/compute_latencies), MXLA-End-to-End-Kollektivlatenz (container/multislice/network/collective_end_to_end_latencies), MXLA-D2H-Latenz (container/multislice/accelerator/device_to_host_transfer_latencies), MXLA-H2D-Latenz (container/multislice/accelerator/host_to_device_transfer_latencies).

Informationen zu Systemmesswerten finden Sie unter GKE-System messwerte.

Wenn Sie Systemmesswerte in kürzeren Intervallen protokollieren möchten, verwenden Sie das ML Diagnostics SDK und legen Sie log_system_metrics=true fest. Eine Liste der Systemmesswerte, die vom SDK im 10-Sekunden-Intervall protokolliert werden, finden Sie in der ML Diagnostics (google-cloud-mldiagnostics) SDK Dokumentation. Standardmäßig werden Systemmesswerte, die im 1-Minuten-Intervall erfasst werden, automatisch in das ML Diagnostics-System übernommen.

Arbeitslastmonitoring in der Google Cloud Console ansehen

Sie können Ihre Ausführungen, die vom Arbeitslastmonitoring von ML Diagnostics überwacht werden, in der Google Cloud Console sowohl unter Cluster Director als auch unter GKE ansehen.

So sehen Sie alle Ihre Machine-Learning-Ausführungen in Cluster Director:

  1. Rufen Sie in der Google Cloud Console die Cluster Director Seite auf.
  2. Klicken Sie auf den Tab Diagnose ausführen.

Zu Cluster Director – Diagnose ausführen

So sehen Sie alle Ihre Machine-Learning-Ausführungen in Google Kubernetes Engine:

  1. Rufen Sie in der Google Cloud Console die Kubernetes Seite auf.
  2. Klicken Sie im Navigationsmenü auf KI/ML.
  3. Klicken Sie auf den Tab Diagnose ausführen.

Zu GKE – KI/ML – Diagnose ausführen

In den Consolen von Cluster Director und GKE werden die folgenden Informationen angezeigt:

  • Ausführungszusammenfassungen:Die Tabelle enthält den Namen jeder Ausführung, die vom Arbeitslastmonitoring für einen GKE-Job erstellt wurde. Ausführungen werden automatisch im Format job-name-timestamp benannt.

  • Ausführungsdetails (Monitoringübersicht) : Wählen Sie eine ML-Ausführung aus, um detaillierte Informationen auf dem Tab „Monitoringübersicht“ zu sehen. Dieser Tab enthält:

    • Aggregierter TPU-Arbeitszyklus: Ein Diagramm des aggregierten TPU-Arbeitszyklus für Ihre ML-Ausführung.
    • Ereigniszeitachse: Eine Zeitachse aller Ereignisse, die sich auf die ML Ausführung ausgewirkt haben, einschließlich Leistungsverschlechterungen, Hängen, Unterbrechungen des Orchestrators und Beendigungen.
    • Ereignistabelle:Diese Tabelle fasst Ereignisse zusammen, die sich auf die ML-Ausführung ausgewirkt haben. Für jedes Ereignis sind folgende Informationen enthalten:
      • Ereignisname und Ereignistyp.
      • Start- und Endzeit des Ereignisses.
      • Links zu Details von Analysetools.
    • Ereignisdetails:Wählen Sie für ein Ereignis Details ansehen aus, um alle Ergebnisse des Analysetools für dieses Ereignis zu sehen.
    • Systemmesswerte: Eine Liste der Systemmesswerte, die automatisch in einem Intervall von einer Minute aus Cloud Monitoring abgerufen oder vom ML Diagnostics SDK auf einer detaillierteren Ebene protokolliert werden.

Informationen zum Arbeitslastmonitoring über die Google Cloud CLI aufrufen

Für jeden GKE-Job erstellt das Arbeitslastmonitoring automatisch eine Machine-Learning-Ausführung in ML Diagnostics mit einem Namen im Format job-name-timestamp. Mit den gcloud CLI-Befehlen von ML Diagnostics wie Describe, List, Delete und Update können Sie alle in einem Projekt erstellten ML-Ausführungen ansehen, Details zu diesen Ausführungen abrufen und Eigenschaften der ML-Ausführung löschen oder aktualisieren.

Außerdem können Sie mit den Google Cloud CLI-Befehlen monitored-events alle vom Arbeitslastmonitoring erkannten Ereignisse auflisten und Details der Analysetools für jedes Ereignis abrufen. Weitere Informationen finden Sie unter ML Diagnostics CLI verwenden.

Informationen zum Arbeitslastmonitoring über die API aufrufen

Sie können über die Methode „GET“ für die MonitoredEvent API auf die vom Arbeitslastmonitoring erkannten Ereignisse zugreifen.

Alle überwachten Ereignisse auflisten

Verwenden Sie die Methode „GET“ mit dem Endpunkt /v1alpha/{parent=projects/*/locations/*/machineLearningRuns/*}/monitoredEvents, um alle überwachten Ereignisse (MonitoredEvent) für eine bestimmte ML-Ausführung aufzulisten.

Hier ist eine Beispielanfrage:

curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \

 "https://hypercomputecluster.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/machineLearningRuns/ML_RUN_ID/monitoredEvents"

Die Ausgabe ist ein ListMonitoredEventsResponse-Objekt, ein JSON-Objekt , das eine Liste von MonitoredEvent-Zusammenfassungen enthält. Die Zusammenfassungen bieten einen Überblick über Ereigniszeitstempel und -details.

Hier ist ein Beispiel für ein ListMonitoredEventsResponse-Objekt:

{
 "monitoredEvents": [
   {
     "name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-456",
     "type": "PERFORMANCE_DEGRADATION",
     "displayName": "Performance degradation - 2026-03-27T07:45:10Z ",
     "startTime": "2026-03-27T07:45:10Z",
     "endTime": "2026-03-27T08:00:00Z",
     "analyzerReports": [
       {
         "analyzer": "TPU Throttling Analyzer",
         "detectionState": "NOT_DETECTED"
       }
       // ... additional analyzer reports
     ]
   },
   {
     "name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-123",
     "type": "PERFORMANCE_DEGRADATION",
     "displayName": "Performance degradation - 2026-03-27T07:35:00Z ",
     "startTime": "2026-03-27T07:35:00Z",
     "endTime": "2026-03-27T08:15:00Z",
     "analyzerReports": [
       // ... analyzer reports
     ]
   }
   // ... other events
 ]
}

Überwachte Ereignisse abrufen

Senden Sie eine „GET“-Anfrage an den Endpunkt /v1alpha/{parent=projects/*/locations/*/machineLearningRuns/*}/monitoredEvents/*, um Details zu einem bestimmten überwachten Ereignis (MonitoredEvent) abzurufen.

Hier ist eine Beispielanfrage:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     "https://hypercomputecluster.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/machineLearningRuns/ML_RUN_ID/monitoredEvents/EVENT_ID"

Die Ausgabe ist ein MonitoredEvent-Objekt, ein JSON-Objekt, das Informationen zum angegebenen Ereignis enthält. Das Array analyzer_reports in diesem Objekt enthält die detaillierten Ergebnisse, den Status und die Vorschläge der einzelnen Analysetools (ICI-Link, Temperatur, TPU-Drosselung, HBM-Kapazität), die als Reaktion auf das erkannte Ereignis ausgeführt wurden.

Hier ist ein Beispiel für ein MonitoredEvent-Objekt:

{
 "name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-456",
 "type": "PERFORMANCE_DEGRADATION",
 "displayName": "Performance degradation - 2026-03-27T07:45:10Z ",
 "startTime": "2026-03-27T07:45:10Z",
 "endTime": "2026-03-27T08:15:00Z",
 "analyzerReports": [
   {
     "analyzer": "ICI Link Analyzer",
     "detectionState": "DETECTED",
     "details": "ICI Link issues detected in <instance_ids>: This indicates networking issues on ICI links connected between TPU processors.",
     "recommendedActions": [
       {
         "description": "Contact Google team for further diagnosis. Potential action could be to Outkast affected nodes, but there could be other causes that need further investigation.",
         "documentationUrl": "https://docs.cloud.google.com/tpu/docs/ml-diagnostics/workload-monitoring"
       }
     ]
   },
   {
     "analyzer": "TPU Throttling analyzer",
     // ... results from TPU Throttling analyzer
   }
   // ... other analyzer reports
 ]
}