Monitoraggio del workload con la diagnostica di ML
Il monitoraggio dei workload è una funzionalità integrata nella piattaforma ML Diagnostics per rilevare e diagnosticare i problemi che interessano i workload AI/ML in esecuzione su TPU su Google Cloud. Per ogni job GKE, ML Diagnostics Workload Monitoring crea automaticamente un'esecuzione ML e monitora il ciclo di lavoro della TPU nel workload per rilevare gli eventi che lo interessano.
Il monitoraggio del workload di ML Diagnostics offre le seguenti funzionalità chiave:
- Mappatura da workload a nodo:identifica automaticamente i Google Cloud nodi utilizzati dal tuo workload. Questa opzione è disponibile per impostazione predefinita per tutti i carichi di lavoro TPU su GKE.
- Monitoraggio dello stato:monitora gli stati dei carichi di lavoro per più stati, tra cui
performance degradation,hang,orchestrator interruptionetermination. - Rilevamento dei problemi basato sulle metriche:rileva i problemi del workload (degrado delle prestazioni, blocchi, interruzione dell'orchestratore e terminazioni) monitorando il ciclo di lavoro della TPU aggregato. Per impostazione predefinita, una riduzione del 15% del ciclo di lavoro indica un peggioramento delle prestazioni e attiva l'analisi. Per altri eventi, vengono utilizzati altri indicatori per rilevare blocchi, interruzioni e terminazioni dell'orchestratore.
- Diagnosi automatica:se viene rilevato un problema, vengono eseguiti analizzatori automatici
per trovare potenziali cause a livello di infrastruttura, orchestratore o framework.
Gli analizzatori includono:
- Infrastruttura: collegamento ICI, termico, throttling TPU, capacità HBM, larghezza di banda HBM, utilizzo memoria host, utilizzo CPU, congestione uplink ToR, collegamento NIC ToR.
- Orchestratore: interruzione del node pool GKE, interruzione della slice GKE.
- Framework: Megascale XLA hang.
- Localizzazione dei problemi:individua i nodi e le istanze specifici interessati dai problemi rilevati.
- Azioni suggerite: passaggi consigliati per il recupero o ulteriori indagini, ad esempio il riavvio di un job, la rimozione di un nodo potenzialmente difettoso o la raccolta di profili XProf.
- Cronologia eventi:mostra una cronologia degli eventi del workload insieme alla metrica del ciclo di lavoro della TPU per correlare gli eventi con le serie temporali delle metriche.
- Dettagli dell'analisi:report dettagliati per gli analizzatori eseguiti per ogni evento.
- Metriche di sistema: le metriche di sistema vengono registrate automaticamente a intervalli di 1 minuto per ogni esecuzione ML di monitoraggio del workload. Queste metriche di sistema forniscono
informazioni aggiuntive da correlare agli eventi del carico di lavoro per un'analisi
più approfondita. Le metriche di sistema includono:
- Dispositivo TPU: ciclo di servizio, utilizzo Tensor Core.
- Dispositivo host: utilizzo CPU host, utilizzo memoria host.
- HBM: utilizzo della larghezza di banda della memoria, memoria HBM totale, memoria HBM utilizzata.
- Megascale XLA: latenza di trasferimento DCN MXLA, latenza di trasferimento in entrata MXLA, latenza di calcolo MXLA, latenza collettiva end-to-end MXLA, latenza d2h MXLA, latenza h2d MXLA.
Prerequisiti
Per utilizzare il monitoraggio dei workload di ML Diagnostics, abilita l'API Cluster Director e aggiungi le autorizzazioni IAM richieste. Per saperne di più, consulta Prerequisiti di ML Diagnostics.
Inizia
Quando invii il job TPU su GKE, il sistema di diagnostica ML inizia automaticamente a monitorare il carico di lavoro senza richiedere alcuna strumentazione manuale del codice. Le informazioni diagnostiche vengono visualizzate nella console ML DiagnosticsGoogle Cloud e possono essere recuperate utilizzando l'API o la CLI ML Diagnostics. Le informazioni diagnostiche sono elencate per ogni esecuzione di machine learning (ML Run)
Il monitoraggio del carico di lavoro viene attivato automaticamente per le versioni di GKE 1.36.0-gke.4447000 e successive. Il blocco di Megascale XLA e le metriche Megascale XLA sono disponibili con LibTPU versione 0.40.0 e successive.
Monitoraggio e analizzatori del workload
ML Diagnostics monitora continuamente le prestazioni del tuo workload monitorando il duty cycle della TPU e il suo rapporto con l'infrastruttura sottostante. Per impostazione predefinita, una riduzione del 15% del duty cycle indica un peggioramento delle prestazioni e attiva l'analisi. Per gli altri eventi, vengono utilizzati altri indicatori per rilevare blocchi, interruzioni e terminazioni dell'orchestratore.
Gli stati del workload vengono monitorati automaticamente e viene assegnato uno dei seguenti valori:
running: Il workload è in esecuzione. Questo stato non viene visualizzato direttamente nella console Google Cloud .termination: Il workload è stato terminato e non è più in esecuzione. Ciò può essere dovuto a un'interruzione prevista dell'orchestratore (che comporta un riavvio), a un completamento riuscito o a un job non riuscito.hang: rilevato da un periodo prolungato di attività TPU minima o nulla senza completamento del carico di lavoro.performance degradation: attivato da un calo significativo delle metriche sul rendimento, come il ciclo di servizio TPU aggregato.Orchestrator interruption: Interruzione di GKE rilevata nell'orchestratore. Sono incluse le interruzioni delle sezioni per TPU7x (ironwood) e le interruzioni dei nodepool per le versioni precedenti.
Per i problemi rilevati nel workload, ML Diagnostics attiva un insieme di analizzatori per facilitare la diagnosi di potenziali problemi con il workload nei livelli di infrastruttura, orchestratore e framework. Questi analizzatori identificano problemi di infrastruttura, orchestratore o framework, individuano i nodi interessati e suggeriscono passaggi per la risoluzione dei problemi.
ICI Link Analyzer
ICI Link Analyzer rileva problemi con i link Inter-Chip Interconnect (ICI) che collegano le TPU all'interno di una sezione. Questo analizzatore rileva potenziali problemi di rete ICI sui link tra le unità di elaborazione TPU. L'analizzatore individua i nodi specifici su cui sono in esecuzione i workload problematici.
Analizzatore termico
Thermal Analyzer monitora e rileva i nodi TPU che si surriscaldano. Temperature eccessive possono influire negativamente sulle prestazioni del workload. L'analizzatore identifica i nodi specifici che presentano problemi termici, che possono essere causati da surriscaldamento nei Tensor Core o nella memoria a larghezza di banda elevata (HBM).
TPU Throttling Analyzer
TPU Throttling Analyzer rileva quando si verifica la limitazione dei chip TPU. Ciò può essere dovuto a vincoli di alimentazione, termici o di altro tipo dell'hardware. L'analizzatore individua i nodi specifici in cui si verifica la limitazione.
Strumento di analisi della capacità HBM
HBM Capacity Analyzer monitora l'utilizzo della memoria a larghezza di banda elevata (HBM) dei nodi TPU. Questo analizzatore rileva i nodi TPU in cui l'utilizzo di HBM si sta avvicinando al limite (circa il 90%) o sta causando errori di esaurimento della memoria (OOM). Le potenziali azioni di risoluzione dei problemi includono la raccolta di tracce di profilazione XProf per un'analisi dettagliata della memoria utilizzata HBM. Ti consigliamo anche di modificare le configurazioni del carico di lavoro per ottimizzare l'utilizzo della HBM, ad esempio riducendo le dimensioni del batch o modificando i parametri del modello.
HBM Bandwidth Analyzer
HBM Bandwidth Analyzer monitora la larghezza di banda di lettura e scrittura della memoria a larghezza di banda elevata (HBM) di nodi e istanze TPU. Questo analizzatore rileva le istanze TPU in cui la larghezza di banda HBM viene limitata, il che indica che le operazioni di memoria a larghezza di banda elevata (HBM) sono limitate. Ciò è probabilmente dovuto a limiti di larghezza di banda o a problemi hardware, come l'alta temperatura del chip TPU. L'analizzatore individua le istanze specifiche in cui si verifica la limitazione.
Analizzatore utilizzo memoria host
Host Memory Utilization Analyzer monitora l'utilizzo della memoria host non eliminabile di nodi e istanze TPU. Questo analizzatore rileva le istanze TPU in cui l'utilizzo della memoria host non rimovibile è vicino al limite, il che può peggiorare le prestazioni e aumentare il rischio di eventi di memoria insufficiente. Ciò può essere causato da prefetching o buffering eccessivi nella pipeline di dati, picchi temporanei di RAM durante le operazioni di checkpoint o perdite di memoria nei caricatori personalizzati. Per i carichi di lavoro GKE, consulta le best practice di GKE per identificare i carichi di lavoro e configurare richieste e limiti di memoria appropriati.
Analizzatore dell'utilizzo della CPU
CPU Utilization Analyzer monitora l'utilizzo della CPU host di nodi e istanze TPU. Questo analizzatore rileva le istanze TPU in cui l'utilizzo della CPU host è vicino al limite allocato. Ciò può influire negativamente sulle prestazioni dell'applicazione, causando potenzialmente rallentamenti o mancata risposta. Le potenziali azioni di risoluzione dei problemi includono l'utilizzo di Cloud Profiler per l'analisi dettagliata dell'utilizzo della CPU. Per i carichi di lavoro GKE, consulta le best practice di GKE per identificare i carichi di lavoro e configurare richieste e limiti di memoria appropriati.
ToR NIC Link Analyzer
Questo analizzatore rileva problemi di rete tra lo switch Top-of-Rack (ToR) e i collegamenti della scheda di interfaccia di rete (NIC). L'analizzatore individua le istanze specifiche su cui sono in esecuzione i workload problematici.
ToR Uplink Congestion Analyzer
Questo analizzatore rileva problemi con gli switch Top-of-Rack (ToR) che riscontrano congestione del percorso di rete. Questo analizzatore indica un utilizzo elevato su porte uplink specifiche. L'analizzatore individua le istanze specifiche in cui si verifica la congestione.
GKE Orchestrator Slice Interruption Analyzer
Questo analizzatore rileva gli eventi di interruzione a livello di slice nel livello dell'orchestratore GKE. Quando viene rilevata un'interruzione della sezione, l'analizzatore identifica la sezione interessata e individua il sottoblocco sottostante come potenziale causa principale dell'interruzione. Questo analizzatore funziona a livello di ogni slice nel workload, quindi ricevi eventi di interruzione dello slice per ogni slice singolarmente.
GKE Orchestrator Nodepool Interruption Analyzer
Questo analizzatore rileva gli eventi di interruzione del node pool che si verificano a livello di orchestratore GKE. Per le generazioni di TPU TPU v6e (Trillium) e precedenti, GKE non registra una risorsa "Slice" unificata. Registra solo le VM di Compute Engine (nodi) standard e individuali raggruppate come nodepool.
Quando un nodo non funziona a causa di un'interruzione pianificata (manutenzione, preemptive o
errore host) o di un guasto non pianificato, GKE applica automaticamente
Taint (come node.kubernetes.io/unreachable) e modifica la condizione del nodo
in NotReady. L'analizzatore di interruzioni del node pool utilizza questi indicatori per
rilevare le interruzioni dell'orchestratore.
Megascale XLA (MXLA) Hang Analyzer
Questo analizzatore rileva i blocchi che interessano i carichi di lavoro TPU multi-slice nel livello del framework MXLA. Gli ambienti Cloud TPU multi-slice sono composti da più slice TPU che comunicano tramite la rete del data center (DCN). I carichi di lavoro
multi-slice utilizzano i collettivi Megascale per comunicare tramite DCN. Un blocco di Megascale
si verifica quando un worker ha atteso un'operazione di comunicazione di Megascale per un periodo di timeout
predefinito. In questi casi, nei log di Cloud TPU viene visualizzato un messaggio Megascale HANG_DETECTED.
Megascale in genere rileva e segnala i blocchi, poiché è responsabile della
comunicazione tramite DCN. Tuttavia, ciò non significa necessariamente che l'errore
sia causato da Megascale. Spesso, il rilevamento del blocco è sintomatico di un problema in
un'altra parte del sistema. Per questo motivo, il messaggio HANG_DETECTED
Megascale è un'indicazione generica che un workload non sta procedendo correttamente.
Il problema potrebbe essere causato da software di terze parti, software di proprietà di Google o da un problema
con l'hardware stesso.
Anziché esaminare manualmente i log utente, questo analizzatore viene attivato automaticamente quando si verificano blocchi e fornisce report di analisi sulle potenziali cause del blocco all'interno del sistema ML Diagnostics. L'analizzatore identifica le seguenti potenziali cause:
BAD_TPU_CHIP: il blocco MXLA è stato probabilmente causato da un problema del Tensor Core della TPU. L'analizzatore segnala anche le istanze specifiche che mostrano problemi.BAD_SC_CHIP: il blocco di MXLA è stato probabilmente causato da un problema di TPU sparsecore. L'analizzatore segnala anche le istanze specifiche che mostrano problemi.NETWORKING_ISSUE: il blocco di MXLA è stato probabilmente causato da un problema di rete nella rete DCN. L'analizzatore segnala anche le istanze specifiche che mostrano problemi.DIFFERENT_MODULE: Il blocco di MXLA è stato probabilmente causato dall'esecuzione di moduli HLO diversi su VM diverse. Per identificare la causa, esamina il digest stampato dallo strumento di analisi nei log.FINGERPRINT_MISMATCH: Il blocco di MXLA è stato probabilmente causato dalla compilazione incoerente del modulo HLO tra le VM. Probabilmente si tratta di un bug nel tracing JAX o nel compilatore XLA. Per identificare la causa, esamina il digest stampato dall'analizzatore nei log. Esegui il dump di HLO e condividi l'output con il team del compilatore Google XLA per ulteriore debug. Per saperne di più, consulta Dump HLO Computations.DATA_INPUT_STALL: Il blocco di MXLA è stato probabilmente causato dall'interruzione dell'inserimento dei dati. L'analizzatore segnala anche le istanze specifiche che mostrano problemi.ICI_ERROR: Il blocco di MXLA è stato probabilmente causato da un errore ICI. L'analizzatore segnala anche le istanze specifiche che mostrano problemi.PROGRAM_NOT_QUEUED: Il blocco di MXLA è stato probabilmente causato dal fatto che alcune VM non hanno messo in coda i programmi per la TPU. Controlla se la tua applicazione è bloccata o si arresta in modo anomalo, il che impedisce a JAX di mettere in coda il successivo programma TPU (funzioni JIT).LAUNCHES_ORDER_INCONSISTENT: Il blocco di MXLA è stato probabilmente causato da un ordine di avvio incoerente tra le VM. Per identificare la causa, esamina il digest stampato dall'analizzatore nei log.UNRECOVERABLE_ERROR: Il blocco di MXLA è stato causato da un errore non recuperabile. L'analizzatore segnala anche le istanze specifiche che mostrano problemi. Controlla il log degli errori delle istanze con errore non recuperabile. Se l'errore sembra essere specifico della macchina in questione (ad esempio, l'impossibilità di copiare i dati dalla TPU all'host), devi configurare il job in modo da evitare questi host. Se i log degli errori non indicano che il problema è correlato a una determinata macchina, è probabile che si tratti di un problema a livello di applicazione.UNKNOWN: È stato rilevato il blocco MXLA, ma non è stata determinata una potenziale causa.
Metriche di sistema
Per ogni esecuzione di ML di monitoraggio dei carichi di lavoro, le metriche di sistema vengono raccolte automaticamente da Cloud Monitoring a intervalli di 1 minuto. Queste metriche di sistema forniscono informazioni aggiuntive da correlare con gli eventi del workload e per un'analisi più approfondita insieme ai risultati dell'analizzatore. Le metriche di sistema includono:
- Metriche dispositivo TPU: ciclo di servizio (
node/accelerator/duty_cycle), utilizzo tensorcore (node/accelerator/tensorcore_utilization). - Metriche del dispositivo host: utilizzo CPU host
(
node/cpu/allocatable_utilization), utilizzo memoria host (node/memory/allocatable_utilization). - Metriche HBM: utilizzo della larghezza di banda della memoria
(
node/accelerator/memory_bandwidth_utilization), memoria HBM totale (node/accelerator/memory_total), memoria HBM utilizzata (node/accelerator/memory_used). - Metriche MXLA per carichi di lavoro multi-slice: latenza di trasferimento DCN MXLA
(
container/multislice/network/dcn_transfer_latencies), latenza di trasferimento in entrata MXLA (container/multislice/network/dcn_inbound_transfer_latencies), latenza di calcolo MXLA (container/multislice/accelerator/compute_latencies), latenza collettiva end-to-end MXLA (container/multislice/network/collective_end_to_end_latencies), latenza d2h MXLA (container/multislice/accelerator/device_to_host_transfer_latencies), latenza h2d MXLA (container/multislice/accelerator/host_to_device_transfer_latencies).
Per informazioni sulle metriche di sistema, consulta Metriche di sistema di GKE.
Per registrare le metriche di sistema a intervalli più granulari, utilizza l'SDK ML Diagnostics e
imposta log_system_metrics=true. Per un elenco delle metriche di sistema registrate a intervalli di 10 secondi dall'SDK, consulta la documentazione dell'SDK ML Diagnostics
(google-cloud-mldiagnostics). Per impostazione predefinita, le metriche di sistema raccolte a intervalli di 1 minuto vengono
inserite automaticamente nel sistema ML Diagnostics.
Visualizza il monitoraggio del workload nella console Google Cloud
Puoi visualizzare le esecuzioni monitorate dal monitoraggio dei workload di diagnostica ML nella consoleGoogle Cloud sia in Cluster Director sia in GKE
Per visualizzare tutte le esecuzioni di machine learning in Cluster Director:
- Nella console Google Cloud , vai alla pagina Cluster Director.
- Fai clic sulla scheda Esegui diagnostica.
Vai a Esegui diagnostica di Cluster Director
Per visualizzare tutte le esecuzioni di machine learning in Google Kubernetes Engine:
- Nella console Google Cloud , vai alla pagina Kubernetes.
- Nel menu di navigazione, fai clic su AI/ML.
- Fai clic sulla scheda Esegui diagnostica.
Vai a Esegui diagnostica AI/ML GKE
Le console Cluster Director e GKE mostrano le seguenti informazioni:
Riepiloghi esecuzione:la tabella contiene il nome di ogni esecuzione creata da Workload Monitoring per un job GKE. Le esecuzioni vengono denominate automaticamente utilizzando il formato
job-name-timestamp.Dettagli esecuzione (Panoramica monitoraggio): seleziona un'esecuzione ML per visualizzare informazioni dettagliate nella scheda "Panoramica monitoraggio". Questa scheda contiene:
- Ciclo di servizio TPU aggregato: un grafico del ciclo di servizio TPU aggregato per l'esecuzione di ML.
- Cronologia degli eventi: una cronologia di tutti gli eventi che hanno influito sull'esecuzione di ML, inclusi cali di rendimento, blocchi, interruzioni dell'orchestratore e terminazioni.
- Tabella Eventi: questa tabella riassume gli eventi che hanno influito sull'esecuzione di ML.
Per ogni evento, include:
- Nome evento e tipo di evento.
- Ora di inizio e di fine dell'evento.
- Link ai dettagli degli analizzatori.
- Dettagli evento:seleziona Visualizza dettagli per un evento per visualizzare tutti i risultati dell'analizzatore per quell'evento.
- Metriche di sistema: un elenco di metriche di sistema estratte automaticamente a intervalli di 1 minuto da Cloud Monitoring o registrate a un livello più granulare dall'SDK ML Diagnostics
Accedere alle informazioni sul monitoraggio dei workload tramite Google Cloud CLI
Per ogni job GKE, Workload Monitoring crea automaticamente un'esecuzione di machine learning all'interno di ML Diagnostics con un nome di esecuzione ML nel formato job-name-timestamp. Puoi utilizzare i comandi gcloud CLI di ML Diagnostics
come Describe, List, Delete e Update per visualizzare tutte le esecuzioni di ML
create in un progetto, ottenere i dettagli di queste esecuzioni ed eliminare o aggiornare le proprietà
dell'esecuzione di ML.
Inoltre, puoi utilizzare i comandi monitored-events di Google Cloud CLI per elencare tutti gli eventi rilevati dal monitoraggio del workload e recuperare i dettagli dell'analizzatore di ogni evento. Per saperne di più, consulta Utilizzare ML Diagnostics
CLI.
Accedere alle informazioni di Workload Monitoring tramite l'API
Puoi accedere agli eventi rilevati da Workload Monitoring tramite il metodo "GET"
per l'API MonitoredEvent.
Elenca tutti gli eventi monitorati
Per elencare tutti gli eventi monitorati (MonitoredEvent) per una determinata esecuzione di ML, utilizza il metodo "GET" con l'endpoint /v1alpha/{parent=projects/*/locations/*/machineLearningRuns/*}/monitoredEvents.
Di seguito è riportato un esempio di richiesta:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://hypercomputecluster.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/machineLearningRuns/ML_RUN_ID/monitoredEvents"
L'output è un oggetto ListMonitoredEventsResponse, ovvero un oggetto JSON
che contiene un elenco di riepiloghi MonitoredEvent. I riepiloghi forniscono una
panoramica dei timestamp e dei dettagli degli eventi.
Di seguito è riportato un esempio di oggetto ListMonitoredEventsResponse:
{
"monitoredEvents": [
{
"name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-456",
"type": "PERFORMANCE_DEGRADATION",
"displayName": "Performance degradation - 2026-03-27T07:45:10Z ",
"startTime": "2026-03-27T07:45:10Z",
"endTime": "2026-03-27T08:00:00Z",
"analyzerReports": [
{
"analyzer": "TPU Throttling Analyzer",
"detectionState": "NOT_DETECTED"
}
// ... additional analyzer reports
]
},
{
"name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-123",
"type": "PERFORMANCE_DEGRADATION",
"displayName": "Performance degradation - 2026-03-27T07:35:00Z ",
"startTime": "2026-03-27T07:35:00Z",
"endTime": "2026-03-27T08:15:00Z",
"analyzerReports": [
// ... analyzer reports
]
}
// ... other events
]
}
Recuperare gli eventi monitorati
Per recuperare i dettagli di un evento monitorato specifico (MonitoredEvent), invia una
richiesta "GET" all'endpoint
/v1alpha/{parent=projects/*/locations/*/machineLearningRuns/*}/monitoredEvents/*.
Di seguito è riportato un esempio di richiesta:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://hypercomputecluster.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/machineLearningRuns/ML_RUN_ID/monitoredEvents/EVENT_ID"
L'output è un oggetto MonitoredEvent, ovvero un oggetto JSON che contiene
informazioni sull'evento specificato. L'array analyzer_reports all'interno di questo oggetto contiene i risultati, lo stato e i suggerimenti dettagliati di ogni analizzatore (ICI Link, Thermal, TPU Throttling, HBM Capacity) eseguito in risposta all'evento rilevato.
Di seguito è riportato un esempio di oggetto MonitoredEvent:
{
"name": "projects/user-project-id/locations/us-central1/machineLearningRuns/my-tpu-job-20260327T073000/monitoredEvents/event-id-456",
"type": "PERFORMANCE_DEGRADATION",
"displayName": "Performance degradation - 2026-03-27T07:45:10Z ",
"startTime": "2026-03-27T07:45:10Z",
"endTime": "2026-03-27T08:15:00Z",
"analyzerReports": [
{
"analyzer": "ICI Link Analyzer",
"detectionState": "DETECTED",
"details": "ICI Link issues detected in <instance_ids>: This indicates networking issues on ICI links connected between TPU processors.",
"recommendedActions": [
{
"description": "Contact Google team for further diagnosis. Potential action could be to Outkast affected nodes, but there could be other causes that need further investigation.",
"documentationUrl": "https://docs.cloud.google.com/tpu/docs/ml-diagnostics/workload-monitoring"
}
]
},
{
"analyzer": "TPU Throttling analyzer",
// ... results from TPU Throttling analyzer
}
// ... other analyzer reports
]
}