Diagnostica dei cluster GKE

Managed Service for Apache Spark fornisce un comando gcloud CLI dataproc clusters diagnose per aiutarti a risolvere i problemi relativi ai cluster e ai job di Managed Service for Apache Spark su GKE. Questo comando raccoglie e archivia i file di configurazione, i log e gli output relativi al cluster in un file di archivio, quindi carica l'archivio nel bucket di gestione temporanea di Cloud Storage specificato quando hai creato il cluster Managed Service for Apache Spark su GKE.

Diagnostica il file di archivio

Le tabelle seguenti elencano le metriche e altre informazioni incluse nel file di archivio dei comandi dataproc clusters diagnose.

Informazioni di sistema

Elemento Posizione dell'archivio
Metriche dei nodi GKE in cui vengono eseguiti i pod di Managed Service for Apache Spark su GKE virtuali:
  • Utilizzo CPU
  • Memoria utilizzata
/system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Memoria utilizzata
  • Stato della rete
  • Stato del file system
/system/POD_NAME.json

Informazioni di configurazione

Elemento Posizione dell'archivio
ConfigMap del cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo degli accessi basato su ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Posizione dell'archivio
Log dell'agente /logs/agent.log
Log del motore Spark /logs/sparkengine.log
Log dei job in esecuzione e completati del driver Spark nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Posizione dell'archivio
Oggetto JobAttempt /jobattempts
Oggetto pod Kubernetes /pods

Passaggi successivi