Diagnostica dei cluster GKE

Managed Service for Apache Spark fornisce un comando gcloud CLI dataproc clusters diagnose per aiutarti a risolvere i problemi relativi ai cluster e ai job Managed Service for Apache Spark su GKE. Questo comando raccoglie e archivia i file di configurazione, i log e gli output correlati al cluster in un file di archivio, quindi carica l'archivio nel bucket di staging Cloud Storage specificato quando hai creato il cluster Managed Service for Apache Spark su GKE.

Diagnosticare il file di archivio

Le tabelle seguenti elencano le metriche e altre informazioni incluse nel file di archivio dei comandi dataproc clusters diagnose.

Informazioni di sistema

Elemento Posizione dell'archivio
Metriche dei nodi GKE in cui vengono eseguiti i pod virtuali di Managed Service for Apache Spark su GKE:
  • Utilizzo CPU
  • Memoria utilizzata
/system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Memoria utilizzata
  • Stato della rete
  • Stato del file system
/system/POD_NAME.json

Informazioni sulla configurazione

Elemento Posizione dell'archivio
ConfigMap del cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo dell'accesso basato sui ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Posizione dell'archivio
Log dell'agente /logs/agent.log
Log del motore Spark /logs/sparkengine.log
Log del driver Spark in esecuzione e dei job completati nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Posizione dell'archivio
Oggetto JobAttempt /jobattempts
Oggetto pod Kubernetes /pods

Passaggi successivi