Diagnostica di Dataproc sui cluster GKE

Dataproc fornisce un comando dataproc clusters diagnose della gcloud CLI per aiutarti a risolvere i problemi relativi ai job e ai cluster Dataproc su GKE. Questo comando raccoglie e archivia i file di configurazione, i log e gli output correlati al cluster in un file di archivio, quindi carica l'archivio nel bucket di gestione temporanea di Cloud Storage che hai specificato quando hai creato il cluster Dataproc su GKE.

File di archivio di diagnostica

Le tabelle seguenti elencano le metriche e altre informazioni incluse nel dataproc clusters diagnose file di archivio del comando.

Informazioni di sistema

Elemento Percorso dell'archivio
Metriche dei nodi GKE dove vengono eseguiti i pod Dataproc su GKE virtuali:
  • Utilizzo CPU
  • Utilizzo memoria
 /system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Utilizzo memoria
  • Stato della rete
  • Stato del file system
 /system/POD_NAME.json

Informazioni sulla configurazione

Elemento Percorso dell'archivio
ConfigMap del cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo degli accessi basato sui ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Percorso dell'archivio
Log dell'agente /logs/agent.log
Log del motore Spark /logs/sparkengine.log
Log dei job completati e in esecuzione del driver Spark nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Percorso dell'archivio
Oggetto JobAttempt /jobattempts
Oggetto Pod Kubernetes /pods

Passaggi successivi