GKE-Cluster diagnostizieren

Managed Service for Apache Spark bietet den Befehl gcloud CLI dataproc clusters diagnose, mit dem Sie Probleme mit Managed Service for Apache Spark in GKE-Clustern und -Jobs beheben können. Mit diesem Befehl werden clusterbezogene Konfigurationsdateien, Logs und Ausgaben in einer Archivdatei zusammengefasst und archiviert. Anschließend wird das Archiv in den Cloud Storage-Staging-Bucket hochgeladen, den Sie beim Erstellen Ihres Managed Service for Apache Spark on GKE-Clusters angegeben haben.

Diagnosearchivdatei

In den folgenden Tabellen sind Messwerte und andere Informationen aufgeführt, die in der Archivdatei des Befehls dataproc clusters diagnose enthalten sind.

Systeminformationen

Element Archivspeicherort
GKE-Knotenmesswerte, bei denen virtuelle Managed Service for Apache Spark on GKE-Pods ausgeführt werden:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
/system/NODE_NAME.json
Netzwerkmesswerte und Dateisystemstatus ausgeführter Pods:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
  • Netzwerkstatus
  • Dateisystemstatus
/system/POD_NAME.json

Konfigurationsinformationen

Element Archivspeicherort
Cluster-ConfigMap /conf/configmap
Kubernetes-Deployment /conf/deployment
Rollenbasierte Zugriffssteuerung (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Logs

Element Archivspeicherort
Agentenprotokoll /logs/agent.log
Spark-Engine-Log /logs/sparkengine.log
Logs zu ausgeführten und abgeschlossenen Jobs des Spark-Treibers in den letzten 24 Stunden /logs/DRIVER_ID

Job- und Pod-Informationen

Element Archivspeicherort
JobAttempt-Objekt /jobattempts
Kubernetes-Pod-Objekt /pods

Nächste Schritte