Logging in Dataproc on GKE

Job-Driver-Logs

Informationen zum Konfigurieren und Ansehen von Dataproc on GKE Spark-Job-Driver-Logs finden Sie unter Dataproc-Joblogs in Logging

Cloud Logging

Logging aktivieren um Dataproc on GKE-Logs in Cloud Logging anzusehen, zu durchsuchen, zu filtern und zu archivieren.

Sie können mit den folgenden Labels in Cloud Logging nach Spark-Driver- und Executor-Logs suchen:

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

Beispielabfragen:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"

labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"

labels."k8s-pod/dataproc_googleapis_com/role"="driver"

Nächste Schritte