Mendiagnosis cluster GKE

Managed Service untuk Apache Spark menyediakan perintah gcloud CLI dataproc clusters diagnose untuk membantu Anda memecahkan masalah cluster dan tugas Managed Service untuk Apache Spark di GKE. Perintah ini mengumpulkan dan mengarsipkan file konfigurasi, log, dan output terkait cluster ke dalam file arsip, lalu mengupload arsip ke bucket penyiapan Cloud Storage yang Anda tentukan saat membuat cluster Managed Service untuk Apache Spark di GKE.

Mendiagnosis file arsip

Tabel berikut mencantumkan metrik dan informasi lain yang disertakan dalam file arsip perintah dataproc clusters diagnose.

Informasi sistem

Item Lokasi arsip
Metrik node GKE tempat pod Managed Service untuk Apache Spark virtual di GKE berjalan:
  • Penggunaan CPU
  • Penggunaan memori
/system/NODE_NAME.json
Metrik jaringan dan status sistem file pod yang sedang berjalan:
  • Penggunaan CPU
  • Penggunaan memori
  • Status jaringan
  • Status sistem file
/system/POD_NAME.json

Informasi konfigurasi

Item Lokasi arsip
Configmap cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Role Based Access Control (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Item Lokasi arsip
Log agen /logs/agent.log
Log mesin Spark /logs/sparkengine.log
Log tugas yang berjalan dan selesai driver Spark selama 24 jam terakhir /logs/DRIVER_ID

Informasi tugas dan pod

Item Lokasi arsip
Objek JobAttempt /jobattempts
Objek Pod Kubernetes /pods

Langkah berikutnya