Diagnostiquer Dataproc sur des clusters GKE

Dataproc fournit une commande gcloud CLI dataproc clusters diagnose pour vous aider à résoudre les problèmes liés aux tâches et aux clusters Dataproc sur GKE. Cette commande rassemble et archive les fichiers de configuration, les journaux et les sorties liés au cluster dans un fichier d'archive. Elle importe ensuite l'archive dans le bucket de préproduction Cloud Storage que vous avez spécifié lorsque vous avez créé votre cluster Dataproc sur GKE.

Fichier d'archive de diagnostic

Les tableaux suivants répertorient les métriques et autres informations incluses dans le dataproc clusters diagnose fichier d'archive de la commande.

Informations système

Élément Emplacement de l'archive
Métriques des nœuds GKE sur lesquels s'exécutent les pods Dataproc virtuels sur GKE :
  • Utilisation du processeur
  • Utilisation de la mémoire
 /system/NODE_NAME.json
Métriques réseau et état du système de fichiers des pods en cours d'exécution :
  • Utilisation du processeur
  • Utilisation de la mémoire
  • État du réseau
  • État du système de fichiers
 /system/POD_NAME.json

Informations de configuration

Élément Emplacement de l'archive
ConfigMap du cluster /conf/configmap
Déploiement Kubernetes /conf/deployment
Contrôle d'accès basé sur les rôles (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Journaux

Élément Emplacement de l'archive
Journal de l'agent /logs/agent.log
Journal du moteur Spark /logs/sparkengine.log
Journaux des tâches exécutées et terminées par le pilote Spark au cours des dernières 24 heures /logs/DRIVER_ID

Informations sur les tâches et les pods

Élément Emplacement de l'archive
Objet JobAttempt /jobattempts
Objet de pod Kubernetes /pods

Étape suivante