Diagnosticar o Dataproc em clusters do GKE

O Dataproc oferece um comando gcloud CLI dataproc clusters diagnose para ajudar a resolver problemas de clusters e jobs do Dataproc no GKE. Esse comando coleta e arquiva arquivos de configuração, registros e saídas relacionados ao cluster em um arquivo compactado. Em seguida, ele faz upload do arquivo para o bucket de preparo do Cloud Storage especificado ao criar o cluster do Dataproc no GKE.

Diagnosticar arquivo compactado

As tabelas a seguir listam as métricas e outras informações incluídas no dataproc clusters diagnose arquivo compactado do comando.

Informações do sistema

Item Local do arquivo
Métricas de nós do GKE em que os pods virtuais do Dataproc no GKE são executados:
  • Uso da CPU
  • Uso da memória
 /system/NODE_NAME.json
Métricas de rede e status do sistema de arquivos de pods em execução:
  • Uso da CPU
  • Uso da memória
  • Status de rede
  • Status do sistema de arquivos
 /system/POD_NAME.json

Informações de configuração

Item Local do arquivo
Configmap do cluster /conf/configmap
Implantação do Kubernetes /conf/deployment
Controle de acesso baseado em papéis (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Item Local do arquivo
Registro do agente /logs/agent.log
Registro do mecanismo Spark /logs/sparkengine.log
Registros de jobs em execução e concluídos do driver do Spark nas últimas 24 horas /logs/DRIVER_ID

Informações do job e do pod

Item Local do arquivo
Objeto JobAttempt /jobattempts
Objeto do pod do Kubernetes /pods

A seguir