Diagnosticar clusters do GKE

O Serviço Gerenciado para Apache Spark fornece um comando CLI gcloud dataproc clusters diagnose para ajudar a resolver problemas de cluster e job do Serviço Gerenciado para Apache Spark no GKE. Esse comando reúne e arquiva arquivos de configuração, registros e saídas relacionados ao cluster em um arquivo compactado. Em seguida, ele faz upload do arquivo para o bucket de preparo do Cloud Storage especificado quando você criou o cluster do Serviço Gerenciado para Apache Spark no GKE.

Diagnosticar arquivo de arquivo

As tabelas a seguir listam as métricas e outras informações incluídas no arquivo de comando dataproc clusters diagnose.

Informações do sistema

Item Local do arquivo
Métricas de nó do GKE em que os pods virtuais do serviço gerenciado para Apache Spark no GKE são executados:
  • Uso da CPU
  • Uso da memória
/system/NODE_NAME.json
Métricas de rede e status do sistema de arquivos dos pods em execução:
  • Uso da CPU
  • Uso da memória
  • Status de rede
  • Status do sistema de arquivos
/system/POD_NAME.json

Informações de configuração

Item Local do arquivo
ConfigMap do cluster /conf/configmap
Implantação do Kubernetes /conf/deployment
Controle de acesso baseado em papéis (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Registros

Item Local do arquivo
Registro agêntico /logs/agent.log
Registro do mecanismo Spark /logs/sparkengine.log
Registros de jobs em execução e concluídos do driver do Spark nas últimas 24 horas /logs/DRIVER_ID

Informações sobre jobs e pods

Item Local do arquivo
Objeto JobAttempt /jobattempts
Objeto de pod do Kubernetes /pods

A seguir