Monitorar e resolver problemas de sessões interativas

Neste documento, descrevemos como monitorar e resolver problemas de sessões interativas do Serviço Gerenciado para Apache Spark usando a interface do Spark.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark das sessões interativas do Serviço Gerenciado para Apache Spark. Não há cobrança pelo recurso da interface do Spark, que é ativado por padrão. Os dados coletados pelo recurso da interface do Spark são retidos por 90 dias.

Permissões e papéis necessários do Identity and Access Management

As seguintes permissões são necessárias para usar o recurso de interface do Spark com sessões interativas:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ela está incluída no papel Managed Service for Apache Spark Worker, que é concedido automaticamente à conta de serviço padrão do Compute Engine usada pelo Serviço Gerenciado para Apache Spark. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou perfil de ambiente de execução (modelo de sessão), será necessário adicionar essa permissão dataproc.sessions.sparkApplicationWrite a essa conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Serviço Gerenciado para Apache Spark).

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Essa permissão precisa ser concedida a um usuário para acessar a interface do Spark no console doGoogle Cloud . Ela está incluída nos papéis Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Para abrir a interface do Spark no console do Google Cloud , é preciso ter um desses papéis ou um papel personalizado que inclua essa permissão.

Abrir a interface do Spark

A página da interface do Spark está disponível no console do Google Cloud .

  1. Acessar as sessões interativas do Serviço Gerenciado para Apache Spark

  2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Acessar a interface do Spark no menu superior.

O link Ver interface do Spark está desativado? Se uma permissão necessária não for concedida ou se você desmarcar a caixa de seleção Ativar interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um perfil de ambiente de execução (modelo de sessão), o botão Visualizar interface do Spark será desativado.