Monitorar e resolver problemas de sessões interativas

Este documento descreve como monitorar e solucionar problemas de sessões interativas do Serverless para Apache Spark usando a interface do Spark.

Interface do Spark

A interface do Spark coleta detalhes de execução do Apache Spark de sessões interativas do Serverless para Apache Spark. Não há custo para o recurso da interface do Spark, que é ativado por padrão. Os dados coletados pelo recurso da interface do Spark são mantidos por 90 dias.

Permissões e papéis necessários do gerenciamento de identidade e acesso

As seguintes permissões são necessárias para usar o recurso da interface do Spark com sessões interativas:

  • Permissão de coleta de dados: dataproc.sessions.sparkApplicationWrite. Essa permissão precisa ser concedida à conta de serviço que executa sessões interativas. Ela está incluída no Dataproc Worker papel, que é concedido automaticamente à conta de serviço padrão do Compute Engine que o Serverless para Apache Spark usa por padrão. No entanto, se você especificar uma conta de serviço personalizada para sua sessão ou modelo de ambiente de execução de sessão, adicione esta permissão dataproc.sessions.sparkApplicationWrite a essa conta de serviço (normalmente, concedendo à conta de serviço o papel Worker do Dataproc).

  • Permissão de acesso à interface do Spark: dataproc.sessions.sparkApplicationRead. Essa permissão precisa ser concedida a um usuário para acessar a interface do Spark no Google Cloud console. Ela está incluída nos Dataproc Viewer, Dataproc Editor e Dataproc Administrator papéis. Para abrir a interface do Spark no Google Cloud console, você precisa ter um desses papéis ou um papel personalizado que inclua essa permissão.

Abrir a interface do Spark

A página da interface do Spark está disponível no Google Cloud console.

  1. Acessar as sessões interativas do Dataproc

  2. Clique em um ID da sessão interativa para abrir a página Detalhes da sessão interativa.
  3. Clique em Acessar a interface do Spark no menu superior.

O link Acessar a interface do Spark está desativado? Se uma permissão necessária não for concedida, ou se você desmarcar a caixa de seleção Ativar a interface do Spark na página de detalhes da sessão interativa ou definir a propriedade spark.dataproc.appContext.enabled como false (padrão: true) ao criar uma sessão ou criar um modelo de ambiente de execução de sessão, o botão Acessar a interface do Spark será desativado.