Configurar uma implantação entre projetos

É possível configurar uma implantação entre projetos para o metastore do Dataproc a fim de separar os seguintes recursos:

  • O serviço metastore do Dataproc.
  • O cluster do Serviço Gerenciado para Apache Spark anexado ao serviço metastore do Dataproc.
  • A rede usada pelo cluster do Serviço Gerenciado para Apache Spark.

Antes de começar

Papéis necessários

Para receber as permissões necessárias para criar um metastore do Dataproc e um cluster do Serviço Gerenciado para Apache Spark, peça ao administrador para conceder a você os seguintes papéis do IAM:

  • Para conceder controle total dos recursos do Dataproc Metastore: Editor do Dataproc Metastore (roles/metastore.editor) no projeto do metastore.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Para mais informações sobre papéis e permissões específicos do metastore do Dataproc, consulte Gerenciar o acesso com o IAM.

Sobre implantações entre projetos

Uma implantação entre projetos para o metastore do Dataproc pode consistir nas seguintes configurações:

  • Dois projetos:

    • O projeto um contém o cluster do Serviço Gerenciado para Apache Spark (projeto de cluster).
    • O projeto dois contém o serviço metastore do Dataproc e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Serviço Gerenciado para Apache Spark.
    • O projeto dois contém o serviço metastore do Dataproc e a rede (projeto de metastore e projeto de rede).

  • Dois projetos:

    • O projeto um contém o cluster do Serviço Gerenciado para Apache Spark e o serviço metastore do Dataproc (projeto de cluster e projeto de metastore).
    • O projeto dois contém a rede (projeto de rede).

  • Três projetos:

    • O projeto um contém o cluster do Serviço Gerenciado para Apache Spark (projeto de cluster).
    • O projeto dois contém o serviço metastore do Dataproc (projeto de metastore).
    • O projeto três contém a rede (projeto de rede).

O diagrama a seguir oferece uma visão geral das possíveis configurações de projeto que podem ser usadas.

Visão geral das possíveis configurações do projeto ao implantar um metastore do Dataproc e um cluster do Serviço Gerenciado para Apache Spark

Permissões entre projetos

Antes de configurar permissões entre projetos, determine se isso é necessário para sua configuração:

É necessário configurar permissões adicionais entre projetos

  • Se o cluster do Serviço Gerenciado para Apache Spark e o serviço metastore do Dataproc estiverem em projetos separados.

  • Se o serviço metastore do Dataproc e a rede estiverem em projetos separados.

Configurar permissões entre projetos

Se o projeto de cluster e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

  • roles/metastore.user à conta do agente de serviço do Serviço Gerenciado para Apache Spark do projeto de cluster (contida na política de IAM do projeto de metastore). Essa configuração se aplica aos protocolos de endpoint Thrift e gRPC.

Se o projeto de rede e o projeto de metastore estiverem em projetos separados, conceda os seguintes papéis:

Console

Para encontrar o número do projeto:

  1. Acesse a guia Configurações do IAM e administrador.

  2. Na lista de projetos na parte de cima da página, selecione o projeto que você quer usar para criar o cluster do Serviço Gerenciado para Apache Spark.

  3. Anote o número do projeto.

Configure as permissões:

  1. Acesse a guia IAM.

  2. Na lista de projetos na parte de cima da página, selecione o projeto metastore.

  3. Clique em Adicionar.

  4. Digite a conta de serviço no campo Novos principais.

  5. No menu "Papéis", selecione Metastore do Dataproc > Leitor do metastore do Dataproc.

  6. Clique em Adicionar.

Depois de concluir as etapas anteriores, é possível criar um cluster do Serviço Gerenciado para Apache Spark anexado a um serviço metastore do Dataproc. Para fazer isso, a configuração de rede ou sub-rede do cluster do Serviço Gerenciado para Apache Spark precisa corresponder à rede ou sub-rede do metastore do Dataproc.

Exemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

A seguir