Configurare un deployment tra progetti

Puoi configurare un deployment tra progetti per Dataproc Metastore per separare le seguenti risorse:

  • Il servizio Dataproc Metastore.
  • Il cluster Managed Service for Apache Spark collegato al servizio Dataproc Metastore.
  • La rete utilizzata dal cluster Managed Service for Apache Spark.

Prima di iniziare

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un cluster Dataproc Metastore e Managed Service for Apache Spark, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per concedere il controllo completo delle risorse Dataproc Metastore: Editor Dataproc Metastore (roles/metastore.editor) nel progetto metastore.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più sui ruoli e sulle autorizzazioni specifici di Dataproc Metastore, consulta Gestisci l'accesso con IAM.

Informazioni sui deployment tra progetti

Un deployment tra progetti per Dataproc Metastore può essere costituito dalle seguenti configurazioni:

  • Due progetti:

    • Il progetto uno contiene il cluster Managed Service for Apache Spark (progetto cluster).
    • Il progetto due contiene il servizio Dataproc Metastore e la rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il progetto uno contiene il cluster Managed Service for Apache Spark.
    • Il progetto due contiene il servizio Dataproc Metastore e la rete (progetto metastore e progetto di rete).

  • Due progetti:

    • Il progetto uno contiene il cluster Managed Service for Apache Spark e il servizio Dataproc Metastore (progetto cluster e progetto metastore).
    • Il progetto due contiene la rete (progetto di rete).

  • Tre progetti:

    • Il progetto uno contiene il cluster Managed Service for Apache Spark (progetto cluster).
    • Il progetto due contiene il servizio Dataproc Metastore (progetto metastore).
    • Il progetto tre contiene la rete (progetto di rete).

Il seguente diagramma fornisce una panoramica delle possibili configurazioni di progetto che puoi utilizzare.

Panoramica delle possibili configurazioni del progetto durante il deployment di un cluster Dataproc Metastore e Managed Service for Apache Spark

Autorizzazioni tra progetti

Prima di configurare le autorizzazioni tra progetti, determina se sono necessarie per la tua configurazione:

Devi configurare autorizzazioni aggiuntive tra progetti

  • Se il cluster Managed Service for Apache Spark e il servizio Dataproc Metastore si trovano in progetti separati.

  • Se il servizio Dataproc Metastore e la rete si trovano in progetti separati.

Configura le autorizzazioni tra progetti

Se il progetto cluster e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

  • roles/metastore.user all'account dell'agente di servizio Managed Service for Apache Spark del progetto cluster (contenuto nella policy IAM del progetto metastore). Questa configurazione si applica sia ai protocolli degli endpoint Thrift che gRPC.

Se il progetto di rete e il progetto metastore si trovano in progetti separati, concedi i seguenti ruoli:

  • roles/metastore.serviceAgent all'agente di servizio del progetto metastore (contenuto nella policy IAM del progetto di rete). Questa configurazione si applica solo al protocollo dell'endpoint Thrift.

Console

Per trovare il numero di progetto:

  1. Vai alla scheda Impostazioni di IAM e amministrazione.

  2. Nell'elenco dei progetti nella parte superiore della pagina, seleziona il progetto che vuoi utilizzare per creare il cluster Managed Service for Apache Spark.

  3. Prendi nota del numero di progetto.

Configura le autorizzazioni:

  1. Vai alla scheda IAM.

  2. Nell'elenco dei progetti nella parte superiore della pagina, seleziona il progetto metastore.

  3. Fai clic su Aggiungi.

  4. Inserisci il account di servizio nel campo Nuove entità.

  5. Dal menu Ruoli, seleziona Dataproc Metastore > Visualizzatore Dataproc Metastore.

  6. Fai clic su Aggiungi.

Dopo aver completato i passaggi precedenti, puoi creare un cluster Managed Service for Apache Spark collegato a un servizio Dataproc Metastore. Tieni presente che, per farlo, la configurazione di rete o subnet del cluster Managed Service for Apache Spark deve corrispondere alla rete o alla subnet di Dataproc Metastore.

Ad esempio:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Passaggi successivi