Configurer un déploiement inter-projets

Vous pouvez configurer un déploiement multiprojet pour Dataproc Metastore afin de séparer les ressources suivantes :

  • Service Dataproc Metastore.
  • Cluster Managed Service pour Apache Spark associé au service Dataproc Metastore.
  • Réseau utilisé par le cluster Managed Service pour Apache Spark.

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour créer un cluster Dataproc Metastore et un cluster Managed Service for Apache Spark, demandez à votre administrateur de vous accorder les rôles IAM suivants :

  • Pour accorder le contrôle total des ressources Dataproc Metastore : Éditeur Dataproc Metastore (roles/metastore.editor) sur le projet metastore.

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et autorisations Dataproc Metastore spécifiques, consultez Gérer les accès avec IAM.

À propos des déploiements inter-projets

Un déploiement inter-projets pour Dataproc Metastore peut comporter les configurations suivantes :

  • Deux projets :

    • Le projet 1 contient le cluster Managed Service pour Apache Spark (projet de cluster).
    • Le projet 2 contient le service Dataproc Metastore et le réseau (projet de métastore et projet de réseau).

  • Deux projets :

    • Le projet 1 contient le cluster Managed Service pour Apache Spark.
    • Le projet 2 contient le service Dataproc Metastore et le réseau (projet de métastore et projet de réseau).

  • Deux projets :

    • Le projet 1 contient le cluster Managed Service for Apache Spark et le service Dataproc Metastore (projet de cluster et projet de metastore).
    • Le projet 2 contient le réseau (projet réseau).

  • Trois projets :

    • Le projet 1 contient le cluster Managed Service pour Apache Spark (projet de cluster).
    • Le projet 2 contient le service Dataproc Metastore (projet de métastore).
    • Le projet 3 contient le réseau (projet réseau).

Le schéma suivant présente les configurations de projet possibles que vous pouvez utiliser.

Présentation des configurations de projet possibles lors du déploiement d'un cluster Dataproc Metastore et Managed Service for Apache Spark

Autorisations multiprojets

Avant de configurer des autorisations inter-projets, déterminez si elles sont nécessaires pour votre configuration :

Vous devez configurer des autorisations multiprojets supplémentaires.

  • Si votre cluster Managed Service for Apache Spark et votre service Dataproc Metastore se trouvent dans des projets distincts.

  • Si votre service et votre réseau Dataproc Metastore se trouvent dans des projets distincts.

Configurer des autorisations multiprojets

Si le projet de cluster et le projet de metastore se trouvent dans des projets distincts, accordez les rôles suivants :

  • roles/metastore.user au compte de l'agent de service Managed Service for Apache Spark du projet de cluster (contenu dans la stratégie IAM du projet de metastore). Cette configuration s'applique aux protocoles de point de terminaison Thrift et gRPC.

Si le projet de réseau et le projet de metastore sont distincts, accordez les rôles suivants :

  • roles/metastore.serviceAgent à l'agent de service du projet Metastore (inclus dans la stratégie IAM du projet réseau). Cette configuration ne s'applique qu'au protocole de point de terminaison Thrift.

Console

Pour trouver le numéro de votre projet :

  1. Accédez à l'onglet Paramètres de IAM et administration.

  2. Dans la liste des projets en haut de la page, sélectionnez le projet que vous souhaitez utiliser pour créer le cluster Managed Service for Apache Spark.

  3. Notez le numéro du projet.

Configurez les autorisations:

  1. Accédez à l'onglet IAM.

  2. Dans la liste des projets en haut de la page, sélectionnez le projet de métastore.

  3. Cliquez sur Ajouter.

  4. Saisissez le compte de service dans le champ Nouveaux comptes principaux.

  5. Dans le menu "Rôles", sélectionnez Dataproc Metastore > Lecteur Dataproc Metastore.

  6. Cliquez sur Ajouter.

Une fois les étapes précédentes effectuées, vous pouvez créer un cluster Managed Service for Apache Spark associé à un service Dataproc Metastore. Notez que pour ce faire, la configuration du réseau ou du sous-réseau du cluster Managed Service for Apache Spark doit correspondre à celle du réseau ou du sous-réseau Dataproc Metastore.

Exemple :

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Étapes suivantes