Comptes de service Dataproc

Cette page décrit les comptes de service et les niveaux d'accès aux VM, ainsi que leur utilisation avec Dataproc.

Exigence de sécurité à compter du 3 août 2020 : les utilisateurs de Dataproc doivent disposer de l'autorisation ActAs du compte de service pour déployer des ressources Dataproc, telles que la création de clusters et l'envoi de tâches. Cette autorisation est incluse dans le rôle Utilisateur du compte de service. Pour en savoir plus sur les rôles Dataproc requis, consultez la section Rôles pour l'authentification des comptes de service.

Activer les utilisateurs Dataproc existants : les utilisateurs Dataproc existants à compter du 3 août 2020 peuvent activer cette exigence de sécurité (consultez la page Sécuriser Dataproc, Dataflow et Cloud Data Fusion).

Que sont les comptes de service ?

Un compte de service est un compte spécial qui permet aux services et applications exécutés sur une instance de machine virtuelle (VM) Compute Engine d'interagir avec d'autres Google Cloud API. Les applications peuvent utiliser les identifiants de compte de service pour obtenir les autorisations d'accès à un ensemble d'API et effectuer des actions sur la VM dans les autorisations accordées au compte de service.

Comptes de service de cluster Dataproc

Les comptes de service suivants doivent disposer des autorisations nécessaires pour effectuer des actions Dataproc dans le projet où se trouve votre cluster.

Compte de service de VM Dataproc

Les VM d'un cluster Dataproc utilisent un compte de service pour les opérations du plan de données Dataproc. Le compte de service Compute Engine par défaut, project_number-compute@developer.gserviceaccount.com, est utilisé comme compte de service de VM, sauf si vous spécifiez un compte de service personnalisé lorsque vous créez un cluster. Le compte de service de VM doit disposer du rôle Nœud de calcul Dataproc, qui inclut les autorisations requises pour les opérations du plan de données Dataproc. Pour en savoir plus, consultez la section Rôles Dataproc.

Afficher les rôles du compte de service de VM

Pour afficher les rôles attribués au compte de service de VM Dataproc, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page **IAM**.

    Accéder à IAM

  2. Cliquez sur Inclure les attributions de rôles fournies par Google.

  3. Affichez les rôles listés pour le compte de service de VM. L'image suivante montre le rôle Nœud de calcul Dataproc requis pour le compte de service Compute Engine par défaut (project_number-compute@developer.gserviceaccount.com) que Dataproc utilise par défaut comme compte de service de VM.

  4. Vous pouvez cliquer sur l'icône en forme de crayon affichée sur la ligne du compte de service pour accorder ou supprimer des rôles de compte de service.

Compte de service de l'agent de service Dataproc

Dataproc crée le compte de service de l'agent de service, service-project_number@dataproc-accounts.iam.gserviceaccount.com, et lui attribue le rôle Agent de service Dataproc dans un Google Cloud projet. Ce compte de service effectue des opérations de plan de contrôle Dataproc , telles que la création, la mise à jour et la suppression de VM de cluster. Vous ne pouvez pas remplacer ce compte de service par un compte de service de VM personnalisé lorsque vous créez un cluster.

Attribution de rôle au compte de service de l'agent de service dans un réseau VPC partagé

Si un cluster Dataproc utilise un réseau VPC partagé, un administrateur VPC partagé doit accorder au compte de service de l'agent de service Dataproc le rôle Utilisateur du réseau pour le projet hôte de VPC partagé. Pour en savoir plus, consultez les ressources suivantes :

Créer un cluster avec un compte de service de VM personnalisé

Lorsque vous créez un cluster, vous pouvez spécifier un compte de service de VM personnalisé que votre cluster utilisera pour les opérations du plan de données Dataproc au lieu du compte de service de VM par défaut (vous ne pouvez pas modifier le compte de service de VM une fois le cluster créé). L'utilisation d'un compte de service de VM avec des rôles IAM attribués vous permet de fournir à votre cluster un accès précis aux ressources du projet.

Étapes préliminaires

  1. Créez le compte de service de VM personnalisé dans le projet dans lequel le cluster sera créé.

  2. Accordez au compte de service de VM personnalisé le rôle Nœud de calcul Dataproc sur le projet et tous les rôles supplémentaires nécessaires à vos tâches, tels que les rôles BigQuery Lecteur et Rédacteur (consultez la section Rôles Dataproc).

    Exemple gcloud CLI :

    • L'exemple de commande suivant accorde au compte de service de VM personnalisé du projet de cluster le rôle Nœud de calcul Dataproc au niveau du projet :
    gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
    --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
    --role="roles/dataproc.worker"
    • Envisagez un rôle personnalisé : au lieu d'accorder au compte de service le rôle prédéfini Nœud de calcul Dataproc (roles/dataproc.worker), vous pouvez lui accorder un rôle personnalisé qui contient les autorisations du rôle Nœud de calcul, mais limite les autorisations storage.objects.*.
      • Le rôle personnalisé doit au moins accorder au compte de service de VM storage.objects.create, storage.objects.get, et storage.objects.update autorisations sur les objets des buckets de préproduction et temporaires Dataproc et sur tous les buckets supplémentaires nécessaires aux tâches exécutées sur le cluster.

Créer le cluster

  • Créez le cluster dans votre projet.

Commande gcloud

Utilisez la commande gcloud dataproc clusters create pour créer un cluster avec le compte de service de VM personnalisé.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
    --scopes=SCOPE

Remplacez les éléments suivants :

API REST

Lorsque vous complétez le GceClusterConfig dans le cadre de la requête d'API clusters.create, définissez les champs suivants :

Console

Il n'est pas possible de définir un compte de service de VM Dataproc dans la Google Cloud console. Vous pouvez définir le cloud-platform champ d'application d'accès sur les VM de cluster lorsque vous créez le cluster en cliquant sur "Activer le champ d'application cloud-platform pour ce cluster" dans la section Accès du projet du panneau Gérer la sécurité de la page Créer un cluster Dataproc dans la Google Cloud console.

Créer un cluster avec un compte de service de VM personnalisé à partir d'un autre projet

Lorsque vous créez un cluster, vous pouvez spécifier un compte de service de VM personnalisé que votre cluster utilisera pour les opérations du plan de données Dataproc au lieu d'utiliser le compte de service de VM par défaut (vous ne pouvez pas spécifier de compte de service de VM personnalisé une fois le cluster créé). L'utilisation d'un compte de service de VM personnalisé avec des rôles IAM attribués vous permet de fournir à votre cluster un accès précis aux ressources du projet.

Étapes préliminaires

  1. Dans le projet de compte de service (projet dans lequel se trouve le compte de service de VM personnalisé) :

    1. Activez l'association des comptes de service à plusieurs projets.

    2. Enable the Dataproc API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

  2. Accordez à votre compte de messagerie (l'utilisateur qui crée le cluster) le rôle Utilisateur du compte de service sur le projet de compte de service ou, pour un contrôle plus précis, sur le compte de service de VM personnalisé dans le projet de compte de service.

    Pour en savoir plus : Consultez la section Gérer l'accès aux projets, aux dossiers et aux organisations pour accorder des rôles au niveau du projet et la section Gérer l'accès aux comptes de service pour accorder des rôles au niveau du compte de service.

    Exemples gcloud CLI :

    • L'exemple de commande suivant accorde à l'utilisateur le rôle Utilisateur du compte de service au niveau du projet :
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=USER_EMAIL \
    --role="roles/iam.serviceAccountUser"

    Remarques : USER_EMAIL : indiquez l'adresse e-mail de votre compte utilisateur au format : user:user-name@example.com.

    • L'exemple de commande suivant accorde à l'utilisateur le rôle Utilisateur du compte de service au niveau du compte de service :
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=USER_EMAIL \
    --role="roles/iam.serviceAccountUser"

    Remarques : USER_EMAIL : indiquez l'adresse e-mail de votre compte utilisateur au format : user:user-name@example.com.

  3. Accordez au compte de service de VM personnalisé le rôle Nœud de calcul Dataproc sur le projet de cluster.

    Exemple gcloud CLI :

    gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
    --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.iam.gserviceaccount.com \
    --role="roles/dataproc.worker"

  4. Accordez au compte de service de l'agent de service Dataproc dans le projet de cluster les rôles Utilisateur du compte de service et Créateur de jetons du compte de service sur le projet de compte de service ou, pour un contrôle plus précis, sur le compte de service de VM personnalisé dans le projet de compte de service. Vous autorisez ainsi le compte de service de l'agent de service Dataproc dans le projet de cluster à créer des jetons pour le compte de service de VM Dataproc personnalisé dans le projet de compte de service.

    Pour en savoir plus : Consultez la section Gérer l'accès aux projets, aux dossiers et aux organisations pour accorder des rôles au niveau du projet et la section Gérer l'accès aux comptes de service pour accorder des rôles au niveau du compte de service.

    Exemples gcloud CLI :

    • Les exemples de commandes suivants accordent au compte de service de l'agent de service Dataproc dans le projet de cluster les rôles Utilisateur du compte de service et Créateur de jetons du compte de service au niveau du projet :
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountUser"
 
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
    • Les exemples de commandes suivants accordent au compte de service de l'agent de service Dataproc dans le projet de cluster les rôles Utilisateur du compte de service et Créateur de jetons du compte de service au niveau du compte de service de VM :
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountUser"
 
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"

  5. Accordez au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle Créateur de jetons du compte de service sur le projet de compte de service ou, pour un contrôle plus précis, le compte de service de VM personnalisé dans le projet de compte de service. Vous autorisez ainsi le compte de service de l'agent de service Compute Engine dans le projet de cluster à créer des jetons pour le compte de service de VM Dataproc personnalisé dans le projet de compte de service.

    Pour en savoir plus : Consultez la section Gérer l'accès aux projets, aux dossiers et aux organisations pour accorder des rôles au niveau du projet et la section Gérer l'accès aux comptes de service pour accorder des rôles au niveau du compte de service.

    Exemples gcloud CLI :

    • L'exemple de commande suivant accorde au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle Créateur de jetons du compte de service au niveau du projet :
    gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"
    • L'exemple de commande suivant accorde au compte de service de l'agent de service Compute Engine dans le projet de cluster le rôle Créateur de jetons du compte de service au niveau du compte de service de VM :
    gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
    --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@compute-system.iam.gserviceaccount.com \
    --role="roles/iam.serviceAccountTokenCreator"

Créer le cluster

Étape suivante