Gérer les ressources BigQuery à l'aide de contraintes personnalisées

Cette page vous explique comment utiliser les contraintes personnalisées du service de règles d'administration pour restreindre des opérations spécifiques sur les ressources Google Cloud suivantes :

  • bigquery.googleapis.com/Dataset

Pour en savoir plus sur les règles d'administration, consultez Règles d'administration personnalisées.

À propos des règles et des contraintes d'administration

Le service de règles d'administration Google Cloud vous offre un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir des ensembles de restrictions appelées contraintes qui s'appliquent aux ressourcesGoogle Cloud et à leurs descendants dans la hiérarchie des ressourcesGoogle Cloud . Chaque ensemble de restrictions constitue une règle d'administration. Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Les règles d'administration fournissent des contraintes gérées intégrées pour divers services Google Cloud . Toutefois, si vous souhaitez exercer un contrôle plus précis et le personnaliser pour des champs spécifiques restreints dans vos règles d'administration, vous pouvez également créer des contraintes personnalisées et les utiliser dans une règle d'administration.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une règle au niveau d'un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez Règles d'évaluation hiérarchique.

Limites

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  6. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  11. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

    gcloud init
  12. Assurez-vous de connaître votre ID d'organisation.

    13. Rôles requis

    Pour obtenir les autorisations nécessaires pour gérer les règles d'administration, demandez à votre administrateur de vous accorder les rôles IAM suivants :

    Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Ces rôles prédéfinis contiennent les autorisations requises pour gérer les règles d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

    Autorisations requises

    Les autorisations suivantes sont requises pour gérer les règles d'administration :

    • orgpolicy.* sur la ressource d'organisation
    • Pour créer ou mettre à jour un ensemble de données BigQuery :
      • bigquery.datasets.create sur la ressource de projet
      • bigquery.datasets.get sur la ressource de projet
      • bigquery.datasets.list sur la ressource de projet
      • bigquery.datasets.update sur la ressource de projet

    Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Configurer une contrainte personnalisée

    Une contrainte personnalisée est définie dans un fichier YAML, qui spécifie les ressources, méthodes, conditions et actions compatibles avec le service auquel vous appliquez la règle d'administration. Les conditions de vos contraintes personnalisées sont définies à l'aide du langage CEL (Common Expression Language). Pour en savoir plus sur la création de conditions dans des contraintes personnalisées à l'aide du CEL, consultez la section CEL de la page Créer et gérer des contraintes personnalisées.

    Console

    Pour créer une contrainte personnalisée :

    1. Dans la console Google Cloud , accédez à la page Règles d'administration.

      Accéder à la page Règles d'administration

    2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
    3. Cliquez sur Contrainte personnalisée.
    4. Dans le champ Nom à afficher, saisissez un nom lisible pour la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
    5. Dans la zone ID de contrainte, saisissez le nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.disableGkeAutoUpgrade. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car elles pourraient être divulguées dans les messages d'erreur.
    6. Dans la zone Description, saisissez une description lisible de la contrainte. Cette description est utilisée comme message d'erreur en cas de non-respect de la règle. Incluez des informations sur les raisons du non-respect des règles et sur la façon de le résoudre. Veuillez n'inclure aucune information permettant d'identifier l'utilisateur ou donnée sensible dans votre description, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 2 000 caractères.
    7. Dans la zone Type de ressource, sélectionnez le nom de la ressource REST Google Cloud contenant l'objet et le champ que vous souhaitez restreindre (par exemple, container.googleapis.com/NodePool). La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
    8. Sous Méthode d'application, indiquez si vous souhaitez appliquer la contrainte sur une méthode REST CREATE ou sur les méthodes CREATE et UPDATE. Si vous appliquez la contrainte avec la méthode UPDATE sur une ressource qui ne la respecte pas, les modifications apportées à cette ressource sont bloquées par la règle d'administration, sauf si elles résolvent le cas de non-conformité.

      9. Les services Google Cloud ne sont pas tous compatibles avec les deux méthodes. Pour connaître les méthodes compatibles avec chaque service, recherchez le service dans la section Services compatibles.

    9. Pour définir une condition, cliquez sur Modifier la condition.
      1. Dans le panneau Ajouter une condition, créez une condition CEL faisant référence à une ressource de service acceptée, par exemple resource.management.autoUpgrade == false. Ce champ peut contenir jusqu'à 1 000 caractères. Pour en savoir plus sur l'utilisation du langage CEL, consultez Common Expression Language. Pour en savoir plus sur les ressources de service que vous pouvez utiliser dans vos contraintes personnalisées, consultez Services compatibles avec les contraintes personnalisées.
      2. Cliquez sur Enregistrer.
    10. Sous Action, indiquez si vous souhaitez autoriser ou refuser la méthode évaluée si la condition est remplie.

      11. L'action de refus signifie que l'opération de création ou de mise à jour de la ressource est bloquée si la condition renvoie la valeur "true".

      L'action "Autoriser" signifie que l'opération de création ou de mise à jour de la ressource n'est autorisée que si la condition renvoie la valeur "true". Tous les autres cas, à l'exception de ceux explicitement regroupés dans la condition, sont bloqués.

    11. Cliquez sur Créer une contrainte.

      12. Lorsque vous saisissez une valeur dans chaque champ, la configuration YAML équivalant à cette contrainte personnalisée s'affiche sur la droite.

    gcloud

    1. Pour créer une contrainte personnalisée, créez un fichier YAML au format suivant : 
      2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
      - UPDATE       
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

      Remplacez les éléments suivants :

      • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).
      • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.enforceDatasetId. Ce champ peut contenir jusqu'à 70 caractères.
      • RESOURCE_NAME : nom complet de la ressource Google Cloudcontenant l'objet et le champ que vous souhaitez restreindre. Par exemple, bigquery.googleapis.com/Dataset.
      • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ peut contenir jusqu'à 1 000 caractères. Par exemple, "datasetReference.datasetId.startsWith('test')".

        • Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez la section Ressources compatibles.

      • ACTION : action à effectuer si la condition est remplie. Les valeurs possibles sont ALLOW et DENY.

        • L'action "Autoriser" signifie que si la condition renvoie la valeur "true", l'opération de création ou de mise à jour de la ressource est autorisée. Cela signifie également que tous les autres cas, à l'exception de celui explicitement regroupé dans la condition, sont bloqués.

        L'action de refus signifie que si la condition renvoie la valeur "true", l'opération de création ou de mise à jour de la ressource est bloquée.

      • DISPLAY_NAME : nom convivial de la contrainte. Ce champ peut contenir jusqu'à 200 caractères.
      • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ peut contenir jusqu'à 2 000 caractères.
    2. Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint : 
      3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

      Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Exemple :/home/user/customconstraint.yaml

      Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud .

    3. Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints : 
      4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation.

      Pour en savoir plus, consultez Afficher les règles d'administration.

    Appliquer une règle d'administration personnalisée

    Vous pouvez appliquer une contrainte en créant une règle d'administration qui y fait référence, puis en appliquant cette règle à une ressource Google Cloud .

    Console

    1. Dans la console Google Cloud , accédez à la page Règles d'administration.

      Accéder à la page Règles d'administration

    2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
    3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle de cette contrainte.
    4. Pour personnaliser la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
    5. Sur la page Modifier la stratégie, sélectionnez Ignorer la règle parente.
    6. Cliquez sur Ajouter une règle.
    7. Dans la section Application, indiquez si cette règle d'administration est appliquée ou non.
    8. Facultatif : pour rendre la règle d'administration conditionnelle à un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle non conditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez Définir une règle d'administration avec des tags.
    9. Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
    10. Pour appliquer la règle d'administration en mode de simulation, cliquez sur Définir la règle de dry run. Pour en savoir plus, consultez Créer une règle d'administration en mode simulation.
    11. Une fois que vous avez vérifié que la règle d'administration en mode simulation fonctionne comme prévu, définissez la règle active en cliquant sur Définir la règle.

    gcloud

    1. Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui fait référence à la contrainte : 
      2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

      Remplacez les éléments suivants :

      • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
      • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée. Exemple : custom.enforceDatasetId.
    2. Pour appliquer la règle d'administration en mode dry run, exécutez la commande suivante avec l'indicateur dryRunSpec : 
      3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

      Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

    3. Après avoir vérifié que la règle d'administration en mode simulation fonctionne comme prévu, définissez la règle active avec la commande org-policies set-policy et l'indicateur spec : 
      4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

      Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

    Tester la règle d'administration personnalisée

    L'exemple suivant crée une contrainte et une règle personnalisées qui interdisent à tous les nouveaux ID d'ensembles de données d'un projet spécifique de commencer par test.

    Avant de commencer, vous devez disposer des éléments suivants :

    • L'ID de votre organisation
    • Un ID de projet

    Créer la contrainte

    Pour créer une contrainte personnalisée, procédez comme suit :

    1. Créez le fichier YAML suivant et enregistrez-le sous le nom constraint-enforce-datasetId.yaml :

      name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceDatasetId
resourceTypes:
- bigquery.googleapis.com/Dataset
methodTypes:
- CREATE
condition: "datasetReference.datasetId.startsWith('test')"
actionType: DENY
displayName: Reject test datasets
description: All new datasets can't begin with 'test'.

      Remplacez ORGANIZATION_ID par votre ID d'organisation.

      Cela définit une contrainte qui refuse les opérations de création d'ensemble de données si l'ID de l'ensemble de données commence par test.

    2. Appliquez la contrainte :

      gcloud org-policies set-custom-constraint ~/constraint-enforce-datasetId

    3. Vérifiez que la contrainte existe :

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      Le résultat ressemble à ce qui suit :

      CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                     DISPLAY_NAME
custom.enforceDatasetId                 DENY         CREATE         bigquery.googleapis.com/Dataset    Reject test datasets
...

    Créer la règle

    Créez maintenant une règle et appliquez-la à la contrainte personnalisée que vous avez créée.

    1. Enregistrez le fichier suivant sous le nom policy-enforce-datasetId.yaml :

      name: projects/PROJECT_ID/policies/custom.enforceDatasetId
spec:
  rules:
  - enforce: true

      Remplacez PROJECT_ID par l'ID du projet.

    2. Appliquez la règle :

      gcloud org-policies set-policy ~/policy-enforce-datasetId.yaml

    3. Vérifiez que la règle existe :

      gcloud org-policies list --project=PROJECT_ID

      Le résultat ressemble à ce qui suit :

      CONSTRAINT                  LIST_POLICY    BOOLEAN_POLICY    ETAG
custom.enforceDatasetId     -              SET               COCsm5QGENiXi2E=

    Une fois la règle activée, attendez environ 15 minutes que Google Cloud commence à l'appliquer.

    Tester la stratégie

    Essayez de créer un ensemble de données BigQuery dans le projet :

    bq --location=US mk -d \
    --default_table_expiration 3600 \
    --description "This is my dataset." \
    testdataset

    Le résultat est le suivant :

    Operation denied by custom org policies: ["customConstraints/custom.enforceDatasetId": "All new datasets can't begin with 'test'."]

    Ressources BigQuery compatibles

    Le tableau suivant répertorie les ressources BigQuery que vous pouvez référencer dans les contraintes personnalisées.

    Ressource Champ
    bigquery.googleapis.com/Dataset resource.datasetReference.datasetId
    resource.defaultCollation
    resource.defaultEncryptionConfiguration.kmsKeyName
    resource.defaultPartitionExpirationMs
    resource.defaultRoundingMode
    resource.defaultTableExpirationMs
    resource.description
    resource.externalCatalogDatasetOptions.defaultStorageLocationUri
    resource.externalCatalogDatasetOptions.parameters
    resource.externalDatasetReference.connection
    resource.externalDatasetReference.externalSource
    resource.friendlyName
    resource.isCaseInsensitive
    resource.linkedDatasetSource.sourceDataset.datasetId
    resource.location
    resource.maxTimeTravelHours
    resource.storageBillingModel

    Étapes suivantes