Gérer les ressources de traçabilité des données à l'aide de contraintes personnalisées

Vous pouvez utiliser les contraintes personnalisées liées aux règles d'administration Google Cloud afin d'empêcher des actions précises sur des ressources de traçabilité des données. Bien que les règles d'administration fournissent des contraintes prédéfinies pour divers servicesGoogle Cloud , les contraintes personnalisées vous permettent de définir un contrôle précis sur des champs spécifiques de vos règles d'administration d'administration.

À propos des règles d'administration Google Cloud

Les règles d'administrationGoogle Cloud vous offrent un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir une règle d'administration, c'est-à-dire un ensemble de restrictions appelées contraintes qui s'appliquent aux ressources Google Cloud et à leurs descendants dans la hiérarchie des ressourcesGoogle Cloud . Vous pouvez appliquer des règles d'administration d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Avantages

Règles d'administration personnalisées offrent un contrôle plus précis et personnalisable sur les champs spécifiques qui sont restreints par vos règles d'administration d'administration.

Vous pouvez utiliser une règle d'administration personnalisée pour autoriser ou refuser la création de processus de traçabilité des données avec des conditions basées sur les attributs de ressources compatibles, tels que le nom du processus, le type de source et l'origine.

Pour en savoir plus, consultez la section Contraintes prédéfinies.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une règle au niveau d'un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez Règles d'évaluation hiérarchique.

Tarification

Le service de règles d'administration, y compris les règles d'administration prédéfinies et personnalisées, est proposé sans frais.

Limites

  • Les contraintes personnalisées ne peuvent être appliquées qu'aux ressources Process de traçabilité des données. Les autres ressources, telles que Runs et Events, ne sont pas compatibles.

  • Les nouvelles contraintes personnalisées mises en place ne s'appliquent pas aux ressources existantes.

Avant de commencer

  • Vous devez connaître votre ID d'organisation.

  • Si vous souhaitez tester des règles d'administration personnalisées qui font référence à des ressources de traçabilité des données, créez un projet. Le test de ces règles d'administration dans un projet existant pourrait perturber les workflows de sécurité.

    1. Assurez-vous de disposer du rôle IAM "Créateur de projets" (roles/resourcemanager.projectCreator). Découvrez comment attribuer des rôles.

    2. Dans la console Google Cloud , accédez à la page de sélection du projet.

      Accéder au sélecteur de projet

    3. Cliquez sur Create Project (Créer un projet).

    4. Attribuez un nom à votre projet. Notez l'ID du projet que vous avez généré.

    5. Modifiez les autres champs si nécessaire.

    6. Cliquez sur Créer.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer des règles d'administration, demandez à votre administrateur de vous accorder le rôle IAM Administrateur des règles d'administration (roles/orgpolicy.policyAdmin) dans l'organisation. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour gérer les règles d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour gérer les règles d'administration :

  • orgpolicy.constraints.list
  • orgpolicy.customConstraints.create
  • orgpolicy.customConstraints.delete
  • orgpolicy.customConstraints.get
  • orgpolicy.customConstraints.list
  • orgpolicy.customConstraints.update
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une contrainte personnalisée

Vous définissez une contrainte personnalisée dans un fichier YAML en spécifiant les ressources, méthodes, conditions et actions compatibles avec le service auquel vous appliquez la règle d'administration. Les conditions de vos contraintes personnalisées sont définies à l'aide du langage CEL (Common Expression Language). Pour en savoir plus sur la création de conditions dans des contraintes personnalisées à l'aide du CEL, consultez la section CEL de la page Créer et gérer des contraintes personnalisées.

Pour créer un fichier YAML afin de définir une contrainte personnalisée :

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Remplacez les éléments suivants :

  • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

  • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Il doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, par exemple custom.denyLineageProcess. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe, par exemple organizations/123456789/customConstraints/custom.

  • RESOURCE_TYPE : nom (pas l'URI) de la ressource REST de l'API Data Lineage contenant l'objet et le champ que vous souhaitez restreindre. Seul Process est disponible pour la traçabilité des données.

  • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Consultez la section Ressources compatibles pour en savoir plus sur les ressources disponibles pour l'écriture de conditions. Par exemple, "resource.name.contains('invalid_name')".

  • ACTION : action à effectuer si la condition est remplie. Peut être défini sur ALLOW ou DENY.

  • DISPLAY_NAME : nom convivial de la contrainte. Ce champ ne doit pas comporter plus de 200 caractères.

  • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères.

Pour en savoir plus sur la création d'une contrainte personnalisée, consultez Définir des contraintes personnalisées.

Configurer une contrainte personnalisée

Console

Pour créer une contrainte personnalisée :

  1. Dans la console Google Cloud , accédez à la page Règles d'administration.

    Accéder à la page Règles d'administration

  2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
  3. Cliquez sur Contrainte personnalisée.
  4. Dans la zone Nom à afficher, saisissez un nom lisible par l'humain pour la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur (PII) ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
  5. Dans la zone ID de contrainte, saisissez l'ID souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.denyLineageProcess. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car ces informations pourraient être divulguées dans les messages d'erreur.
  6. Dans la zone Description, saisissez une description lisible par l'humain pour la contrainte. Cette description est utilisée comme message d'erreur en cas de non-respect de la règle. Incluez des informations sur les raisons du non-respect de la règle et sur la façon de résoudre ce cas de non-respect. Veuillez n'inclure aucune information permettant d'identifier l'utilisateur ou donnée sensible dans votre description, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 2 000 caractères.
  7. Dans la zone Type de ressource, sélectionnez le nom de la ressource REST Google Cloud contenant l'objet et le champ que vous souhaitez restreindre (par exemple, container.googleapis.com/NodePool). La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
  8. Sous Méthode d'application, indiquez si vous souhaitez appliquer la contrainte sur une méthode REST CREATE ou sur les méthodes CREATE et UPDATE. Si vous appliquez la contrainte avec la méthode UPDATE sur une ressource qui ne respecte pas la contrainte, les modifications apportées à cette ressource sont bloquées par la règle d'administration, sauf si elles résolvent le cas de non-respect.

    9. Pour connaître les méthodes compatibles avec chaque service, recherchez le service dans la section Services compatibles avec les contraintes personnalisées.

  9. Pour définir une condition, cliquez sur Modifier la condition.
    1. Dans le panneau Ajouter une condition, créez une condition CEL faisant référence à une ressource de service compatible, par exemple resource.management.autoUpgrade == false. Ce champ peut contenir jusqu'à 1 000 caractères. Pour plus d'informations sur l'utilisation du CEL, consultez Common Expression Language. Pour en savoir plus sur les ressources de service que vous pouvez utiliser dans vos contraintes personnalisées, consultez Services compatibles avec les contraintes personnalisées.
    2. Cliquez sur Enregistrer.
  10. Sous Action, indiquez si vous souhaitez autoriser ou refuser la méthode évaluée si la condition ci-dessus est remplie.

    11. L'action "deny" signifie que l'opération de création ou de mise à jour de la ressource est bloquée si la condition renvoie la valeur "true".

    L'action "allow" signifie que l'opération de création ou de mise à jour de la ressource n'est autorisée que si la condition renvoie la valeur "true". Tous les autres cas, à l'exception de ceux explicitement listés dans la condition, sont bloqués.

  11. Cliquez sur Créer une contrainte.

    12. Lorsque vous saisissez une valeur dans chaque champ, la configuration YAML équivalant à cette contrainte personnalisée s'affiche sur la droite.

gcloud

  1. Pour créer une contrainte personnalisée, créez un fichier YAML au format suivant : 
    2. name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
      - UPDATE     
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

    Remplacez les éléments suivants :

    • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).
    • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.denyLineageProcess. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car ces informations pourraient être divulguées dans les messages d'erreur.
    • RESOURCE_NAME : nom complet de la ressource Google Cloudcontenant l'objet et le champ que vous souhaitez restreindre. Par exemple, datalineage.googleapis.com/Process. La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
    • methodTypes : méthodes REST sur lesquelles la contrainte est appliquée. Il peut s'agir de CREATE, ou de CREATE et de UPDATE. Si vous appliquez la contrainte avec la méthode UPDATE sur une ressource qui ne respecte pas la contrainte, les modifications apportées à cette ressource sont bloquées par la règle d'administration, sauf si elles résolvent le cas de non-respect.

      • Pour connaître les méthodes compatibles avec chaque service, recherchez le service dans la section Services compatibles avec les contraintes personnalisées.

    • CONDITION : condition CEL écrite pour une représentation d'une ressource de service compatible. Ce champ peut contenir jusqu'à 1 000 caractères. Par exemple, "resource.name.contains('invalid_name')".

      • Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Ressources compatibles.

    • ACTION : action à effectuer si la condition est remplie. Les valeurs possibles sont ALLOW et DENY.

      • L'action "allow" signifie que si la condition renvoie "true", l'opération de création ou de mise à jour de la ressource est autorisée. Cela signifie également que tous les autres cas, à l'exception de celui explicitement listé dans la condition, sont bloqués.

      L'action "deny" signifie que si la condition renvoie "true", l'opération de création ou de mise à jour de la ressource est bloquée.

    • DISPLAY_NAME : nom lisible de la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
    • DESCRIPTION : description lisible par l'humain de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ peut contenir jusqu'à 2 000 caractères.
  2. Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint : 
    3. gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Par exemple, /home/user/customconstraint.yaml.

    Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud .

  3. Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints :
    4. gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation.

    Pour en savoir plus, consultez Afficher les règles d'administration.

Appliquer une règle d'administration personnalisée

Vous pouvez appliquer une contrainte en créant une règle d'administration qui y fait référence, puis en appliquant cette règle à une ressource Google Cloud .

Console

  1. Dans la console Google Cloud , accédez à la page Règles d'administration.

    Accéder à la page Règles d'administration

  2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
  3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle propres à cette contrainte.
  4. Pour personnaliser la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
  5. Sur la page Modifier la stratégie, sélectionnez Ignorer la règle parente.
  6. Cliquez sur Ajouter une règle.
  7. Dans la section Application, indiquez si cette règle d'administration est appliquée ou non.
  8. Facultatif : pour rendre la règle d'administration conditionnelle à un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle non conditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez Définir le champ d'application des règles d'administration avec des tags.
  9. Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
  10. Pour appliquer la règle d'administration en mode de simulation, cliquez sur Définir la règle de dry run. Pour en savoir plus, consultez Tester les règles d'administration.
  11. Une fois que vous avez vérifié que la règle d'administration en mode dry run fonctionne comme prévu, définissez la règle active en cliquant sur Définir la règle.

gcloud

  1. Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui fait référence à la contrainte : 
    2. name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

    Remplacez les éléments suivants :

    • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
    • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée. Exemple : custom.denyLineageProcess.
  2. Pour appliquer la règle d'administration en mode dry run, exécutez la commande suivante avec le flag dryRunSpec : 
    3. gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

    Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

  3. Après avoir vérifié que la règle d'administration en mode dry run fonctionne comme prévu, définissez la règle active avec la commande org-policies set-policy et le flag spec : 
    4. gcloud org-policies set-policy POLICY_PATH --update-mask=spec

    Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

Tester la règle d'administration personnalisée

Pour tester une contrainte de règle d'administration qui empêche la création d'un processus de traçabilité des données contenant le texte invalid_name, procédez comme suit :

  1. Créez un projet, comme décrit dans la section Avant de commencer.

  2. Copiez la contrainte suivante dans un fichier YAML :

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
  resourceTypes: datalineage.googleapis.com/Process
  methodTypes:
    - CREATE
    - UPDATE
  condition:
    "resource.name.contains('invalid_name')"
  actionType: DENY
  displayName: Do not allow data lineage process with 'invalid_name' to be created.

    Remplacez ORGANIZATION_ID par l'ID numérique de votre organisationGoogle Cloud .

  3. Configurez la contrainte personnalisée et appliquez-la au projet que vous avez créé pour le test.

  4. Créez un processus avec le nom que vous avez inclus dans la contrainte personnalisée.

    curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
"https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
-d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet dans lequel le processus est créé. Il doit se trouver dans la même organisation que celle où la contrainte est définie.
    • LOCATION : région Google Cloud dans laquelle le processus est créé.

    Le résultat est le suivant :

    Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]

Ressources et opérations compatibles avec la traçabilité des données

Les champs de contrainte personnalisée suivants sont disponibles lorsque vous créez ou mettez à jour un processus de traçabilité des données :

  • resource.name
  • resource.displayName
  • resource.origin.name
  • resource.origin.sourceType

Les méthodes suivantes sont vérifiées dans les contraintes personnalisées :

Exemples de règles d'administration personnalisées pour des cas d'utilisation courants

Le tableau suivant fournit la syntaxe de certaines contraintes personnalisées pour des cas d'utilisation courants :

Pour en savoir plus sur les macros CEL disponibles pour les conditions de contraintes personnalisées, consultez Common Expression Language.

Cas d'utilisation Syntaxe de la contrainte
Désactiver la création de processus de traçabilité des données 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.
Désactiver la création de processus de traçabilité des données par BigQuery ou Managed Service pour Apache Spark 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Managed Service for Apache Spark.
Désactiver les processus de traçabilité des données portant le nom spécifié 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

Étapes suivantes