Créer des contraintes personnalisées

Les règles d'administrationGoogle Cloud vous offrent un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir des ensembles de restrictions appelées contraintes qui s'appliquent aux ressourcesGoogle Cloud et à leurs descendants dans la hiérarchie des ressourcesGoogle Cloud . Chaque ensemble de restrictions constitue une règle d'administration. Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Les règles d'administration offrent des contraintes prédéfinies pour divers servicesGoogle Cloud . Toutefois, si vous souhaitez exercer un contrôle plus précis et le personnaliser pour des champs spécifiques restreints dans vos règles d'administration, vous pouvez également créer des contraintes personnalisées et les utiliser dans une règle d'administration.

Avantages

Vous pouvez utiliser une règle d'organisation personnalisée pour autoriser ou refuser des opérations spécifiques sur les lots, les sessions et les modèles de session Managed Service for Apache Spark. Par exemple, si une demande de création d'une charge de travail par lot ne satisfait pas la validation des contraintes personnalisées définies par votre règle d'administration, la requête échoue et une erreur est renvoyée à l'appelant.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une règle au niveau d'un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez Règles d'évaluation hiérarchique.

Tarification

Le service de règles d'administration, y compris les contraintes prédéfinies et personnalisées, est accessible sans frais.

Avant de commencer

  1. Configurer votre projet
    1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the Managed Service for Apache Spark API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    5. Installez la Google Cloud CLI.

    6. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

    7. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

      gcloud init

    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    9. Verify that billing is enabled for your Google Cloud project.

    10. Enable the Managed Service for Apache Spark API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    11. Installez la Google Cloud CLI.

    12. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

    13. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

      gcloud init
    14. Assurez-vous de connaître votre ID d'organisation.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer des règles d'administration#39;administration, demandez à votre administrateur de vous accorder le rôle IAM Administrateur des règles d'administration (roles/orgpolicy.policyAdmin) dans la ressource d'organisation. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour gérer les règles d'administration. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour gérer les règles d'administration :

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une contrainte personnalisée

Une contrainte personnalisée est définie dans un fichier YAML par les ressources, les méthodes, les conditions et les actions auxquelles elle s'applique. Managed Service pour Apache Spark est compatible avec les contraintes personnalisées qui sont appliquées à la méthode CREATE des ressources de lot et de session.

Pour en savoir plus sur la création d'une contrainte personnalisée, consultez la page Créer et gérer des règles d'administration personnalisées.

Créer une contrainte personnalisée pour une ressource par lot

Pour créer un fichier YAML pour une contrainte personnalisée Managed Service for Apache Spark pour une ressource par lot, utilisez le format suivant :

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes: 
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Remplacez les éléments suivants :

  • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

  • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Il doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, par exemple custom.batchMustHaveSpecifiedCategoryLabel. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe, par exemple organizations/123456789/customConstraints/custom..

  • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Contraintes de Dataproc sans serveur sur les ressources et les opérations. Exemple de condition : ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])

  • ACTION : action à effectuer si la condition est remplie. Il peut être défini sur ALLOW ou DENY.

  • DISPLAY_NAME : nom convivial de la contrainte. Exemple de nom à afficher : "Appliquer l'exigence de libellé 'catégorie' pour les lots". Ce champ ne doit pas comporter plus de 200 caractères.

  • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères. Exemple de description : "N'autoriser la création de lots Dataproc que s'ils comportent un libellé "category" avec la valeur "retail", "ads" ou "service"."

Créer une contrainte personnalisée pour une ressource de session

Pour créer un fichier YAML pour une contrainte personnalisée Managed Service for Apache Spark pour une ressource de session, utilisez le format suivant :

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Session
methodTypes: 
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Remplacez les éléments suivants :

  • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

  • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Il doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, par exemple custom.SessionNameMustStartWithTeamName. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe, comme par exemple organizations/123456789/customConstraints/custom..

  • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Contraintes de Dataproc sans serveur sur les ressources et les opérations. Exemple de condition : (resource.name.startsWith("dataproc")

  • ACTION : action à effectuer si la condition est remplie. Il peut être défini sur ALLOW ou DENY.

  • DISPLAY_NAME : nom convivial de la contrainte. Exemple de nom à afficher : "Appliquer une durée de vie de session inférieure à deux heures". Ce champ ne doit pas comporter plus de 200 caractères.

  • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères. Exemple de description : "Autoriser la création de session uniquement si elle définit une valeur TTL autorisée".

Créer une contrainte personnalisée pour une ressource de modèle de session

Pour créer un fichier YAML pour une contrainte personnalisée Managed Service for Apache Spark pour une ressource de modèle de session, utilisez le format suivant :

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/SessionTemplate
methodTypes: 
- CREATE
- UPDATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Remplacez les éléments suivants :

  • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).

  • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Il doit commencer par custom. et ne peut inclure que des lettres majuscules, minuscules ou des chiffres, par exemple custom.SessionTemplateNameMustStartWithTeamName. La longueur maximale de ce champ est de 70 caractères, sans compter le préfixe, par exemple organizations/123456789/customConstraints/custom..

  • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ ne doit pas comporter plus de 1 000 caractères. Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Contraintes sur les ressources et les opérations. Exemple de condition : (resource.name.startsWith("dataproc")

  • ACTION : action à effectuer si la condition est remplie. Il peut être défini sur ALLOW ou DENY.

  • DISPLAY_NAME : nom convivial de la contrainte. Exemple de nom à afficher : "Appliquer un modèle de session avec un TTL inférieur à deux heures". Ce champ ne doit pas comporter plus de 200 caractères.

  • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ ne doit pas comporter plus de 2 000 caractères. Exemple de description : "N'autoriser la création de modèles de session que s'ils définissent une valeur TTL autorisée".

Configurer une contrainte personnalisée

Console

Pour créer une contrainte personnalisée :

  1. Dans la console Google Cloud , accédez à la page Règles d'administration.

    Accéder à la page Règles d'administration

  2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
  3. Cliquez sur Contrainte personnalisée.
  4. Dans la zone Nom à afficher, saisissez un nom lisible par l'humain pour la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
  5. Dans la zone ID de contrainte, saisissez l'ID souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.batchMustHaveSpecifiedCategoryLabel. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car ces informations pourraient être divulguées dans les messages d'erreur.
  6. Dans la zone Description, saisissez une description lisible par l'humain pour la contrainte. Cette description est utilisée comme message d'erreur en cas de non-respect de la règle. Incluez des informations sur les raisons du non-respect de la règle et sur la façon de résoudre ce cas de non-respect. Veuillez n'inclure aucune information permettant d'identifier l'utilisateur ou donnée sensible dans votre description, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 2 000 caractères.
  7. Dans la zone Type de ressource, sélectionnez le nom de la ressource REST Google Cloud contenant l'objet et le champ que vous souhaitez restreindre (par exemple, container.googleapis.com/NodePool). La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
  8. Cette contrainte ne peut être appliquée qu'à la méthode REST CREATE.

    9. Pour connaître les méthodes prises en charge par chaque service, recherchez le service dans la section Services compatibles avec les contraintes personnalisées.

  9. Pour définir une condition, cliquez sur Modifier la condition.
    1. Dans le panneau Ajouter une condition, créez une condition CEL faisant référence à une ressource de service compatible, par exemple resource.management.autoUpgrade == false. Ce champ peut contenir jusqu'à 1 000 caractères. Pour plus d'informations sur l'utilisation du CEL, consultez Common Expression Language. Pour en savoir plus sur les ressources de service que vous pouvez utiliser dans vos contraintes personnalisées, consultez Services compatibles avec les contraintes personnalisées.
    2. Cliquez sur Enregistrer.
  10. Sous Action, indiquez si vous souhaitez autoriser ou refuser la méthode évaluée si la condition ci-dessus est remplie.

    11. L'action "deny" signifie que l'opération de création ou de mise à jour de la ressource est bloquée si la condition renvoie la valeur "true".

    L'action "allow" signifie que l'opération de création ou de mise à jour de la ressource n'est autorisée que si la condition renvoie la valeur "true". Tous les autres cas, à l'exception de ceux explicitement listés dans la condition, sont bloqués.

  11. Cliquez sur Créer une contrainte.

    12. Lorsque vous saisissez une valeur dans chaque champ, la configuration YAML équivalant à cette contrainte personnalisée s'affiche sur la droite.

gcloud

  1. Pour créer une contrainte personnalisée, créez un fichier YAML au format suivant : 
    2. name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

    Remplacez les éléments suivants :

    • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).
    • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.batchMustHaveSpecifiedCategoryLabel. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car ces informations pourraient être divulguées dans les messages d'erreur.
    • RESOURCE_NAME : nom complet de la ressource Google Cloudcontenant l'objet et le champ que vous souhaitez restreindre. Par exemple, dataproc.googleapis.com/batch. La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
    • methodTypes : méthodes REST sur lesquelles la contrainte est appliquée. Ne peut être que CREATE.

      • Pour connaître les méthodes compatibles avec chaque service, recherchez le service dans la section Services compatibles avec les contraintes personnalisées.

    • CONDITION : condition CEL écrite pour une représentation d'une ressource de service compatible. Ce champ peut contenir jusqu'à 1 000 caractères. Par exemple, ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).

      • Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez Ressources compatibles.

    • ACTION : action à effectuer si la condition est remplie. Ne peut être que ALLOW.

      • L'action "allow" signifie que si la condition renvoie "true", l'opération de création ou de mise à jour de la ressource est autorisée. Cela signifie également que tous les autres cas, à l'exception de celui explicitement listé dans la condition, sont bloqués.

    • DISPLAY_NAME : nom lisible de la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
    • DESCRIPTION : description lisible par l'humain de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ peut contenir jusqu'à 2 000 caractères.
  2. Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint : 
    3. gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Par exemple, /home/user/customconstraint.yaml.

    Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud .

  3. Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints :
    4. gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation.

    Pour en savoir plus, consultez Afficher les règles d'administration.

Appliquer une contrainte personnalisée

Vous pouvez appliquer une contrainte en créant une règle d'administration qui y fait référence, puis en appliquant cette règle à une ressource Google Cloud .

Console

  1. Dans la console Google Cloud , accédez à la page Règles d'administration.

    Accéder à la page Règles d'administration

  2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
  3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle propres à cette contrainte.
  4. Pour personnaliser la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
  5. Sur la page Modifier la stratégie, sélectionnez Ignorer la règle parente.
  6. Cliquez sur Ajouter une règle.
  7. Dans la section Application, indiquez si cette règle d'administration est appliquée ou non.
  8. Facultatif : pour rendre la règle d'administration conditionnelle à un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle non conditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez Définir le champ d'application des règles d'administration avec des tags.
  9. Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
  10. Pour appliquer la règle d'administration en mode de simulation, cliquez sur Définir la règle de dry run. Pour en savoir plus, consultez Tester les règles d'administration.
  11. Une fois que vous avez vérifié que la règle d'administration en mode dry run fonctionne comme prévu, définissez la règle active en cliquant sur Définir la règle.

gcloud

  1. Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui fait référence à la contrainte : 
    2. name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

    Remplacez les éléments suivants :

    • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
    • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée. Exemple : custom.batchMustHaveSpecifiedCategoryLabel.
  2. Pour appliquer la règle d'administration en mode dry run, exécutez la commande suivante avec le flag dryRunSpec : 
    3. gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

    Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

  3. Après avoir vérifié que la règle d'administration en mode dry run fonctionne comme prévu, définissez la règle active avec la commande org-policies set-policy et le flag spec : 
    4. gcloud org-policies set-policy POLICY_PATH --update-mask=spec

    Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

Tester la contrainte personnalisée

Cette section explique comment tester les contraintes personnalisées pour les ressources de lot, de session et de modèle de session.

Tester la contrainte personnalisée pour une ressource par lot

L'exemple de création par lot suivant suppose qu'une contrainte personnalisée a été créée et appliquée à la création par lot pour exiger que le lot soit associé à un libellé "category" (catégorie) avec une valeur "retail" (vente au détail), "ads" (annonces) ou "service:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])".

gcloud dataproc batches submit spark \
  --region us-west1
  --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --class org.apache.spark.examples.SparkPi  \
  --network default \
  --labels category=foo \
  --100

Exemple de résultat :

Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel": ""Only allow Dataproc batch creation if it has a 'category' label with
  a 'retail', 'ads', or 'service' value""]

Tester la contrainte personnalisée pour une ressource de session

L'exemple de création de session suivant suppose qu'une contrainte personnalisée a été créée et appliquée lors de la création de la session pour exiger que la session ait un name commençant par orgName.

gcloud beta dataproc sessions create spark test-session
  --location us-central1

Exemple de résultat :

Operation denied by custom org policy:
["customConstraints/custom.denySessionNameNotStartingWithOrgName": "Deny session
creation if its name does not start with 'orgName'"]

Tester la contrainte personnalisée pour une ressource de modèle de session

L'exemple de création de modèle de session suivant suppose qu'une contrainte personnalisée a été créée et appliquée lors de la création et de la mise à jour du modèle de session pour exiger que le modèle de session comporte un name commençant par orgName.

gcloud beta dataproc session-templates import test-session-template
--source=saved-template.yaml

Exemple de résultat :

Operation denied by custom org policy:
["customConstraints/custom.denySessionTemplateNameNotStartingWithOrgName":
"Deny session template creation or update if its name does not start with
'orgName'"]

Contraintes sur les ressources et les opérations

Cette section liste les contraintes personnalisées Managed Service for Apache Spark disponibles pour les ressources de lot et de session.

Contraintes de lot prises en charge

Les contraintes personnalisées Managed Service pour Apache Spark suivantes sont disponibles lorsque vous créez (envoyez) une charge de travail par lot :

Général

  • resource.labels

PySparkBatch

  • resource.pysparkBatch.mainPythonFileUri
  • resource.pysparkBatch.args
  • resource.pysparkBatch.pythonFileUris
  • resource.pysparkBatch.jarFileUris
  • resource.pysparkBatch.fileUris
  • resource.pysparkBatch.archiveUris

SparkBatch

  • resource.sparkBatch.mainJarFileUri
  • resource.sparkBatch.mainClass
  • resource.sparkBatch.args
  • resource.sparkBatch.jarFileUris
  • resource.sparkBatch.fileUris
  • resource.sparkBatch.archiveUris

SparRBatch

  • resource.sparkRBatch.mainRFileUri
  • resource.sparkRBatch.args
  • resource.sparkRBatch.fileUris
  • resource.sparkRBatch.archiveUris

SparkSqlBatch

  • resource.sparkSqlBatch.queryFileUri
  • resource.sparkSqlBatch.queryVariables
  • resource.sparkSqlBatch.jarFileUris

RuntimeConfig

  • resource.runtimeConfig.version
  • resource.runtimeConfig.containerImage
  • resource.runtimeConfig.properties
  • resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
  • resource.runtimeConfig.autotuningConfig.scenarios
  • resource.runtimeConfig.cohort

ExecutionConfig

  • resource.environmentConfig.executionConfig.serviceAccount
  • resource.environmentConfig.executionConfig.networkUri
  • resource.environmentConfig.executionConfig.subnetworkUri
  • resource.environmentConfig.executionConfig.networkTags
  • resource.environmentConfig.executionConfig.kmsKey
  • resource.environmentConfig.executionConfig.idleTtl
  • resource.environmentConfig.executionConfig.ttl
  • resource.environmentConfig.executionConfig.stagingBucket
  • resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

  • resource.environmentConfig.peripheralsConfig.metastoreService
  • resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Contraintes de session acceptées

Les attributs de session suivants sont disponibles lorsque vous créez des contraintes personnalisées sur les sessions sans serveur :

Général

  • resource.name
  • resource.sparkConnectSession
  • resource.user
  • resource.sessionTemplate

JupyterSession

  • resource.jupyterSession.kernel
  • resource.jupyterSession.displayName

RuntimeConfig

  • resource.runtimeConfig.version
  • resource.runtimeConfig.containerImage
  • resource.runtimeConfig.properties
  • resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
  • resource.runtimeConfig.autotuningConfig.scenarios
  • resource.runtimeConfig.cohort

ExecutionConfig

  • resource.environmentConfig.executionConfig.serviceAccount
  • resource.environmentConfig.executionConfig.networkUri
  • resource.environmentConfig.executionConfig.subnetworkUri
  • resource.environmentConfig.executionConfig.networkTags
  • resource.environmentConfig.executionConfig.kmsKey
  • resource.environmentConfig.executionConfig.idleTtl
  • resource.environmentConfig.executionConfig.ttl
  • resource.environmentConfig.executionConfig.stagingBucket
  • resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

  • resource.environmentConfig.peripheralsConfig.metastoreService
  • resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Contraintes de modèle de session acceptées

Les attributs de modèle de session suivants sont disponibles lorsque vous créez des contraintes personnalisées sur des modèles de session sans serveur :

Général

  • resource.name
  • resource.description
  • resource.sparkConnectSession

JupyterSession

  • resource.jupyterSession.kernel
  • resource.jupyterSession.displayName

RuntimeConfig

  • resource.runtimeConfig.version
  • resource.runtimeConfig.containerImage
  • resource.runtimeConfig.properties
  • resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
  • resource.runtimeConfig.autotuningConfig.scenarios
  • resource.runtimeConfig.cohort

ExecutionConfig

  • resource.environmentConfig.executionConfig.serviceAccount
  • resource.environmentConfig.executionConfig.networkUri
  • resource.environmentConfig.executionConfig.subnetworkUri
  • resource.environmentConfig.executionConfig.networkTags
  • resource.environmentConfig.executionConfig.kmsKey
  • resource.environmentConfig.executionConfig.idleTtl
  • resource.environmentConfig.executionConfig.ttl
  • resource.environmentConfig.executionConfig.stagingBucket
  • resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

  • resource.environmentConfig.peripheralsConfig.metastoreService
  • resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Exemples de contraintes personnalisées pour des cas d'utilisation courants

Cette section inclut des exemples de contraintes personnalisées pour des cas d'utilisation courants des ressources de lot et de session.

Exemples de contraintes personnalisées pour une ressource par lot

Le tableau suivant fournit des exemples de contraintes personnalisées par lot Managed Service pour Apache Spark :

Description Syntaxe de la contrainte
Le lot doit être associé à un libellé "category" avec des valeurs autorisées. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
    actionType: ALLOW
    displayName: Enforce batch "category" label requirement.
    description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch doit définir une version d'exécution autorisée. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"])
    actionType: ALLOW
    displayName: Enforce batch runtime version.
    description: Only allow batch creation if it sets an allowable runtime version.
Vous devez utiliser SparkSQL. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.sparkSqlBatch))
    actionType: ALLOW
    displayName: Enforce batch only use SparkSQL Batch.
    description: Only allow creation of SparkSQL Batch.
Le lot doit définir un TTL inférieur à deux heures. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h'))
    actionType: ALLOW
    displayName: Enforce batch TTL.
    description: Only allow batch creation if it sets an allowable TTL.
Batch ne peut pas définir plus de 20 exécuteurs Spark initiaux. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch Spark executor instances.
    description: Deny batch creation if it specifies more than 20 Spark executor instances.
Batch ne peut pas définir plus de 20 exécuteurs initiaux pour l'allocation dynamique Spark. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties)
     && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20)
    actionType: DENY
    displayName: Enforce maximum number of batch dynamic allocation initial executors.
    description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Le lot ne doit pas autoriser plus de 20 exécuteurs d'allocation dynamique. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20))
    actionType: ALLOW
    displayName: Enforce batch maximum number of dynamic allocation executors.
    description:  Only allow batch creation if dynamic allocation is disabled or
    the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch doit définir la clé KMS sur un schéma autorisé. 
    name: organizations/ORGANIZATION_ID/custom.batchKmsPattern
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$')
    actionType: ALLOW
    displayName: Enforce batch KMS Key pattern.
    description: Only allow batch creation if it sets the KMS key to an allowable pattern.
Le lot doit définir le préfixe du bucket intermédiaire sur une valeur autorisée. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX)
    actionType: ALLOW
    displayName: Enforce batch staging bucket prefix.
    description: Only allow batch creation if it sets the staging bucket prefix to ALLOWED_PREFIX.
Le paramètre de mémoire de l'exécuteur de lot doit se terminer par le suffixe m et être inférieur à 20 000 m. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax
    resourceTypes:
    - dataproc.googleapis.com/Batch
    methodTypes:
    - CREATE
    condition:  ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000)
    actionType: ALLOW
    displayName: Enforce batch executor maximum memory.
    description: Only allow batch creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.

Exemples de contraintes personnalisées pour une ressource de session

Le tableau suivant fournit des exemples de contraintes personnalisées pour les sessions Managed Service pour Apache Spark :

Description Syntaxe de la contrainte
La session doit définir sessionTemplate sur une chaîne vide. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateMustBeEmpty
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: resource.sessionTemplate == ""
    actionType: ALLOW
    displayName: Enforce empty session templates.
    description: Only allow session creation if session template is empty string.
sessionTemplate doit être égal aux ID de modèles approuvés. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateIdMustBeApproved
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition:
    resource.sessionTemplate.startsWith("https://www.googleapis.com/compute/v1/projects/")
      &&
      resource.sessionTemplate.contains("/locations/") &&
      resource.sessionTemplate.contains("/sessionTemplates/") &&
       (
         resource.sessionTemplate.endsWith("/1") ||
         resource.sessionTemplate.endsWith("/2") ||
         resource.sessionTemplate.endsWith("/13")
       )
    actionType: ALLOW
    displayName: Enforce templateId must be 1, 2, or 13.
    description: Only allow session creation if session template ID is in the
    approved list, that is, 1, 2 and 13.
La session doit utiliser les identifiants de l'utilisateur final pour authentifier la charge de travail. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowEUCSessions
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition:
    resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType=="END_USER_CREDENTIALS"
    actionType: ALLOW
    displayName: Require end user credential authenticated sessions.
    description: Allow session creation only if the workload is authenticated
    using end-user credentials.
La session doit définir une version d'exécution autorisée. 
    name: organizations/ORGANIZATION_ID/custom.sessionMustUseAllowedVersion
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.version)) &&
    (resource.runtimeConfig.version in ["2.0.45", "2.0.48"])
    actionType: ALLOW
    displayName: Enforce session runtime version.
    description: Only allow session creation if it sets an allowable runtime
    version.
La session doit définir un TTL inférieur à deux heures. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionMustSetLessThan2hTtl
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: (has(resource.environmentConfig.executionConfig.ttl)) &&
    (resource.environmentConfig.executionConfig.ttl <= duration('2h'))
    actionType: ALLOW
    displayName: Enforce session TTL.
    description: Only allow session creation if it sets an allowable TTL.
La session ne peut pas définir plus de 20 exécuteurs Spark initiaux. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) &&
    ('spark.executor.instances' in resource.runtimeConfig.properties) &&
    (int(resource.runtimeConfig.properties['spark.executor.instances'])>20)
    actionType: DENY
    displayName: Enforce maximum number of session Spark executor instances.
    description: Deny session creation if it specifies more than 20 Spark executor
    instances.
La session ne peut pas définir plus de 20 exécuteurs initiaux pour l'allocation dynamique Spark. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionDynamicAllocationInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: (has(resource.runtimeConfig.properties)) &&
    ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties)
    && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20)
    actionType: DENY
    displayName: Enforce maximum number of session dynamic allocation initial executors.
    description: Deny session creation if it specifies more than 20 Spark dynamic
    allocation initial executors.
La session doit définir la clé KMS sur un schéma autorisé. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionKmsPattern
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$')
    actionType: ALLOW
    displayName: Enforce session KMS Key pattern.
    description: Only allow session creation if it sets the KMS key to an
    allowable pattern.
La session doit définir le préfixe du bucket intermédiaire sur une valeur autorisée. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionStagingBucketPrefix
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX)
    actionType: ALLOW
    displayName: Enforce session staging bucket prefix.
    description: Only allow session creation if it sets the staging bucket prefix
    to ALLOWED_PREFIX.
Le paramètre de mémoire de l'exécuteur de session doit se terminer par le suffixe m et être inférieur à 20 000 m. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionExecutorMemoryMax
    resourceTypes:
    - dataproc.googleapis.com/Session
    methodTypes:
    - CREATE
    condition: ('spark.executor.memory' in resource.runtimeConfig.properties) &&
    (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) &&
    (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000)
    actionType: ALLOW
    displayName: Enforce session executor maximum memory.
    description: Only allow session creation if the executor memory setting ends
    with a suffix 'm' and is less than 20000 m.

Exemples de contraintes personnalisées pour une ressource de modèle de session

Le tableau suivant fournit des exemples de contraintes personnalisées pour les modèles de session Managed Service pour Apache Spark :

Description Syntaxe de la contrainte
Le nom du modèle de session doit se terminer par org-name. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denySessionTemplateNameNotEndingWithOrgName
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: '!resource.name.endsWith(''org-name'')'
    actionType: DENY
    displayName: DenySessionTemplateNameNotEndingWithOrgName
    description: Deny session template creation/update if its name does not end with 'org-name'
Le modèle de session doit définir une version d'exécution autorisée. 
    name: organizations/ORGANIZATION_ID/custom.sessionTemplateMustUseAllowedVersion
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: (has(resource.runtimeConfig.version)) &&
    (resource.runtimeConfig.version in ["2.0.45", "2.0.48"])
    actionType: ALLOW
    displayName: Enforce session template runtime version.
    description: Only allow session template creation or update if it sets an
    allowable runtime version.
Le modèle de session doit définir un TTL inférieur à deux heures. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateMustSetLessThan2hTtl
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: (has(resource.environmentConfig.executionConfig.ttl)) &&
    (resource.environmentConfig.executionConfig.ttl <= duration('2h'))
    actionType: ALLOW
    displayName: Enforce session template TTL.
    description: Only allow session template creation or update if it sets an
    allowable TTL.
Le modèle de session ne peut pas définir plus de 20 exécuteurs Spark initiaux. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: (has(resource.runtimeConfig.properties)) &&
    ('spark.executor.instances' in resource.runtimeConfig.properties) &&
    (int(resource.runtimeConfig.properties['spark.executor.instances'])>20)
    actionType: DENY
    displayName: Enforce maximum number of session Spark executor instances.
    description: Deny session template creation or update if it specifies more
    than 20 Spark executor instances.
Le modèle de session ne peut pas définir plus de 20 exécuteurs Spark pour l'allocation dynamique initiale. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateDynamicAllocationInitialExecutorMax20
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: (has(resource.runtimeConfig.properties)) &&
    ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties)
    && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20)
    actionType: DENY
    displayName: Enforce maximum number of session dynamic allocation initial executors.
    description: Deny session template creation or update if it specifies more than 20
    Spark dynamic allocation initial executors.
Le modèle de session doit définir la clé KMS sur un schéma autorisé. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateKmsPattern
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$')
    actionType: ALLOW
    displayName: Enforce session KMS Key pattern.
    description: Only allow session template creation or update if it sets the KMS key to an
    allowable pattern.
Le préfixe du bucket intermédiaire doit être défini sur une valeur autorisée dans le modèle de session. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateStagingBucketPrefix
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(ALLOWED_PREFIX)
    actionType: ALLOW
    displayName: Enforce session staging bucket prefix.
    description: Only allow session template creation or update if it sets the staging
    bucket prefix to ALLOWED_PREFIX.
Le paramètre de mémoire de l'exécuteur de modèle de session doit se terminer par le suffixe m et être inférieur à 20 000 m. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.sessionTemplateExecutorMemoryMax
    resourceTypes:
    - dataproc.googleapis.com/SessionTemplate
    methodTypes:
    - CREATE
    - UPDATE
    condition: ('spark.executor.memory' in resource.runtimeConfig.properties) &&
    (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) &&
    (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000)
    actionType: ALLOW
    displayName: Enforce session executor maximum memory.
    description: Only allow session template creation or update if the executor memory setting ends
    with a suffix 'm' and is less than 20000 m.

Étapes suivantes