Limiter les actions sur les ressources GKE à l'aide de règles d'administration personnalisées

Cette page vous explique comment utiliser les contraintes personnalisées du service de règles d'administration pour restreindre des opérations spécifiques sur les ressources Google Cloud suivantes :

  • container.googleapis.com/Cluster
  • container.googleapis.com/NodePool

Pour en savoir plus sur les règles d'administration, consultez Règles d'administration personnalisées.

À propos des règles et des contraintes d'administration

Le service de règles d'administration Google Cloud vous offre un contrôle centralisé et automatisé sur les ressources de votre organisation. En tant qu'administrateur des règles d'administration, vous pouvez définir des ensembles de restrictions appelées contraintes qui s'appliquent aux ressourcesGoogle Cloud et à leurs descendants dans la hiérarchie des ressourcesGoogle Cloud . Chaque ensemble de restrictions constitue une règle d'administration. Vous pouvez appliquer des règles d'administration au niveau d'une organisation, d'un dossier ou d'un projet.

Les règles d'administration fournissent des contraintes gérées intégrées pour divers services Google Cloud . Toutefois, si vous souhaitez exercer un contrôle plus précis et le personnaliser pour des champs spécifiques restreints dans vos règles d'administration, vous pouvez également créer des contraintes personnalisées et les utiliser dans une règle d'administration.

Héritage des règles

Par défaut, les règles d'administration sont héritées par les descendants des ressources sur lesquelles vous les appliquez. Par exemple, si vous appliquez une règle au niveau d'un dossier, Google Cloud l'applique à tous les projets du dossier. Pour mieux comprendre ce comportement et savoir comment le modifier, consultez Règles d'évaluation hiérarchique.

Limites

Les champs en sortie uniquement suivants ne sont pas acceptés :

  • projects.locations.clusters.masterAuth.clientKey
  • projects.locations.clusters.masterAuth.password

Avant de commencer

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  6. Pour initialiser la gcloud CLI, exécutez la commande suivante :

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  11. Pour initialiser la gcloud CLI, exécutez la commande suivante :

    gcloud init
  12. Assurez-vous de connaître votre ID d'organisation.
  13. Rôles requis

    Pour obtenir les autorisations nécessaires pour utiliser les règles d'administration avec GKE, demandez à votre administrateur de vous accorder les rôles IAM suivants :

    Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

    Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

    Configurer une contrainte personnalisée

    Une contrainte personnalisée est définie dans un fichier YAML, qui spécifie les ressources, méthodes, conditions et actions compatibles avec le service auquel vous appliquez la règle d'administration. Les conditions de vos contraintes personnalisées sont définies à l'aide du langage CEL (Common Expression Language). Pour en savoir plus sur la création de conditions dans des contraintes personnalisées à l'aide du CEL, consultez la section CEL de la page Créer et gérer des contraintes personnalisées.

    Console

    Pour créer une contrainte personnalisée :

    1. Dans la console Google Cloud , accédez à la page Règles d'administration.

      Accéder à la page Règles d'administration

    2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
    3. Cliquez sur Contrainte personnalisée.
    4. Dans le champ Nom à afficher, saisissez un nom lisible pour la contrainte. Ce nom est utilisé dans les messages d'erreur et peut servir à l'identification et au débogage. N'utilisez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans les noms à afficher, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 200 caractères.
    5. Dans la zone ID de contrainte, saisissez le nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.disableGkeAutoUpgrade. Ce champ peut contenir jusqu'à 70 caractères, sans compter le préfixe (custom.), par exemple organizations/123456789/customConstraints/custom. N'incluez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données sensibles dans l'ID de votre contrainte, car elles pourraient être divulguées dans les messages d'erreur.
    6. Dans la zone Description, saisissez une description lisible de la contrainte. Cette description est utilisée comme message d'erreur en cas de non-respect de la règle. Incluez des informations sur les raisons du non-respect des règles et sur la façon de le résoudre. Veuillez n'inclure aucune information permettant d'identifier l'utilisateur ou donnée sensible dans votre description, car ces informations pourraient être divulguées dans les messages d'erreur. Ce champ peut contenir jusqu'à 2 000 caractères.
    7. Dans la zone Type de ressource, sélectionnez le nom de la ressource REST Google Cloud contenant l'objet et le champ que vous souhaitez restreindre (par exemple, container.googleapis.com/NodePool). La plupart des types de ressources acceptent jusqu'à 20 contraintes personnalisées. Si vous essayez de créer d'autres contraintes personnalisées, l'opération échoue.
    8. Sous Méthode d'application, indiquez si vous souhaitez appliquer la contrainte sur une méthode REST CREATE ou sur les méthodes CREATE et UPDATE. Si vous appliquez la contrainte avec la méthode UPDATE sur une ressource qui ne la respecte pas, les modifications apportées à cette ressource sont bloquées par la règle d'administration, sauf si elles résolvent le cas de non-conformité.
    9. Les services Google Cloud ne sont pas tous compatibles avec les deux méthodes. Pour connaître les méthodes compatibles avec chaque service, recherchez le service dans la section Services compatibles.

    10. Pour définir une condition, cliquez sur Modifier la condition.
      1. Dans le panneau Ajouter une condition, créez une condition CEL faisant référence à une ressource de service acceptée, par exemple resource.management.autoUpgrade == false. Ce champ peut contenir jusqu'à 1 000 caractères. Pour en savoir plus sur l'utilisation du langage CEL, consultez Common Expression Language. Pour en savoir plus sur les ressources de service que vous pouvez utiliser dans vos contraintes personnalisées, consultez Services compatibles avec les contraintes personnalisées.
      2. Cliquez sur Enregistrer.
    11. Sous Action, indiquez si vous souhaitez autoriser ou refuser la méthode évaluée si la condition est remplie.
    12. L'action de refus signifie que l'opération de création ou de mise à jour de la ressource est bloquée si la condition renvoie la valeur "true".

      L'action "Autoriser" signifie que l'opération de création ou de mise à jour de la ressource n'est autorisée que si la condition renvoie la valeur "true". Tous les autres cas, à l'exception de ceux explicitement regroupés dans la condition, sont bloqués.

    13. Cliquez sur Créer une contrainte.
    14. Lorsque vous saisissez une valeur dans chaque champ, la configuration YAML équivalant à cette contrainte personnalisée s'affiche sur la droite.

    gcloud

    1. Pour créer une contrainte personnalisée, créez un fichier YAML au format suivant :
    2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
            resourceTypes:
            - RESOURCE_NAME
            methodTypes:
            - CREATE
      - UPDATE
      condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION

      Remplacez les éléments suivants :

      • ORGANIZATION_ID : ID de votre organisation (par exemple, 123456789).
      • CONSTRAINT_NAME : nom souhaité pour votre nouvelle contrainte personnalisée. Une contrainte personnalisée ne peut contenir que des lettres (majuscules et minuscules) ou des chiffres, par exemple custom.enableGkeAutopilot. Ce champ peut contenir jusqu'à 70 caractères.
      • RESOURCE_NAME : nom complet de la ressource Google Cloudcontenant l'objet et le champ que vous souhaitez restreindre. Par exemple, container.googleapis.com/Cluster.
      • CONDITION : condition CEL écrite pour une représentation d'une ressource de service acceptée. Ce champ peut contenir jusqu'à 1 000 caractères. Par exemple, "resource.autopilot.enabled == false".
      • Pour en savoir plus sur les ressources disponibles pour l'écriture de conditions, consultez la section Ressources compatibles.

      • ACTION : action à effectuer si la condition est remplie. Les valeurs possibles sont ALLOW et DENY.
      • L'action "Autoriser" signifie que si la condition renvoie la valeur "true", l'opération de création ou de mise à jour de la ressource est autorisée. Cela signifie également que tous les autres cas, à l'exception de celui explicitement regroupé dans la condition, sont bloqués.

        L'action de refus signifie que si la condition renvoie la valeur "true", l'opération de création ou de mise à jour de la ressource est bloquée.

      • DISPLAY_NAME : nom convivial de la contrainte. Ce champ peut contenir jusqu'à 200 caractères.
      • DESCRIPTION : description conviviale de la contrainte, qui sera affichée dans un message d'erreur en cas de non-respect de la règle. Ce champ peut contenir jusqu'à 2 000 caractères.
    3. Après avoir créé le fichier YAML pour une nouvelle contrainte personnalisée, vous devez le configurer de sorte qu'il soit disponible pour les règles d'administration'administration de votre organisation. Pour configurer une contrainte personnalisée, utilisez la commande gcloud org-policies set-custom-constraint :
    4.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH
            

      Remplacez CONSTRAINT_PATH par le chemin d'accès complet à votre fichier de contrainte personnalisée. Exemple :/home/user/customconstraint.yaml

      Une fois l'opération terminée, vos contraintes personnalisées sont disponibles en tant que règles d'administration dans votre liste de règles d'administration Google Cloud .

    5. Pour vérifier que la contrainte personnalisée existe, utilisez la commande gcloud org-policies list-custom-constraints :
    6.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
            

      Remplacez ORGANIZATION_ID par l'ID de votre ressource d'organisation.

      Pour en savoir plus, consultez Afficher les règles d'administration.

    Appliquer une règle d'administration personnalisée

    Vous pouvez appliquer une contrainte en créant une règle d'administration qui y fait référence, puis en appliquant cette règle à une ressource Google Cloud .

    Console

    1. Dans la console Google Cloud , accédez à la page Règles d'administration.

      Accéder à la page Règles d'administration

    2. Dans le sélecteur de projets, choisissez le projet pour lequel vous souhaitez définir la règle d'administration.
    3. Dans la liste de la page Règles d'administration, sélectionnez votre contrainte pour afficher la page Détails de la règle de cette contrainte.
    4. Pour personnaliser la règle d'administration pour cette ressource, cliquez sur Gérer la règle.
    5. Sur la page Modifier la stratégie, sélectionnez Ignorer la règle parente.
    6. Cliquez sur Ajouter une règle.
    7. Dans la section Application, indiquez si cette règle d'administration est appliquée ou non.
    8. Facultatif : pour rendre la règle d'administration conditionnelle à un tag, cliquez sur Ajouter une condition. Notez que si vous ajoutez une règle conditionnelle à une règle d'administration, vous devez ajouter au moins une règle non conditionnelle, sinon la règle ne pourra pas être enregistrée. Pour en savoir plus, consultez Définir une règle d'administration avec des tags.
    9. Cliquez sur Tester les modifications pour simuler l'effet de la règle d'administration. Pour en savoir plus, consultez Tester les modifications apportées aux règles d'administration à l'aide de Policy Simulator.
    10. Pour appliquer la règle d'administration en mode de simulation, cliquez sur Définir la règle de dry run. Pour en savoir plus, consultez Créer une règle d'administration en mode simulation.
    11. Une fois que vous avez vérifié que la règle d'administration en mode simulation fonctionne comme prévu, définissez la règle active en cliquant sur Définir la règle.

    gcloud

    1. Pour créer une règle d'administration avec des règles booléennes, créez un fichier YAML de règle qui fait référence à la contrainte :
    2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
              spec:
                rules:
                - enforce: true
              
              dryRunSpec:
                rules:
                - enforce: true
              
            

      Remplacez les éléments suivants :

      • PROJECT_ID : projet sur lequel vous souhaitez appliquer votre contrainte.
      • CONSTRAINT_NAME : nom que vous avez défini pour la contrainte personnalisée. Exemple : custom.enableGkeAutopilot.
    3. Pour appliquer la règle d'administration en mode dry run, exécutez la commande suivante avec l'indicateur dryRunSpec :
    4.         gcloud org-policies set-policy POLICY_PATH \
                --update-mask=dryRunSpec
            

      Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

    5. Après avoir vérifié que la règle d'administration en mode simulation fonctionne comme prévu, définissez la règle active avec la commande org-policies set-policy et l'indicateur spec :
    6.         gcloud org-policies set-policy POLICY_PATH \
                --update-mask=spec
            

      Remplacez POLICY_PATH par le chemin d'accès complet au fichier YAML de votre règle d'administration. L'application de la règle peut prendre jusqu'à 15 minutes.

    Tester la règle d'administration personnalisée

    L'exemple suivant crée une contrainte et une règle personnalisées qui exigent que tous les nouveaux clusters d'un projet soient des clusters Autopilot.

    Créer la contrainte

    1. Enregistrez le fichier suivant sous le nom constraint-enable-autopilot.yaml :

      name: organizations/ORGANIZATION_ID/customConstraints/custom.enableGkeAutopilot
      resourceTypes:
      - container.googleapis.com/Cluster
      methodTypes:
      - CREATE
      condition: "resource.autopilot.enabled == false"
      actionType: DENY
      displayName: Enable GKE Autopilot
      description: All new clusters must be Autopilot clusters.
      

      Remplacez ORGANIZATION_ID par votre ID d'organisation.

      Ce fichier définit une contrainte qui refuse les opérations de création de cluster si le mode de cluster n'est pas Autopilot.

    2. Appliquez la contrainte :

      gcloud org-policies set-custom-constraint ~/constraint-enable-autopilot.yaml
      
    3. Vérifiez que la contrainte existe :

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      Le résultat ressemble à ce qui suit :

      CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                     DISPLAY_NAME
      custom.enableGkeAutopilot               DENY         CREATE         container.googleapis.com/Cluster   Enable GKE Autopilot
      ...
      

    Créer la règle

    1. Enregistrez le fichier suivant sous le nom policy-enable-autopilot.yaml :

      name: projects/PROJECT_ID/policies/custom.enableGkeAutopilot
      spec:
        rules:
        - enforce: true
      

      Remplacez PROJECT_ID par l'ID du projet.

    2. Appliquez la règle :

      gcloud org-policies set-policy ~/policy-enable-autopilot.yaml
      
    3. Vérifiez que la règle existe :

      gcloud org-policies list --project=PROJECT_ID
      

      Le résultat ressemble à ce qui suit :

      CONSTRAINT                  LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.enableGkeAutopilot   -              SET               COCsm5QGENiXi2E=
      

    Une fois la règle activée, attendez environ 15 minutes que Google Cloud commence à l'appliquer.

    Tester la stratégie

    Essayez de créer un cluster GKE standard dans le projet :

    gcloud container clusters create org-policy-test \
        --project=PROJECT_ID \
        --location=CONTROL_PLANE_LOCATION \
        --num-nodes=1
    

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet de la règle.
    • CONTROL_PLANE_LOCATION : emplacement Compute Engine du plan de contrôle de votre cluster. Indiquez une région pour les clusters régionaux ou une zone pour les clusters zonaux.

    Le résultat est le suivant :

    Operation denied by custom org policies: ["customConstraints/custom.enableGkeAutopilot": "All new clusters must be Autopilot clusters."]
    

    Exemples de règles d'administration personnalisées pour des cas d'utilisation courants

    Les exemples suivants fournissent la syntaxe de certaines contraintes personnalisées qui pourraient vous être utiles :

    Description Syntaxe de la contrainte
    Ne pas désactiver la mise à niveau automatique des nœuds pour les nouveaux pools de nœuds
    name: organizations/ORGANIZATION_ID/customConstraints/custom.enableAutoUpgrade
    resourceTypes:
    - container.googleapis.com/NodePool
    methodTypes:
    - CREATE
    condition: "resource.management.autoUpgrade == true"
    actionType: ALLOW
    displayName: Enable node auto-upgrade
    description: All node pools must have node auto-upgrade enabled.
    Limiter l'accès anonyme aux points de terminaison de cluster dans les clusters nouveaux et existants
    name: organizations/ORGANIZATION_ID/customConstraints/custom.gkeAnonymousAccessLimited
    resourceTypes:
    - container.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.anonymousAuthenticationConfig.mode == LIMITED"
    actionType: ALLOW
    displayName: "Restrict anonymous access to cluster endpoints."
    description: "All new and updated clusters must restrict anonymous access to cluster endpoints."

    Règles d'administration conditionnelles

    Vous pouvez appliquer des règles d'administration de manière conditionnelle en fonction des tags associés aux ressources. Par exemple, la règle d'administration suivante applique la contrainte custom.enableAutoUpgrade uniquement si la ressource (telle qu'un projet ou un cluster) a la balise environment définie sur dev :

    name: organizations/ORGANIZATION_ID/policies/custom.enableAutoUpgrade
    spec:
      rules:
      - condition:
          expression: "resource.matchTag('ORGANIZATION_ID/environment', 'dev')"
        enforce: true
    

    Ressources compatibles avec GKE

    Le tableau suivant répertorie les ressources GKE que vous pouvez référencer dans les contraintes personnalisées.

    Ressource Champ
    container.googleapis.com/Cluster resource.addonsConfig.cloudRunConfig.disabled
    resource.addonsConfig.cloudRunConfig.loadBalancerType
    resource.addonsConfig.configConnectorConfig.enabled
    resource.addonsConfig.dnsCacheConfig.enabled
    resource.addonsConfig.gcePersistentDiskCsiDriverConfig.enabled
    resource.addonsConfig.gcpFilestoreCsiDriverConfig.enabled
    resource.addonsConfig.gcsFuseCsiDriverConfig.enabled
    resource.addonsConfig.gkeBackupAgentConfig.enabled
    resource.addonsConfig.highScaleCheckpointingConfig.enabled
    resource.addonsConfig.horizontalPodAutoscaling.disabled
    resource.addonsConfig.httpLoadBalancing.disabled
    resource.addonsConfig.kubernetesDashboard.disabled
    resource.addonsConfig.networkPolicyConfig.disabled
    resource.addonsConfig.parallelstoreCsiDriverConfig.enabled
    resource.addonsConfig.rayOperatorConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterLoggingConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterMonitoringConfig.enabled
    resource.addonsConfig.statefulHAConfig.enabled
    resource.alphaClusterFeatureGates
    resource.anonymousAuthenticationConfig.mode
    resource.authenticatorGroupsConfig.enabled
    resource.authenticatorGroupsConfig.securityGroup
    resource.autopilot.enabled
    resource.autopilot.privilegedAdmissionConfig.allowlistPaths
    resource.autopilot.workloadPolicyConfig.allowNetAdmin
    resource.autopilot.workloadPolicyConfig.autopilotCompatibilityAuditingEnabled
    resource.autoscaling.autoprovisioningLocations
    resource.autoscaling.autoprovisioningNodePoolDefaults.bootDiskKmsKey
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskSizeGb
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskType
    resource.autoscaling.autoprovisioningNodePoolDefaults.imageType
    resource.autoscaling.autoprovisioningNodePoolDefaults.insecureKubeletReadonlyPortEnabled
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoRepair
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoUpgrade
    resource.autoscaling.autoprovisioningNodePoolDefaults.minCpuPlatform
    resource.autoscaling.autoprovisioningNodePoolDefaults.oauthScopes
    resource.autoscaling.autoprovisioningNodePoolDefaults.serviceAccount
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableSecureBoot
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxSurge
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxUnavailable
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.strategy
    resource.autoscaling.autoscalingProfile
    resource.autoscaling.enableNodeAutoprovisioning
    resource.autoscaling.resourceLimits.maximum
    resource.autoscaling.resourceLimits.minimum
    resource.autoscaling.resourceLimits.resourceType
    resource.binaryAuthorization.enabled
    resource.binaryAuthorization.evaluationMode
    resource.binaryAuthorization.policyBindings.name
    resource.clusterIpv4Cidr
    resource.compliancePostureConfig.complianceStandards.standard
    resource.compliancePostureConfig.mode
    resource.conditions.code
    resource.conditions.message
    resource.confidentialNodes.confidentialInstanceType
    resource.confidentialNodes.enabled
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.allowExternalTraffic
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.endpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.displayName
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enablePublicEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.globalAccess
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpointSubnetwork
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.publicEndpoint
    resource.costManagementConfig.enabled
    resource.currentNodeCount
    resource.databaseEncryption.keyName
    resource.databaseEncryption.state
    resource.defaultMaxPodsConstraint.maxPodsPerNode
    resource.description
    resource.enableK8sBetaApis.enabledApis
    resource.enableKubernetesAlpha
    resource.enterpriseConfig.clusterTier
    resource.fleet.membership
    resource.fleet.preRegistered
    resource.fleet.project
    resource.identityServiceConfig.enabled
    resource.initialClusterVersion
    resource.initialNodeCount
    resource.ipAllocationPolicy.clusterIpv4Cidr
    resource.ipAllocationPolicy.clusterIpv4CidrBlock
    resource.ipAllocationPolicy.clusterSecondaryRangeName
    resource.ipAllocationPolicy.createSubnetwork
    resource.ipAllocationPolicy.ipv6AccessType
    resource.ipAllocationPolicy.nodeIpv4Cidr
    resource.ipAllocationPolicy.nodeIpv4CidrBlock
    resource.ipAllocationPolicy.podCidrOverprovisionConfig.disable
    resource.ipAllocationPolicy.servicesIpv4Cidr
    resource.ipAllocationPolicy.servicesIpv4CidrBlock
    resource.ipAllocationPolicy.servicesSecondaryRangeName
    resource.ipAllocationPolicy.stackType
    resource.ipAllocationPolicy.subnetworkName
    resource.ipAllocationPolicy.tpuIpv4CidrBlock
    resource.ipAllocationPolicy.useIpAliases
    resource.ipAllocationPolicy.useRoutes
    resource.labelFingerprint
    resource.legacyAbac.enabled
    resource.location
    resource.locations
    resource.loggingConfig.componentConfig.enableComponents
    resource.loggingService
    resource.maintenancePolicy.resourceVersion
    resource.maintenancePolicy.window.dailyMaintenanceWindow.startTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].endTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.maintenanceExclusions[*].startTime
    resource.maintenancePolicy.window.recurringWindow.recurrence
    resource.maintenancePolicy.window.recurringWindow.window.endTime
    resource.maintenancePolicy.window.recurringWindow.window.maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.recurringWindow.window.startTime
    resource.masterAuth.clientCertificateConfig.issueClientCertificate
    resource.masterAuth.username
    resource.masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.masterAuthorizedNetworksConfig.cidrBlocks.displayName
    resource.masterAuthorizedNetworksConfig.enabled
    resource.masterAuthorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.masterAuthorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.meshCertificates.enableCertificates
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableMetrics
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableRelay
    resource.monitoringConfig.advancedDatapathObservabilityConfig.relayMode
    resource.monitoringConfig.componentConfig.enableComponents
    resource.monitoringConfig.managedPrometheusConfig.autoMonitoringConfig.scope
    resource.monitoringConfig.managedPrometheusConfig.enabled
    resource.monitoringService
    resource.name
    resource.network
    resource.networkConfig.datapathProvider
    resource.networkConfig.defaultEnablePrivateNodes
    resource.networkConfig.defaultSnatStatus.disabled
    resource.networkConfig.disableL4LbFirewallReconciliation
    resource.networkConfig.dnsConfig.additiveVpcScopeDnsDomain
    resource.networkConfig.dnsConfig.clusterDns
    resource.networkConfig.dnsConfig.clusterDnsDomain
    resource.networkConfig.dnsConfig.clusterDnsScope
    resource.networkConfig.enableCiliumClusterwideNetworkPolicy
    resource.networkConfig.enableFqdnNetworkPolicy
    resource.networkConfig.enableIntraNodeVisibility
    resource.networkConfig.enableL4ilbSubsetting
    resource.networkConfig.enableMultiNetworking
    resource.networkConfig.gatewayApiConfig.channel
    resource.networkConfig.inTransitEncryptionConfig
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.privateIpv6GoogleAccess
    resource.networkConfig.serviceExternalIpsConfig.enabled
    resource.networkPolicy.enabled
    resource.networkPolicy.provider
    resource.nodeConfig.accelerators.acceleratorCount
    resource.nodeConfig.accelerators.acceleratorType
    resource.nodeConfig.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.nodeConfig.accelerators.gpuPartitionSize
    resource.nodeConfig.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.nodeConfig.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.nodeConfig.advancedMachineFeatures.enableNestedVirtualization
    resource.nodeConfig.advancedMachineFeatures.performanceMonitoringUnit
    resource.nodeConfig.advancedMachineFeatures.threadsPerCore
    resource.nodeConfig.bootDiskKmsKey
    resource.nodeConfig.confidentialNodes.confidentialInstanceType
    resource.nodeConfig.confidentialNodes.enabled
    resource.nodeConfig.diskSizeGb
    resource.nodeConfig.diskType
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.nodeConfig.fastSocket.enabled
    resource.nodeConfig.flexStart
    resource.nodeConfig.gcfsConfig.enabled
    resource.nodeConfig.gvnic.enabled
    resource.nodeConfig.imageType
    resource.nodeConfig.kubeletConfig.allowedUnsafeSysctls
    resource.nodeConfig.kubeletConfig.containerLogMaxFiles
    resource.nodeConfig.kubeletConfig.containerLogMaxSize
    resource.nodeConfig.kubeletConfig.cpuCfsQuota
    resource.nodeConfig.kubeletConfig.cpuCfsQuotaPeriod
    resource.nodeConfig.kubeletConfig.cpuManagerPolicy
    resource.nodeConfig.kubeletConfig.imageGcHighThresholdPercent
    resource.nodeConfig.kubeletConfig.imageGcLowThresholdPercent
    resource.nodeConfig.kubeletConfig.imageMaximumGcAge
    resource.nodeConfig.kubeletConfig.imageMinimumGcAge
    resource.nodeConfig.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodeConfig.kubeletConfig.memoryManager.policy
    resource.nodeConfig.kubeletConfig.podPidsLimit
    resource.nodeConfig.kubeletConfig.topologyManager.policy
    resource.nodeConfig.kubeletConfig.topologyManager.scope
    resource.nodeConfig.labels
    resource.nodeConfig.linuxNodeConfig.cgroupMode
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize1g
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize2m
    resource.nodeConfig.linuxNodeConfig.sysctls
    resource.nodeConfig.localNvmeSsdBlockConfig.localSsdCount
    resource.nodeConfig.localSsdCount
    resource.nodeConfig.localSsdEncryptionMode
    resource.nodeConfig.loggingConfig.variantConfig.variant
    resource.nodeConfig.machineType
    resource.nodeConfig.maxRunDuration
    resource.nodeConfig.metadata
    resource.nodeConfig.minCpuPlatform
    resource.nodeConfig.nodeGroup
    resource.nodeConfig.oauthScopes
    resource.nodeConfig.preemptible
    resource.nodeConfig.reservationAffinity.consumeReservationType
    resource.nodeConfig.reservationAffinity.key
    resource.nodeConfig.reservationAffinity.values
    resource.nodeConfig.resourceLabels
    resource.nodeConfig.resourceManagerTags.tags
    resource.nodeConfig.sandboxConfig.type
    resource.nodeConfig.secondaryBootDisks.diskImage
    resource.nodeConfig.secondaryBootDisks.mode
    resource.nodeConfig.serviceAccount
    resource.nodeConfig.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.nodeConfig.shieldedInstanceConfig.enableSecureBoot
    resource.nodeConfig.soleTenantConfig.nodeAffinities.key
    resource.nodeConfig.soleTenantConfig.nodeAffinities.operator
    resource.nodeConfig.soleTenantConfig.nodeAffinities.values
    resource.nodeConfig.spot
    resource.nodeConfig.storagePools
    resource.nodeConfig.tags
    resource.nodeConfig.taints.effect
    resource.nodeConfig.taints.key
    resource.nodeConfig.taints.value
    resource.nodeConfig.windowsNodeConfig.osVersion
    resource.nodeConfig.workloadMetadataConfig.mode
    resource.nodePoolAutoConfig.networkTags.tags
    resource.nodePoolAutoConfig.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolAutoConfig.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.podPidsLimit
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.scope
    resource.nodePoolDefaults.nodeConfigDefaults.gcfsConfig.enabled
    resource.nodePoolDefaults.nodeConfigDefaults.loggingConfig.variantConfig.variant
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.podPidsLimit
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.scope
    resource.notificationConfig.pubsub.enabled
    resource.notificationConfig.pubsub.filter.eventType
    resource.notificationConfig.pubsub.topic
    resource.podAutoscaling.hpaProfile
    resource.privateClusterConfig.enablePrivateEndpoint
    resource.privateClusterConfig.enablePrivateNodes
    resource.privateClusterConfig.masterGlobalAccessConfig.enabled
    resource.privateClusterConfig.masterIpv4CidrBlock
    resource.privateClusterConfig.privateEndpointSubnetwork
    resource.rbacBindingConfig.enableInsecureBindingSystemAuthenticated
    resource.rbacBindingConfig.enableInsecureBindingSystemUnauthenticated
    resource.releaseChannel.channel
    resource.resourceLabels
    resource.resourceUsageExportConfig.bigqueryDestination.datasetId
    resource.resourceUsageExportConfig.consumptionMeteringConfig.enabled
    resource.resourceUsageExportConfig.enableNetworkEgressMetering
    resource.secretManagerConfig.enabled
    resource.securityPostureConfig.mode
    resource.securityPostureConfig.vulnerabilityMode
    resource.shieldedNodes.enabled
    resource.subnetwork
    resource.userManagedKeysConfig.aggregationCa
    resource.userManagedKeysConfig.clusterCa
    resource.userManagedKeysConfig.controlPlaneDiskEncryptionKey
    resource.userManagedKeysConfig.etcdApiCa
    resource.userManagedKeysConfig.etcdPeerCa
    resource.userManagedKeysConfig.gkeopsEtcdBackupEncryptionKey
    resource.userManagedKeysConfig.serviceAccountSigningKeys
    resource.userManagedKeysConfig.serviceAccountVerificationKeys
    resource.verticalPodAutoscaling.enabled
    resource.workloadIdentityConfig.workloadPool
    resource.zone
    container.googleapis.com/NodePool resource.autopilotConfig.enabled
    resource.autoscaling.autoprovisioned
    resource.autoscaling.enabled
    resource.autoscaling.locationPolicy
    resource.autoscaling.maxNodeCount
    resource.autoscaling.minNodeCount
    resource.autoscaling.totalMaxNodeCount
    resource.autoscaling.totalMinNodeCount
    resource.bestEffortProvisioning.enabled
    resource.bestEffortProvisioning.minProvisionNodes
    resource.conditions.code
    resource.conditions.message
    resource.config.accelerators.acceleratorCount
    resource.config.accelerators.acceleratorType
    resource.config.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.config.accelerators.gpuPartitionSize
    resource.config.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.config.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.config.advancedMachineFeatures.enableNestedVirtualization
    resource.config.advancedMachineFeatures.performanceMonitoringUnit
    resource.config.advancedMachineFeatures.threadsPerCore
    resource.config.bootDiskKmsKey
    resource.config.confidentialNodes.confidentialInstanceType
    resource.config.confidentialNodes.enabled
    resource.config.diskSizeGb
    resource.config.diskType
    resource.config.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.config.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.config.fastSocket.enabled
    resource.config.flexStart
    resource.config.gcfsConfig.enabled
    resource.config.gvnic.enabled
    resource.config.imageType
    resource.config.kubeletConfig.allowedUnsafeSysctls
    resource.config.kubeletConfig.containerLogMaxFiles
    resource.config.kubeletConfig.containerLogMaxSize
    resource.config.kubeletConfig.cpuCfsQuota
    resource.config.kubeletConfig.cpuCfsQuotaPeriod
    resource.config.kubeletConfig.cpuManagerPolicy
    resource.config.kubeletConfig.imageGcHighThresholdPercent
    resource.config.kubeletConfig.imageGcLowThresholdPercent
    resource.config.kubeletConfig.imageMaximumGcAge
    resource.config.kubeletConfig.imageMinimumGcAge
    resource.config.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.config.kubeletConfig.memoryManager.policy
    resource.config.kubeletConfig.podPidsLimit
    resource.config.kubeletConfig.topologyManager.policy
    resource.config.kubeletConfig.topologyManager.scope
    resource.config.labels
    resource.config.linuxNodeConfig.cgroupMode
    resource.config.linuxNodeConfig.hugepages.hugepageSize1g
    resource.config.linuxNodeConfig.hugepages.hugepageSize2m
    resource.config.linuxNodeConfig.sysctls
    resource.config.localNvmeSsdBlockConfig.localSsdCount
    resource.config.localSsdCount
    resource.config.localSsdEncryptionMode
    resource.config.loggingConfig.variantConfig.variant
    resource.config.machineType
    resource.config.maxRunDuration
    resource.config.metadata
    resource.config.minCpuPlatform
    resource.config.nodeGroup
    resource.config.oauthScopes
    resource.config.preemptible
    resource.config.reservationAffinity.consumeReservationType
    resource.config.reservationAffinity.key
    resource.config.reservationAffinity.values
    resource.config.resourceLabels
    resource.config.resourceManagerTags.tags
    resource.config.sandboxConfig.type
    resource.config.secondaryBootDisks.diskImage
    resource.config.secondaryBootDisks.mode
    resource.config.serviceAccount
    resource.config.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.config.shieldedInstanceConfig.enableSecureBoot
    resource.config.soleTenantConfig.nodeAffinities.key
    resource.config.soleTenantConfig.nodeAffinities.operator
    resource.config.soleTenantConfig.nodeAffinities.values
    resource.config.spot
    resource.config.storagePools
    resource.config.tags
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.windowsNodeConfig.osVersion
    resource.config.workloadMetadataConfig.mode
    resource.initialNodeCount
    resource.locations
    resource.management.autoRepair
    resource.management.autoUpgrade
    resource.maxPodsConstraint.maxPodsPerNode
    resource.name
    resource.networkConfig.additionalNodeNetworkConfigs.network
    resource.networkConfig.additionalNodeNetworkConfigs.subnetwork
    resource.networkConfig.additionalPodNetworkConfigs.networkAttachment
    resource.networkConfig.createPodRange
    resource.networkConfig.enablePrivateNodes
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.podIpv4CidrBlock
    resource.networkConfig.podRange
    resource.placementPolicy.policyName
    resource.placementPolicy.tpuTopology
    resource.placementPolicy.type
    resource.queuedProvisioning.enabled
    resource.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.upgradeSettings.maxSurge
    resource.upgradeSettings.maxUnavailable
    resource.upgradeSettings.strategy
    resource.version

    Étapes suivantes