Restrinja ações em recursos do GKE através de políticas da organização personalizadas

Esta página mostra como usar restrições personalizadas do serviço de políticas da organização para restringir operações específicas nos seguintes Google Cloud recursos:

  • container.googleapis.com/Cluster
  • container.googleapis.com/NodePool

Para saber mais sobre a política de organização, consulte o artigo Políticas de organização personalizadas.

Acerca das políticas e restrições da organização

O Google Cloud serviço de políticas da organização dá-lhe um controlo centralizado e programático sobre os recursos da sua organização. Enquanto administrador de políticas da organização, pode definir uma política da organização, que é um conjunto de restrições denominadas restrições que se aplicam aGoogle Cloud recursos e descendentes desses recursos na Google Cloud hierarquia de recursos. Pode aplicar políticas de organização ao nível da organização, da pasta ou do projeto.

A política da organização oferece restrições geridas incorporadas para vários serviços Google Cloud . No entanto, se quiser um controlo mais detalhado e personalizável sobre os campos específicos que estão restritos nas políticas da sua organização, também pode criar restrições personalizadas e usar essas restrições personalizadas numa política da organização.

Herança de políticas

Por predefinição, as políticas da organização são herdadas pelos descendentes dos recursos nos quais aplica a política. Por exemplo, se aplicar uma política a uma pasta, Google Cloud aplica a política a todos os projetos na pasta. Para saber mais acerca deste comportamento e como o alterar, consulte as regras de avaliação da hierarquia.

Limitações

Os seguintes campos só de saída não são suportados:

  • projects.locations.clusters.masterAuth.clientKey
  • projects.locations.clusters.masterAuth.password

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

  6. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. Se estiver a usar um fornecedor de identidade (IdP) externo, tem primeiro de iniciar sessão na CLI gcloud com a sua identidade federada.

  11. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  12. Certifique-se de que sabe o seu ID da organização.
  13. Funções necessárias

    Para receber as autorizações de que precisa para usar políticas de organização com o GKE, peça ao seu administrador que lhe conceda as seguintes funções de IAM:

    Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

    Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

    Configure uma restrição personalizada

    Uma restrição personalizada é definida num ficheiro YAML pelos recursos, métodos, condições e ações suportados pelo serviço no qual está a aplicar a política da organização. As condições para as restrições personalizadas são definidas através do Idioma de expressão comum (IEC). Para mais informações sobre como criar condições em restrições personalizadas através da CEL, consulte a secção CEL do artigo Criar e gerir restrições personalizadas.

    Consola

    Para criar uma restrição personalizada, faça o seguinte:

    1. Na Google Cloud consola, aceda à página Políticas de organização.

      Aceda às políticas da organização

    2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
    3. Clique em Restrição personalizada.
    4. Na caixa Nome a apresentar, introduza um nome legível para a restrição. Este nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use IIP nem dados confidenciais em nomes a apresentar, uma vez que este nome pode ser exposto em mensagens de erro. Este campo pode conter até 200 carateres.
    5. Na caixa ID da restrição, introduza o nome pretendido para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (incluindo maiúsculas e minúsculas) ou números, por exemplo, custom.disableGkeAutoUpgrade. Este campo pode conter até 70 carateres, sem contar com o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII nem dados confidenciais no ID da restrição, uma vez que podem ser expostos em mensagens de erro.
    6. Na caixa Descrição, introduza uma descrição legível da restrição. Esta descrição é usada como uma mensagem de erro quando a política é violada. Inclua detalhes sobre o motivo pelo qual a violação de política ocorreu e como resolvê-la. Não inclua PII nem dados confidenciais na descrição, uma vez que podem ser expostos em mensagens de erro. Este campo pode conter até 2000 carateres.
    7. Na caixa Tipo de recurso, selecione o nome do Google Cloud recurso REST que contém o objeto e o campo que quer restringir, por exemplo, container.googleapis.com/NodePool. A maioria dos tipos de recursos suporta até 20 restrições personalizadas. Se tentar criar mais restrições personalizadas, a operação falha.
    8. Em Método de aplicação, selecione se quer aplicar a restrição a um método CREATE do REST ou aos métodos CREATE e UPDATE. Se aplicar a restrição com o método UPDATE num recurso que viole a restrição, as alterações a esse recurso são bloqueadas pela política da organização, a menos que a alteração resolva a violação.
    9. Nem todos os serviços Google Cloud suportam ambos os métodos. Para ver os métodos suportados para cada serviço, encontre o serviço em Serviços suportados.

    10. Para definir uma condição, clique em Editar condição.
      1. No painel Adicionar condição, crie uma condição CEL que faça referência a um recurso de serviço suportado, por exemplo, resource.management.autoUpgrade == false. Este campo pode conter até 1000 carateres. Para ver detalhes sobre a utilização do IEC, consulte o artigo Idioma de expressão comum. Para mais informações sobre os recursos de serviço que pode usar nas suas restrições personalizadas, consulte Serviços suportados de restrições personalizadas.
      2. Clique em Guardar.
    11. Em Ação, selecione se quer permitir ou recusar o método avaliado se a condição for cumprida.
    12. A ação de recusa significa que a operação para criar ou atualizar o recurso é bloqueada se a condição for avaliada como verdadeira.

      A ação allow significa que a operação para criar ou atualizar o recurso só é permitida se a condição for avaliada como verdadeira. Todos os outros casos, exceto os explicitamente listados na condição, são bloqueados.

    13. Clique em Criar restrição.
    14. Quando tiver introduzido um valor em cada campo, a configuração YAML equivalente para esta restrição personalizada é apresentada à direita.

    gcloud

    1. Para criar uma restrição personalizada, crie um ficheiro YAML com o seguinte formato:
    2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
            resourceTypes:
            - RESOURCE_NAME
            methodTypes:
            - CREATE
      - UPDATE
      condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION

      Substitua o seguinte:

      • ORGANIZATION_ID: o ID da sua organização, como 123456789.
      • CONSTRAINT_NAME: o nome que quer para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (incluindo maiúsculas e minúsculas) ou números, por exemplo, custom.enableGkeAutopilot. Este campo pode conter até 70 carateres.
      • RESOURCE_NAME: o nome totalmente qualificado do recurso que contém o objeto e o campo que quer restringir. Google CloudPor exemplo, container.googleapis.com/Cluster.
      • CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo pode conter até 1000 carateres. Por exemplo, "resource.autopilot.enabled == false".
      • Para mais informações sobre os recursos disponíveis para escrever condições, consulte o artigo Recursos suportados.

      • ACTION: a ação a realizar se a condição condition for cumprida. Os valores possíveis são ALLOW e DENY.
      • A ação allow significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso é permitida. Isto também significa que todos os outros casos, exceto o que está explicitamente listado na condição, são bloqueados.

        A ação de recusa significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso é bloqueada.

      • DISPLAY_NAME: um nome intuitivo para a restrição. Este campo pode conter até 200 carateres.
      • DESCRIPTION: uma descrição simples da restrição a apresentar como uma mensagem de erro quando a política é violada. Este campo pode conter até 2000 carateres.
    3. Depois de criar o ficheiro YAML para uma nova restrição personalizada, tem de o configurar para o disponibilizar para as políticas da organização na sua organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:
    4.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH
            

      Substitua CONSTRAINT_PATH pelo caminho completo para o ficheiro de restrição personalizado. Por exemplo, /home/user/customconstraint.yaml.

      Após a conclusão desta operação, as restrições personalizadas ficam disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização.

    5. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:
    6.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
            

      Substitua ORGANIZATION_ID pelo ID do recurso da sua organização.

      Para mais informações, consulte o artigo Ver políticas da organização.

    Aplique uma política da organização personalizada

    Pode aplicar uma restrição criando uma política da organização que a referencie e, em seguida, aplicando essa política da organização a um Google Cloud recurso.

    Consola

    1. Na Google Cloud consola, aceda à página Políticas de organização.

      Aceda às políticas da organização

    2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
    3. Na lista da página Políticas da organização, selecione a restrição para ver a página Detalhes da política dessa restrição.
    4. Para configurar a política da organização para este recurso, clique em Gerir política.
    5. Na página Editar política, selecione Substituir política do elemento principal.
    6. Clique em Adicionar regra.
    7. Na secção Aplicação, selecione se esta política de organização é aplicada ou não.
    8. Opcional: para tornar a política de organização condicional a uma etiqueta, clique em Adicionar condição. Tenha em atenção que, se adicionar uma regra condicional a uma política da organização, tem de adicionar, pelo menos, uma regra incondicional. Caso contrário, não é possível guardar a política. Para mais informações, consulte Definir uma política de organização com etiquetas.
    9. Clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte o artigo Teste as alterações da política da organização com o simulador de políticas.
    10. Para aplicar a política da organização no modo de execução de ensaio, clique em Definir política de execução de ensaio. Para mais informações, consulte Crie uma política de organização no modo de teste.
    11. Depois de verificar que a política da organização no modo de teste funciona como pretendido, defina a política ativa clicando em Definir política.

    gcloud

    1. Para criar uma política da organização com regras booleanas, crie um ficheiro YAML de política que faça referência à restrição:
    2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
              spec:
                rules:
                - enforce: true
              
              dryRunSpec:
                rules:
                - enforce: true
              
            

      Substitua o seguinte:

      • PROJECT_ID: o projeto no qual quer aplicar a restrição.
      • CONSTRAINT_NAME: o nome que definiu para a restrição personalizada. Por exemplo, custom.enableGkeAutopilot.
    3. Para aplicar a política da organização no modo de teste, execute o seguinte comando com a flag dryRunSpec:
    4.         gcloud org-policies set-policy POLICY_PATH \
                --update-mask=dryRunSpec
            

      Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

    5. Depois de verificar que a política da organização no modo de teste funciona como pretendido, defina a política ativa com o comando org-policies set-policy e a flag spec:
    6.         gcloud org-policies set-policy POLICY_PATH \
                --update-mask=spec
            

      Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

    Teste a política da organização personalizada

    O exemplo seguinte cria uma restrição e uma política personalizadas que exigem que todos os novos clusters num projeto sejam clusters do Autopilot.

    Crie a restrição

    1. Guarde o seguinte ficheiro como constraint-enable-autopilot.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.enableGkeAutopilot
      resourceTypes:
      - container.googleapis.com/Cluster
      methodTypes:
      - CREATE
      condition: "resource.autopilot.enabled == false"
      actionType: DENY
      displayName: Enable GKE Autopilot
      description: All new clusters must be Autopilot clusters.
      

      Substitua ORGANIZATION_ID pelo ID da sua organização.

      Este ficheiro define uma restrição em que, para cada novo cluster, se o modo de cluster não for o Autopilot, a operação é recusada.

    2. Aplique a restrição:

      gcloud org-policies set-custom-constraint ~/constraint-enable-autopilot.yaml
      
    3. Verifique se a restrição existe:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      O resultado é semelhante ao seguinte:

      CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                     DISPLAY_NAME
      custom.enableGkeAutopilot               DENY         CREATE         container.googleapis.com/Cluster   Enable GKE Autopilot
      ...
      

    Crie a política

    1. Guarde o seguinte ficheiro como policy-enable-autopilot.yaml:

      name: projects/PROJECT_ID/policies/custom.enableGkeAutopilot
      spec:
        rules:
        - enforce: true
      

      Substitua PROJECT_ID pelo ID do seu projeto.

    2. Aplique a política:

      gcloud org-policies set-policy ~/policy-enable-autopilot.yaml
      
    3. Verifique se a política existe:

      gcloud org-policies list --project=PROJECT_ID
      

      O resultado é semelhante ao seguinte:

      CONSTRAINT                  LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.enableGkeAutopilot   -              SET               COCsm5QGENiXi2E=
      

    Depois de aplicar a política, aguarde cerca de dois minutos para que Google Cloud comece a aplicar a política.

    Teste a política

    Tente criar um cluster padrão do GKE no projeto:

    gcloud container clusters create org-policy-test \
        --project=PROJECT_ID \
        --location=CONTROL_PLANE_LOCATION \
        --num-nodes=1
    

    Substitua o seguinte:

    • PROJECT_ID: o ID do projeto do projeto da política.
    • CONTROL_PLANE_LOCATION: a localização do Compute Engine do plano de controlo do seu cluster. Indique uma região para clusters regionais ou uma zona para clusters zonais.

    O resultado é o seguinte:

    Operation denied by custom org policies: ["customConstraints/custom.enableGkeAutopilot": "All new clusters must be Autopilot clusters."]
    

    Exemplos de políticas da organização personalizadas para exemplos de utilização comuns

    Os exemplos seguintes fornecem a sintaxe de algumas restrições personalizadas que pode considerar úteis:

    Descrição Sintaxe de restrição
    Não desative a atualização automática de nós para novos conjuntos de nós
    name: organizations/ORGANIZATION_ID/customConstraints/custom.enableAutoUpgrade
    resourceTypes:
    - container.googleapis.com/NodePool
    methodTypes:
    - CREATE
    condition: "resource.management.autoUpgrade == true"
    actionType: ALLOW
    displayName: Enable node auto-upgrade
    description: All node pools must have node auto-upgrade enabled.
    Restrinja o acesso anónimo a pontos finais de clusters em clusters novos e existentes
    name: organizations/ORGANIZATION_ID/customConstraints/custom.gkeAnonymousAccessLimited
    resourceTypes:
    - container.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.anonymousAuthenticationConfig.mode == LIMITED"
    actionType: ALLOW
    displayName: "Restrict anonymous access to cluster endpoints."
    description: "All new and updated clusters must restrict anonymous access to cluster endpoints."

    Políticas da organização condicionais

    Pode aplicar condicionalmente políticas da organização com base nas etiquetas anexadas aos recursos. Por exemplo, a seguinte política da organização aplica a restrição custom.enableAutoUpgrade apenas se o recurso (como um projeto ou um cluster) tiver a etiqueta environment definida como dev:

    name: organizations/ORGANIZATION_ID/policies/custom.enableAutoUpgrade
    spec:
      rules:
      - condition:
          expression: "resource.matchTag('ORGANIZATION_ID/environment', 'dev')"
        enforce: true
    

    Recursos suportados do GKE

    A tabela seguinte apresenta os recursos do GKE que pode referenciar em restrições personalizadas.

    Recurso Campo
    container.googleapis.com/Cluster resource.addonsConfig.cloudRunConfig.disabled
    resource.addonsConfig.cloudRunConfig.loadBalancerType
    resource.addonsConfig.configConnectorConfig.enabled
    resource.addonsConfig.dnsCacheConfig.enabled
    resource.addonsConfig.gcePersistentDiskCsiDriverConfig.enabled
    resource.addonsConfig.gcpFilestoreCsiDriverConfig.enabled
    resource.addonsConfig.gcsFuseCsiDriverConfig.enabled
    resource.addonsConfig.gkeBackupAgentConfig.enabled
    resource.addonsConfig.highScaleCheckpointingConfig.enabled
    resource.addonsConfig.horizontalPodAutoscaling.disabled
    resource.addonsConfig.httpLoadBalancing.disabled
    resource.addonsConfig.kubernetesDashboard.disabled
    resource.addonsConfig.networkPolicyConfig.disabled
    resource.addonsConfig.parallelstoreCsiDriverConfig.enabled
    resource.addonsConfig.rayOperatorConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterLoggingConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterMonitoringConfig.enabled
    resource.addonsConfig.statefulHAConfig.enabled
    resource.alphaClusterFeatureGates
    resource.anonymousAuthenticationConfig.mode
    resource.authenticatorGroupsConfig.enabled
    resource.authenticatorGroupsConfig.securityGroup
    resource.autopilot.enabled
    resource.autopilot.privilegedAdmissionConfig.allowlistPaths
    resource.autopilot.workloadPolicyConfig.allowNetAdmin
    resource.autopilot.workloadPolicyConfig.autopilotCompatibilityAuditingEnabled
    resource.autoscaling.autoprovisioningLocations
    resource.autoscaling.autoprovisioningNodePoolDefaults.bootDiskKmsKey
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskSizeGb
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskType
    resource.autoscaling.autoprovisioningNodePoolDefaults.imageType
    resource.autoscaling.autoprovisioningNodePoolDefaults.insecureKubeletReadonlyPortEnabled
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoRepair
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoUpgrade
    resource.autoscaling.autoprovisioningNodePoolDefaults.minCpuPlatform
    resource.autoscaling.autoprovisioningNodePoolDefaults.oauthScopes
    resource.autoscaling.autoprovisioningNodePoolDefaults.serviceAccount
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableSecureBoot
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxSurge
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxUnavailable
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.strategy
    resource.autoscaling.autoscalingProfile
    resource.autoscaling.enableNodeAutoprovisioning
    resource.autoscaling.resourceLimits.maximum
    resource.autoscaling.resourceLimits.minimum
    resource.autoscaling.resourceLimits.resourceType
    resource.binaryAuthorization.enabled
    resource.binaryAuthorization.evaluationMode
    resource.binaryAuthorization.policyBindings.name
    resource.clusterIpv4Cidr
    resource.compliancePostureConfig.complianceStandards.standard
    resource.compliancePostureConfig.mode
    resource.conditions.code
    resource.conditions.message
    resource.confidentialNodes.confidentialInstanceType
    resource.confidentialNodes.enabled
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.allowExternalTraffic
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.endpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.displayName
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enablePublicEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.globalAccess
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpointSubnetwork
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.publicEndpoint
    resource.costManagementConfig.enabled
    resource.currentNodeCount
    resource.databaseEncryption.keyName
    resource.databaseEncryption.state
    resource.defaultMaxPodsConstraint.maxPodsPerNode
    resource.description
    resource.enableK8sBetaApis.enabledApis
    resource.enableKubernetesAlpha
    resource.enterpriseConfig.clusterTier
    resource.fleet.membership
    resource.fleet.preRegistered
    resource.fleet.project
    resource.identityServiceConfig.enabled
    resource.initialClusterVersion
    resource.initialNodeCount
    resource.ipAllocationPolicy.clusterIpv4Cidr
    resource.ipAllocationPolicy.clusterIpv4CidrBlock
    resource.ipAllocationPolicy.clusterSecondaryRangeName
    resource.ipAllocationPolicy.createSubnetwork
    resource.ipAllocationPolicy.ipv6AccessType
    resource.ipAllocationPolicy.nodeIpv4Cidr
    resource.ipAllocationPolicy.nodeIpv4CidrBlock
    resource.ipAllocationPolicy.podCidrOverprovisionConfig.disable
    resource.ipAllocationPolicy.servicesIpv4Cidr
    resource.ipAllocationPolicy.servicesIpv4CidrBlock
    resource.ipAllocationPolicy.servicesSecondaryRangeName
    resource.ipAllocationPolicy.stackType
    resource.ipAllocationPolicy.subnetworkName
    resource.ipAllocationPolicy.tpuIpv4CidrBlock
    resource.ipAllocationPolicy.useIpAliases
    resource.ipAllocationPolicy.useRoutes
    resource.labelFingerprint
    resource.legacyAbac.enabled
    resource.location
    resource.locations
    resource.loggingConfig.componentConfig.enableComponents
    resource.loggingService
    resource.maintenancePolicy.resourceVersion
    resource.maintenancePolicy.window.dailyMaintenanceWindow.startTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].endTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.maintenanceExclusions[*].startTime
    resource.maintenancePolicy.window.recurringWindow.recurrence
    resource.maintenancePolicy.window.recurringWindow.window.endTime
    resource.maintenancePolicy.window.recurringWindow.window.maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.recurringWindow.window.startTime
    resource.masterAuth.clientCertificateConfig.issueClientCertificate
    resource.masterAuth.username
    resource.masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.masterAuthorizedNetworksConfig.cidrBlocks.displayName
    resource.masterAuthorizedNetworksConfig.enabled
    resource.masterAuthorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.masterAuthorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.meshCertificates.enableCertificates
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableMetrics
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableRelay
    resource.monitoringConfig.advancedDatapathObservabilityConfig.relayMode
    resource.monitoringConfig.componentConfig.enableComponents
    resource.monitoringConfig.managedPrometheusConfig.autoMonitoringConfig.scope
    resource.monitoringConfig.managedPrometheusConfig.enabled
    resource.monitoringService
    resource.name
    resource.network
    resource.networkConfig.datapathProvider
    resource.networkConfig.defaultEnablePrivateNodes
    resource.networkConfig.defaultSnatStatus.disabled
    resource.networkConfig.disableL4LbFirewallReconciliation
    resource.networkConfig.dnsConfig.additiveVpcScopeDnsDomain
    resource.networkConfig.dnsConfig.clusterDns
    resource.networkConfig.dnsConfig.clusterDnsDomain
    resource.networkConfig.dnsConfig.clusterDnsScope
    resource.networkConfig.enableCiliumClusterwideNetworkPolicy
    resource.networkConfig.enableFqdnNetworkPolicy
    resource.networkConfig.enableIntraNodeVisibility
    resource.networkConfig.enableL4ilbSubsetting
    resource.networkConfig.enableMultiNetworking
    resource.networkConfig.gatewayApiConfig.channel
    resource.networkConfig.inTransitEncryptionConfig
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.privateIpv6GoogleAccess
    resource.networkConfig.serviceExternalIpsConfig.enabled
    resource.networkPolicy.enabled
    resource.networkPolicy.provider
    resource.nodeConfig.accelerators.acceleratorCount
    resource.nodeConfig.accelerators.acceleratorType
    resource.nodeConfig.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.nodeConfig.accelerators.gpuPartitionSize
    resource.nodeConfig.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.nodeConfig.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.nodeConfig.advancedMachineFeatures.enableNestedVirtualization
    resource.nodeConfig.advancedMachineFeatures.performanceMonitoringUnit
    resource.nodeConfig.advancedMachineFeatures.threadsPerCore
    resource.nodeConfig.bootDiskKmsKey
    resource.nodeConfig.confidentialNodes.confidentialInstanceType
    resource.nodeConfig.confidentialNodes.enabled
    resource.nodeConfig.diskSizeGb
    resource.nodeConfig.diskType
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.nodeConfig.fastSocket.enabled
    resource.nodeConfig.flexStart
    resource.nodeConfig.gcfsConfig.enabled
    resource.nodeConfig.gvnic.enabled
    resource.nodeConfig.imageType
    resource.nodeConfig.kubeletConfig.allowedUnsafeSysctls
    resource.nodeConfig.kubeletConfig.containerLogMaxFiles
    resource.nodeConfig.kubeletConfig.containerLogMaxSize
    resource.nodeConfig.kubeletConfig.cpuCfsQuota
    resource.nodeConfig.kubeletConfig.cpuCfsQuotaPeriod
    resource.nodeConfig.kubeletConfig.cpuManagerPolicy
    resource.nodeConfig.kubeletConfig.imageGcHighThresholdPercent
    resource.nodeConfig.kubeletConfig.imageGcLowThresholdPercent
    resource.nodeConfig.kubeletConfig.imageMaximumGcAge
    resource.nodeConfig.kubeletConfig.imageMinimumGcAge
    resource.nodeConfig.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodeConfig.kubeletConfig.memoryManager.policy
    resource.nodeConfig.kubeletConfig.podPidsLimit
    resource.nodeConfig.kubeletConfig.topologyManager.policy
    resource.nodeConfig.kubeletConfig.topologyManager.scope
    resource.nodeConfig.labels
    resource.nodeConfig.linuxNodeConfig.cgroupMode
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize1g
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize2m
    resource.nodeConfig.linuxNodeConfig.sysctls
    resource.nodeConfig.localNvmeSsdBlockConfig.localSsdCount
    resource.nodeConfig.localSsdCount
    resource.nodeConfig.localSsdEncryptionMode
    resource.nodeConfig.loggingConfig.variantConfig.variant
    resource.nodeConfig.machineType
    resource.nodeConfig.maxRunDuration
    resource.nodeConfig.metadata
    resource.nodeConfig.minCpuPlatform
    resource.nodeConfig.nodeGroup
    resource.nodeConfig.oauthScopes
    resource.nodeConfig.preemptible
    resource.nodeConfig.reservationAffinity.consumeReservationType
    resource.nodeConfig.reservationAffinity.key
    resource.nodeConfig.reservationAffinity.values
    resource.nodeConfig.resourceLabels
    resource.nodeConfig.resourceManagerTags.tags
    resource.nodeConfig.sandboxConfig.type
    resource.nodeConfig.secondaryBootDisks.diskImage
    resource.nodeConfig.secondaryBootDisks.mode
    resource.nodeConfig.serviceAccount
    resource.nodeConfig.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.nodeConfig.shieldedInstanceConfig.enableSecureBoot
    resource.nodeConfig.soleTenantConfig.nodeAffinities.key
    resource.nodeConfig.soleTenantConfig.nodeAffinities.operator
    resource.nodeConfig.soleTenantConfig.nodeAffinities.values
    resource.nodeConfig.spot
    resource.nodeConfig.storagePools
    resource.nodeConfig.tags
    resource.nodeConfig.taints.effect
    resource.nodeConfig.taints.key
    resource.nodeConfig.taints.value
    resource.nodeConfig.windowsNodeConfig.osVersion
    resource.nodeConfig.workloadMetadataConfig.mode
    resource.nodePoolAutoConfig.networkTags.tags
    resource.nodePoolAutoConfig.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolAutoConfig.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.podPidsLimit
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.scope
    resource.nodePoolDefaults.nodeConfigDefaults.gcfsConfig.enabled
    resource.nodePoolDefaults.nodeConfigDefaults.loggingConfig.variantConfig.variant
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.podPidsLimit
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.scope
    resource.notificationConfig.pubsub.enabled
    resource.notificationConfig.pubsub.filter.eventType
    resource.notificationConfig.pubsub.topic
    resource.podAutoscaling.hpaProfile
    resource.privateClusterConfig.enablePrivateEndpoint
    resource.privateClusterConfig.enablePrivateNodes
    resource.privateClusterConfig.masterGlobalAccessConfig.enabled
    resource.privateClusterConfig.masterIpv4CidrBlock
    resource.privateClusterConfig.privateEndpointSubnetwork
    resource.rbacBindingConfig.enableInsecureBindingSystemAuthenticated
    resource.rbacBindingConfig.enableInsecureBindingSystemUnauthenticated
    resource.releaseChannel.channel
    resource.resourceLabels
    resource.resourceUsageExportConfig.bigqueryDestination.datasetId
    resource.resourceUsageExportConfig.consumptionMeteringConfig.enabled
    resource.resourceUsageExportConfig.enableNetworkEgressMetering
    resource.secretManagerConfig.enabled
    resource.securityPostureConfig.mode
    resource.securityPostureConfig.vulnerabilityMode
    resource.shieldedNodes.enabled
    resource.subnetwork
    resource.userManagedKeysConfig.aggregationCa
    resource.userManagedKeysConfig.clusterCa
    resource.userManagedKeysConfig.controlPlaneDiskEncryptionKey
    resource.userManagedKeysConfig.etcdApiCa
    resource.userManagedKeysConfig.etcdPeerCa
    resource.userManagedKeysConfig.gkeopsEtcdBackupEncryptionKey
    resource.userManagedKeysConfig.serviceAccountSigningKeys
    resource.userManagedKeysConfig.serviceAccountVerificationKeys
    resource.verticalPodAutoscaling.enabled
    resource.workloadIdentityConfig.workloadPool
    resource.zone
    container.googleapis.com/NodePool resource.autopilotConfig.enabled
    resource.autoscaling.autoprovisioned
    resource.autoscaling.enabled
    resource.autoscaling.locationPolicy
    resource.autoscaling.maxNodeCount
    resource.autoscaling.minNodeCount
    resource.autoscaling.totalMaxNodeCount
    resource.autoscaling.totalMinNodeCount
    resource.bestEffortProvisioning.enabled
    resource.bestEffortProvisioning.minProvisionNodes
    resource.conditions.code
    resource.conditions.message
    resource.config.accelerators.acceleratorCount
    resource.config.accelerators.acceleratorType
    resource.config.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.config.accelerators.gpuPartitionSize
    resource.config.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.config.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.config.advancedMachineFeatures.enableNestedVirtualization
    resource.config.advancedMachineFeatures.performanceMonitoringUnit
    resource.config.advancedMachineFeatures.threadsPerCore
    resource.config.bootDiskKmsKey
    resource.config.confidentialNodes.confidentialInstanceType
    resource.config.confidentialNodes.enabled
    resource.config.diskSizeGb
    resource.config.diskType
    resource.config.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.config.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.config.fastSocket.enabled
    resource.config.flexStart
    resource.config.gcfsConfig.enabled
    resource.config.gvnic.enabled
    resource.config.imageType
    resource.config.kubeletConfig.allowedUnsafeSysctls
    resource.config.kubeletConfig.containerLogMaxFiles
    resource.config.kubeletConfig.containerLogMaxSize
    resource.config.kubeletConfig.cpuCfsQuota
    resource.config.kubeletConfig.cpuCfsQuotaPeriod
    resource.config.kubeletConfig.cpuManagerPolicy
    resource.config.kubeletConfig.imageGcHighThresholdPercent
    resource.config.kubeletConfig.imageGcLowThresholdPercent
    resource.config.kubeletConfig.imageMaximumGcAge
    resource.config.kubeletConfig.imageMinimumGcAge
    resource.config.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.config.kubeletConfig.memoryManager.policy
    resource.config.kubeletConfig.podPidsLimit
    resource.config.kubeletConfig.topologyManager.policy
    resource.config.kubeletConfig.topologyManager.scope
    resource.config.labels
    resource.config.linuxNodeConfig.cgroupMode
    resource.config.linuxNodeConfig.hugepages.hugepageSize1g
    resource.config.linuxNodeConfig.hugepages.hugepageSize2m
    resource.config.linuxNodeConfig.sysctls
    resource.config.localNvmeSsdBlockConfig.localSsdCount
    resource.config.localSsdCount
    resource.config.localSsdEncryptionMode
    resource.config.loggingConfig.variantConfig.variant
    resource.config.machineType
    resource.config.maxRunDuration
    resource.config.metadata
    resource.config.minCpuPlatform
    resource.config.nodeGroup
    resource.config.oauthScopes
    resource.config.preemptible
    resource.config.reservationAffinity.consumeReservationType
    resource.config.reservationAffinity.key
    resource.config.reservationAffinity.values
    resource.config.resourceLabels
    resource.config.resourceManagerTags.tags
    resource.config.sandboxConfig.type
    resource.config.secondaryBootDisks.diskImage
    resource.config.secondaryBootDisks.mode
    resource.config.serviceAccount
    resource.config.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.config.shieldedInstanceConfig.enableSecureBoot
    resource.config.soleTenantConfig.nodeAffinities.key
    resource.config.soleTenantConfig.nodeAffinities.operator
    resource.config.soleTenantConfig.nodeAffinities.values
    resource.config.spot
    resource.config.storagePools
    resource.config.tags
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.windowsNodeConfig.osVersion
    resource.config.workloadMetadataConfig.mode
    resource.initialNodeCount
    resource.locations
    resource.management.autoRepair
    resource.management.autoUpgrade
    resource.maxPodsConstraint.maxPodsPerNode
    resource.name
    resource.networkConfig.additionalNodeNetworkConfigs.network
    resource.networkConfig.additionalNodeNetworkConfigs.subnetwork
    resource.networkConfig.additionalPodNetworkConfigs.networkAttachment
    resource.networkConfig.createPodRange
    resource.networkConfig.enablePrivateNodes
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.podIpv4CidrBlock
    resource.networkConfig.podRange
    resource.placementPolicy.policyName
    resource.placementPolicy.tpuTopology
    resource.placementPolicy.type
    resource.queuedProvisioning.enabled
    resource.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.upgradeSettings.maxSurge
    resource.upgradeSettings.maxUnavailable
    resource.upgradeSettings.strategy
    resource.version

    O que se segue?