Configurar clusters Standard para usar o Autopilot por padrão

É possível configurar clusters do Google Kubernetes Engine (GKE) Standard para funcionar de maneira semelhante aos clusters do modo Autopilot, ativando configurações de cluster, como a ComputeClass padrão, as políticas de segurança de cluster do Autopilot e a redução da escala a zero do cluster.

Este documento é destinado a administradores de plataforma e engenheiros de segurança que querem aproveitar todos os benefícios do modo Autopilot em um cluster padrão com a flexibilidade de modificar ou desativar configurações individuais. Se você não precisar dessa flexibilidade, crie um cluster dedicado do Autopilot.

Você já deve estar familiarizado com estes conceitos:

Configurações do cluster do Autopilot

Para configurar um cluster Standard para funcionar como um cluster do Autopilot, defina todas as seguintes configurações:

  • ComputeClass do Autopilot como padrão do cluster: defina uma das ComputeClasses integradas do Autopilot. Os pods que não selecionarem uma ComputeClass serão executados usando a ComputeClass padrão especificada. Todas as ComputeClasses integradas usam o modo Autopilot e o modelo de faturamento baseado em pods.
  • Escalonar automaticamente o cluster para zero nós: configure o escalonador automático de clusters para escalonar o cluster para zero nós quando não houver cargas de trabalho de usuário ativas no cluster. Se quiser, ajuste o período de atraso antes que o escalonador automático reduza o cluster para zero nós.
  • Zero nós iniciais: durante a criação do cluster, evite a criação automática de um pool de nós padrão. Para clusters atuais, exclua todos os pools de nós criados manualmente.
  • Políticas de segurança de clusters do Autopilot: aplique todas as políticas de segurança do Autopilot. Essas políticas ajudam a proteger as cargas de trabalho e as identidades do sistema.

É possível modificar o cluster para alterar qualquer uma dessas configurações de maneira independente das outras. Por exemplo, se você precisar criar manualmente um pool de nós, desative a política de segurança do cluster do Autopilot correspondente sem alterar nenhuma das outras configurações.

Considerações sobre flexibilidade e segurança

Quando você cria um cluster do Autopilot, o modo de cluster é permanente. As configurações do cluster, como escalonamento para zero nós, impedimento da criação manual de pools de nós e as várias restrições de segurança, são imutáveis. No entanto, ao configurar um cluster Standard para usar todas as configurações de um cluster do Autopilot, as configurações são mutáveis. Qualquer pessoa com acesso para modificar as configurações do cluster pode alterar ou desativar configurações individuais.

Para aplicar o uso dessas configurações em uma organização, pasta ou projeto, os administradores da organização podem usar uma restrição de política da organização personalizada. Para mais informações, consulte a seção Aplicar as configurações do Autopilot com políticas personalizadas da organização deste documento.

Limitações

Se você configurar Confidential GKE Nodes no nível do cluster, o GKE vai ignorar o comando para usar uma ComputeClass do Autopilot como padrão do cluster.

Antes de começar

Antes de começar, verifique se você realizou as tarefas a seguir:

  • Ative a API Google Kubernetes Engine.
  • Ativar a API Google Kubernetes Engine
  • Para usar a Google Cloud CLI nesta tarefa, instale e inicialize a CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando o comando gcloud components update. Talvez as versões anteriores da CLI gcloud não sejam compatíveis com a execução dos comandos neste documento.
  • Verifique se você tem um cluster padrão que atende a todos os requisitos.

Requisitos

Para usar todos os recursos do Autopilot em um cluster padrão, seu cluster precisa atender aos seguintes requisitos:

  • O cluster precisa executar o GKE versão 1.37.1-gke.3020000 ou posterior. Os requisitos de versão para configurações individuais são os seguintes:

    • Para definir uma ComputeClass integrada do Autopilot como padrão do cluster, o cluster precisa executar a versão 1.37.1-gke.1380000 ou posterior do GKE.
    • Para criar um cluster com zero nós iniciais, ele precisa executar a versão 1.37.1-gke.1153000 ou mais recente do GKE.
    • Para configurar o escalonador automático de cluster para escalonar o cluster para zero nós, o cluster precisa executar o GKE versão 1.37.1-gke.3020000 ou posterior.

    Para fazer upgrade do cluster para uma versão compatível, consulte Fazer upgrade manual do plano de controle ou dos pools de nós de um cluster.

  • O cluster precisa atender a todos os requisitos para usar as ComputeClasses do Autopilot. Para verificar se o cluster atende a esses requisitos, consulte Executar cargas de trabalho no modo Autopilot em clusters Standard.

Papéis e permissões necessárias

Para receber as permissões necessárias para criar ou atualizar clusters para usar o modo Autopilot, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto do Google Cloud :

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Criar um cluster Standard que usa o modo Autopilot

Para criar um novo cluster Standard que use todas as configurações do Autopilot, execute o seguinte comando:

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Substitua:

  • CLUSTER_NAME: um nome para o novo cluster.
  • CONTROL_PLANE_LOCATION: uma região para o plano de controle do cluster, como us-central1.
  • BUILT_IN_COMPUTECLASS_NAME: a ComputeClass integrada a ser usada como padrão do cluster, como autopilot.

Se quiser, ajuste o período de atraso antes que o escalonador automático de clusters escalone o cluster para zero nós usando a flag --cluster-scale-to-zero-delay:

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Substitua SCALE_TO_ZERO_DELAY pela duração do atraso. Esse valor precisa especificar um número inteiro e uma unidade de tempo, como 0s, 1m ou 3h. O atraso máximo é de 3 horas. Se você não especificar a flag --cluster-scale-to-zero-delay, o atraso padrão será de 3 horas.

Se o comando de criação do cluster falhar e exibir uma mensagem de erro, verifique a mensagem de erro para mais informações. Os erros mais comuns são:

  • Seu cluster usa uma versão que não é compatível com uma das flags especificadas. Para resolver esse erro, atualize o cluster para a versão mínima necessária, conforme especificado na seção Requisitos.
  • Você especificou flags de configuração do pool de nós (como a flag --machine-type) no comando de criação do cluster. Como o novo cluster não tem um pool de nós inicial, não é possível especificar flags de configuração do pool de nós. Para resolver esse erro, remova as flags de configuração do pool de nós do comando.
  • Você especificou o nome de uma ComputeClass personalizada para a flag --default-compute-class. Para resolver esse erro, especifique uma das ComputeClasses integradas do Autopilot.

Atualizar um cluster Standard para usar o modo Autopilot

É possível modificar um cluster Standard para usar o modo Autopilot. Esse processo envolve mudanças potencialmente disruptivas nas cargas de trabalho, como a exclusão de pools de nós criados manualmente. Siga estas etapas durante um período de manutenção programada.

  1. Verifique se o cluster atende a todos os requisitos deste documento.

  2. Revise o cluster e faça as alterações necessárias para evitar conflitos com as políticas de cluster do Autopilot. Para mais informações sobre as possíveis mudanças, consulte Políticas compatíveis.

  3. Quando você define uma ComputeClass do Autopilot como padrão do cluster, os pods recebidos que não selecionam uma ComputeClass diferente se tornam cargas de trabalho do Autopilot. Verifique se as cargas de trabalho que não selecionam uma ComputeClass têm as seguintes propriedades:

    • Verifique se as cargas de trabalho obedecem às restrições de segurança do Autopilot ou configure uma lista de permissões para cargas de trabalho privilegiadas.
    • Encontre e remova os seletores de nós cloud.google.com/gke-nodepool ou as regras de afinidade de nós dos pods.
    • Verifique se algum namespace tem o rótulo cloud.google.com/default-compute-class ou cloud.google.com/default-compute-class-non-daemonset. As ComputeClasses padrão no nível do namespace têm precedência sobre a ComputeClass padrão no nível do cluster.
  4. Verifique se o cluster tem uma ComputeClass personalizada chamada default:

    kubectl get computeclass default -o yaml
    

    Se a saída estiver em branco, pule para a próxima etapa. Se a default ComputeClass existir, a saída será semelhante a esta:

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    

    Na saída, se a anotação cloud.google.com/gke-managed-default-compute-class: "true" estiver no campo metadata.annotations, pule para a próxima etapa. Se essa anotação não existir, exclua o ComputeClass:

    kubectl delete computeclass default
    
  5. Encontre e exclua todos os pools de nós criados manualmente no cluster.

  6. Ative as configurações do Autopilot para o cluster:

    1. Defina a ComputeClass padrão do cluster como uma ComputeClass integrada:

      gcloud container clusters update CLUSTER_NAME \
          --location=CONTROL_PLANE_LOCATION \
          --default-compute-class=BUILT_IN_COMPUTECLASS_NAME
      

      Substitua:

      • CLUSTER_NAME: o nome do cluster padrão atual.
      • CONTROL_PLANE_LOCATION: a região do plano de controle do cluster.
      • BUILT_IN_COMPUTECLASS_NAME: a ComputeClass integrada do Autopilot para usar como padrão do cluster, como autopilot.
      1. Ative o escalonamento automático de clusters e permita que o escalonador automático dimensione o cluster para zero nós:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero
        

        Se quiser, ajuste o período de atraso antes que o escalonador automático de clusters escalone o cluster para zero nós usando a flag --cluster-scale-to-zero-delay:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero \
            --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY
        

        Substitua SCALE_TO_ZERO_DELAY pela duração do atraso. Esse valor precisa especificar um número inteiro e uma unidade de tempo, como 0s, 1m ou 3h. O atraso máximo é de 3 horas. Se você não especificar a flag --cluster-scale-to-zero-delay, o atraso padrão será de 3 horas.

      2. Ative as políticas de cluster do Autopilot:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
        

    Se algum dos comandos de atualização do cluster falhar e exibir uma mensagem de erro, verifique a mensagem de erro para mais informações. Os erros mais comuns são:

    • Seu cluster usa uma versão que não é compatível com uma das flags especificadas. Para resolver esse erro, faça upgrade do cluster para a versão mínima exigida, conforme especificado na seção Requisitos.
    • Você especificou o nome de uma ComputeClass personalizada para a flag --default-compute-class. Para resolver esse erro, especifique uma das ComputeClasses integradas do Autopilot.
    • O cluster tem pools de nós criados manualmente, então o GKE não pode aplicar a política no-standard-node-pools. Para resolver esse erro, exclua os pools de nós criados manualmente.

Verificar se o cluster usa o modo Autopilot

Depois de configurar o cluster novo ou atual, verifique se as configurações do Autopilot estão ativas:

  1. Verifique se as configurações padrão de ComputeClass, redução da escala a zero e política de cluster estão ativadas no cluster:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"
    

    O resultado será o seguinte:

    autoscaling:
      defaultComputeClassConfig:
        computeClass: autopilot
        enabled: true
      scaleToZeroConfig:
        enabled: true
        delay: 3h
    autopilot:
      clusterPolicyConfig:
        noManualNodePools: true
        noSystemImpersonation: true
        noSystemMutation: true
        noUnsafeWebhooks: true
    
  2. Verifique se o GKE criou a ComputeClass default gerenciada no cluster:

    kubectl get computeclass default -o yaml
    

    O resultado será o seguinte:

    Se a saída estiver em branco, pule para a próxima etapa. Se a default ComputeClass existir, a saída será semelhante a esta:

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    spec:
      autopilot:
        enabled: true
    # Multiple lines are omitted here.
    

    Nesta saída, a anotação cloud.google.com/gke-managed-default-compute-class: "true" indica que o GKE criou a ComputeClass.

  3. Ao implantar um pod que não seleciona uma ComputeClass diferente, verifique se ele é executado em um nó gerenciado pelo Autopilot:

    kubectl get pods -o wide
    

    Na saída, os nós gerenciados pelo Autopilot têm o prefixo gk3- na coluna NODE.

Modificar ou desativar configurações individuais do Autopilot

Como cada recurso do Autopilot em um cluster Standard é modular, é possível personalizar ou desativar configurações individuais a qualquer momento. Se você for um administrador de segurança, poderá usar restrições personalizadas da política da organização para aplicar essas configurações. Para mais informações, consulte Aplicar configurações do Autopilot com políticas personalizadas da organização.

Aplicar configurações do Autopilot com políticas personalizadas da organização

Como as configurações do Autopilot em clusters Standard podem ser modificadas ou desativadas por usuários que têm permissões de atualização de cluster, os administradores da organização podem usar restrições de política da organização personalizadas no serviço de política da organização para aplicar essas configurações em uma organização, pasta ou projeto. O exemplo de restrição a seguir nega operações de criação ou atualização de clusters que não aplicam todas as configurações do Autopilot:

name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
  "resource.ClusterPolicyConfig.no_system_mutation != true ||
  resource.ClusterPolicyConfig.no_system_impersonation != true ||
  resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
  resource.ClusterPolicyConfig.no_standard_node_pools != true ||
  resource.ScaleToZeroConfig.enabled != true ||
  !(resource.DefaultComputeClassConfig.computeClass in [
    'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
  ])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.

Substitua ORGANIZATION_ID pelo ID da organização.

A seguir