É possível configurar clusters do Google Kubernetes Engine (GKE) Standard para funcionar de maneira semelhante aos clusters do modo Autopilot, ativando configurações de cluster, como a ComputeClass padrão, as políticas de segurança de cluster do Autopilot e a redução da escala a zero do cluster.
Este documento é destinado a administradores de plataforma e engenheiros de segurança que querem aproveitar todos os benefícios do modo Autopilot em um cluster padrão com a flexibilidade de modificar ou desativar configurações individuais. Se você não precisar dessa flexibilidade, crie um cluster dedicado do Autopilot.
Você já deve estar familiarizado com estes conceitos:
- Modo Autopilot do GKE
- Sobre as cargas de trabalho do modo Autopilot no GKE Standard
- ComputeClasses do GKE
Configurações do cluster do Autopilot
Para configurar um cluster Standard para funcionar como um cluster do Autopilot, defina todas as seguintes configurações:
- ComputeClass do Autopilot como padrão do cluster: defina uma das ComputeClasses integradas do Autopilot. Os pods que não selecionarem uma ComputeClass serão executados usando a ComputeClass padrão especificada. Todas as ComputeClasses integradas usam o modo Autopilot e o modelo de faturamento baseado em pods.
- Escalonar automaticamente o cluster para zero nós: configure o escalonador automático de clusters para escalonar o cluster para zero nós quando não houver cargas de trabalho de usuário ativas no cluster. Se quiser, ajuste o período de atraso antes que o escalonador automático reduza o cluster para zero nós.
- Zero nós iniciais: durante a criação do cluster, evite a criação automática de um pool de nós padrão. Para clusters atuais, exclua todos os pools de nós criados manualmente.
- Políticas de segurança de clusters do Autopilot: aplique todas as políticas de segurança do Autopilot. Essas políticas ajudam a proteger as cargas de trabalho e as identidades do sistema.
É possível modificar o cluster para alterar qualquer uma dessas configurações de maneira independente das outras. Por exemplo, se você precisar criar manualmente um pool de nós, desative a política de segurança do cluster do Autopilot correspondente sem alterar nenhuma das outras configurações.
Considerações sobre flexibilidade e segurança
Quando você cria um cluster do Autopilot, o modo de cluster é permanente. As configurações do cluster, como escalonamento para zero nós, impedimento da criação manual de pools de nós e as várias restrições de segurança, são imutáveis. No entanto, ao configurar um cluster Standard para usar todas as configurações de um cluster do Autopilot, as configurações são mutáveis. Qualquer pessoa com acesso para modificar as configurações do cluster pode alterar ou desativar configurações individuais.
Para aplicar o uso dessas configurações em uma organização, pasta ou projeto, os administradores da organização podem usar uma restrição de política da organização personalizada. Para mais informações, consulte a seção Aplicar as configurações do Autopilot com políticas personalizadas da organização deste documento.
Limitações
Se você configurar Confidential GKE Nodes no nível do cluster, o GKE vai ignorar o comando para usar uma ComputeClass do Autopilot como padrão do cluster.
Antes de começar
Antes de começar, verifique se você realizou as tarefas a seguir:
- Ative a API Google Kubernetes Engine. Ativar a API Google Kubernetes Engine
- Para usar a Google Cloud CLI nesta tarefa,
instale e
inicialize a
CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando o comando
gcloud components update. Talvez as versões anteriores da CLI gcloud não sejam compatíveis com a execução dos comandos neste documento.
- Verifique se você tem um cluster padrão que atende a todos os requisitos.
Requisitos
Para usar todos os recursos do Autopilot em um cluster padrão, seu cluster precisa atender aos seguintes requisitos:
O cluster precisa executar o GKE versão 1.37.1-gke.3020000 ou posterior. Os requisitos de versão para configurações individuais são os seguintes:
- Para definir uma ComputeClass integrada do Autopilot como padrão do cluster, o cluster precisa executar a versão 1.37.1-gke.1380000 ou posterior do GKE.
- Para criar um cluster com zero nós iniciais, ele precisa executar a versão 1.37.1-gke.1153000 ou mais recente do GKE.
- Para configurar o escalonador automático de cluster para escalonar o cluster para zero nós, o cluster precisa executar o GKE versão 1.37.1-gke.3020000 ou posterior.
Para fazer upgrade do cluster para uma versão compatível, consulte Fazer upgrade manual do plano de controle ou dos pools de nós de um cluster.
O cluster precisa atender a todos os requisitos para usar as ComputeClasses do Autopilot. Para verificar se o cluster atende a esses requisitos, consulte Executar cargas de trabalho no modo Autopilot em clusters Standard.
Papéis e permissões necessárias
Para receber as permissões necessárias para criar ou atualizar clusters para usar o modo Autopilot, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto do Google Cloud :
-
Criar e atualizar clusters e pools de nós:
Administrador de cluster do Kubernetes Engine (
roles/container.clusterAdmin) -
Gerenciar ComputeClasses e cargas de trabalho no cluster:
Desenvolvedor do Kubernetes Engine (
roles/container.developer)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Criar um cluster Standard que usa o modo Autopilot
Para criar um novo cluster Standard que use todas as configurações do Autopilot, execute o seguinte comando:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Substitua:
CLUSTER_NAME: um nome para o novo cluster.CONTROL_PLANE_LOCATION: uma região para o plano de controle do cluster, comous-central1.BUILT_IN_COMPUTECLASS_NAME: a ComputeClass integrada a ser usada como padrão do cluster, comoautopilot.
Se quiser, ajuste o período de atraso antes que o escalonador automático de clusters
escalone o cluster para zero nós usando a flag
--cluster-scale-to-zero-delay:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Substitua SCALE_TO_ZERO_DELAY pela duração do atraso.
Esse valor precisa especificar um número inteiro e uma unidade de tempo, como 0s, 1m ou
3h. O atraso máximo é de 3 horas. Se você não especificar a flag --cluster-scale-to-zero-delay, o atraso padrão será de 3 horas.
Se o comando de criação do cluster falhar e exibir uma mensagem de erro, verifique a mensagem de erro para mais informações. Os erros mais comuns são:
- Seu cluster usa uma versão que não é compatível com uma das flags especificadas. Para resolver esse erro, atualize o cluster para a versão mínima necessária, conforme especificado na seção Requisitos.
- Você especificou flags de configuração do pool de nós (como a flag
--machine-type) no comando de criação do cluster. Como o novo cluster não tem um pool de nós inicial, não é possível especificar flags de configuração do pool de nós. Para resolver esse erro, remova as flags de configuração do pool de nós do comando. - Você especificou o nome de uma ComputeClass personalizada para a
flag
--default-compute-class. Para resolver esse erro, especifique uma das ComputeClasses integradas do Autopilot.
Atualizar um cluster Standard para usar o modo Autopilot
É possível modificar um cluster Standard para usar o modo Autopilot. Esse processo envolve mudanças potencialmente disruptivas nas cargas de trabalho, como a exclusão de pools de nós criados manualmente. Siga estas etapas durante um período de manutenção programada.
Verifique se o cluster atende a todos os requisitos deste documento.
Revise o cluster e faça as alterações necessárias para evitar conflitos com as políticas de cluster do Autopilot. Para mais informações sobre as possíveis mudanças, consulte Políticas compatíveis.
Quando você define uma ComputeClass do Autopilot como padrão do cluster, os pods recebidos que não selecionam uma ComputeClass diferente se tornam cargas de trabalho do Autopilot. Verifique se as cargas de trabalho que não selecionam uma ComputeClass têm as seguintes propriedades:
- Verifique se as cargas de trabalho obedecem às restrições de segurança do Autopilot ou configure uma lista de permissões para cargas de trabalho privilegiadas.
- Encontre e remova os seletores de nós
cloud.google.com/gke-nodepoolou as regras de afinidade de nós dos pods. - Verifique se algum namespace tem o rótulo
cloud.google.com/default-compute-classoucloud.google.com/default-compute-class-non-daemonset. As ComputeClasses padrão no nível do namespace têm precedência sobre a ComputeClass padrão no nível do cluster.
Verifique se o cluster tem uma ComputeClass personalizada chamada
default:kubectl get computeclass default -o yamlSe a saída estiver em branco, pule para a próxima etapa. Se a
defaultComputeClass existir, a saída será semelhante a esta:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.Na saída, se a anotação
cloud.google.com/gke-managed-default-compute-class: "true"estiver no campometadata.annotations, pule para a próxima etapa. Se essa anotação não existir, exclua o ComputeClass:kubectl delete computeclass defaultEncontre e exclua todos os pools de nós criados manualmente no cluster.
Ative as configurações do Autopilot para o cluster:
Defina a ComputeClass padrão do cluster como uma ComputeClass integrada:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMESubstitua:
CLUSTER_NAME: o nome do cluster padrão atual.CONTROL_PLANE_LOCATION: a região do plano de controle do cluster.BUILT_IN_COMPUTECLASS_NAME: a ComputeClass integrada do Autopilot para usar como padrão do cluster, comoautopilot.
Ative o escalonamento automático de clusters e permita que o escalonador automático dimensione o cluster para zero nós:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroSe quiser, ajuste o período de atraso antes que o escalonador automático de clusters escalone o cluster para zero nós usando a flag
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYSubstitua
SCALE_TO_ZERO_DELAYpela duração do atraso. Esse valor precisa especificar um número inteiro e uma unidade de tempo, como0s,1mou3h. O atraso máximo é de 3 horas. Se você não especificar a flag--cluster-scale-to-zero-delay, o atraso padrão será de 3 horas.Ative as políticas de cluster do Autopilot:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Se algum dos comandos de atualização do cluster falhar e exibir uma mensagem de erro, verifique a mensagem de erro para mais informações. Os erros mais comuns são:
- Seu cluster usa uma versão que não é compatível com uma das flags especificadas. Para resolver esse erro, faça upgrade do cluster para a versão mínima exigida, conforme especificado na seção Requisitos.
- Você especificou o nome de uma ComputeClass personalizada para a
flag
--default-compute-class. Para resolver esse erro, especifique uma das ComputeClasses integradas do Autopilot. - O cluster tem pools de nós criados manualmente, então o GKE não pode
aplicar a política
no-standard-node-pools. Para resolver esse erro, exclua os pools de nós criados manualmente.
Verificar se o cluster usa o modo Autopilot
Depois de configurar o cluster novo ou atual, verifique se as configurações do Autopilot estão ativas:
Verifique se as configurações padrão de ComputeClass, redução da escala a zero e política de cluster estão ativadas no cluster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"O resultado será o seguinte:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: trueVerifique se o GKE criou a ComputeClass
defaultgerenciada no cluster:kubectl get computeclass default -o yamlO resultado será o seguinte:
Se a saída estiver em branco, pule para a próxima etapa. Se a
defaultComputeClass existir, a saída será semelhante a esta:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.Nesta saída, a anotação
cloud.google.com/gke-managed-default-compute-class: "true"indica que o GKE criou a ComputeClass.Ao implantar um pod que não seleciona uma ComputeClass diferente, verifique se ele é executado em um nó gerenciado pelo Autopilot:
kubectl get pods -o wideNa saída, os nós gerenciados pelo Autopilot têm o prefixo
gk3-na colunaNODE.
Modificar ou desativar configurações individuais do Autopilot
Como cada recurso do Autopilot em um cluster Standard é modular, é possível personalizar ou desativar configurações individuais a qualquer momento. Se você for um administrador de segurança, poderá usar restrições personalizadas da política da organização para aplicar essas configurações. Para mais informações, consulte Aplicar configurações do Autopilot com políticas personalizadas da organização.
- Desative políticas específicas do Autopilot no cluster, como
no-standard-node-pools. - Desative a ComputeClass padrão no nível do cluster. Como alternativa, é possível
definir uma ComputeClass personalizada como padrão do cluster criando uma ComputeClass
chamada
default. Impedir que o cluster faça o escalonamento automático para zero nós:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
Aplicar configurações do Autopilot com políticas personalizadas da organização
Como as configurações do Autopilot em clusters Standard podem ser modificadas ou desativadas por usuários que têm permissões de atualização de cluster, os administradores da organização podem usar restrições de política da organização personalizadas no serviço de política da organização para aplicar essas configurações em uma organização, pasta ou projeto. O exemplo de restrição a seguir nega operações de criação ou atualização de clusters que não aplicam todas as configurações do Autopilot:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
Substitua ORGANIZATION_ID pelo ID da organização.
A seguir
- Saiba mais sobre as cargas de trabalho do Autopilot no GKE Standard
- Executar cargas de trabalho no modo Autopilot em clusters Standard
- Aplicar ComputeClasses a pods por padrão
- Aplicar políticas de segurança do Autopilot em clusters do Standard
- Escalonar um cluster automaticamente