Neste documento, mostramos como desativar o escalonador automático de clusters gerenciado pelo Google Kubernetes Engine (GKE) e implantar um escalonador automático de clusters auto-hospedado no cluster padrão usando o Helm. A implantação de um escalonador automático de cluster auto-hospedado permite personalizar flags de escalonamento automático, testar parâmetros experimentais ou executar builds personalizados do repositório de escalonador automático de cluster do GKE de código aberto.
Este documento é destinado a administradores de plataforma que gerenciam o escalonamento e a infraestrutura de clusters e precisam de controle granular sobre os parâmetros do escalonador automático, além do que é fornecido pelo escalonador automático de clusters gerenciado pelo GKE.
Requisitos e limitações
- Um escalonador automático de cluster autohospedado é compatível apenas com clusters do GKE Standard que executam a versão 1.37.2-gke.1042000 ou mais recente.
- Um escalonador automático de cluster auto-hospedado não é compatível com clusters do Autopilot, clusters Standard que contêm pools de nós gerenciados pelo Autopilot ou clusters Standard que usam o modo Autopilot para ComputeClasses.
- O cluster precisa ter pelo menos um nó de trabalho em execução o tempo todo para hospedar o pod do escalonador automático de clusters autogerenciado. Um cluster que executa um escalonador automático de clusters auto-hospedado não pode reduzir escala vertical para zero nós no total.
- Você é responsável por implantar, atualizar e monitorar a carga de trabalho do escalonador automático de cluster autogerenciado. O Cloud Customer Care não resolve problemas de implantações de escalonador automático de clusters auto-hospedadas ou personalizadas. Para receber suporte do atendimento ao cliente para problemas de escalonamento automático, volte para o escalonador automático de cluster gerenciado pelo GKE.
- Se o escalonamento automático gerenciado pelo GKE estiver desativado,
o GKE não vai emitir
eventos de visibilidade do escalonador automático de cluster
do plano de controle para o fluxo de registros
container.googleapis.com/cluster-autoscaler-visibility. Em vez disso, visualize os registros e as métricas de escalonamento diretamente do pod do escalonador automático de cluster autogerenciado.
Antes de começar
Antes de começar, verifique se você realizou as tarefas a seguir:
- Ative a API Google Kubernetes Engine. Ativar a API Google Kubernetes Engine
- Para usar a Google Cloud CLI nesta tarefa,
instale e
inicialize a
CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando o comando
gcloud components update. Talvez as versões anteriores da CLI gcloud não sejam compatíveis com a execução dos comandos neste documento.
- Verifique se você tem um cluster Standard que executa a versão 1.37.2-gke.1042000 ou mais recente, com a Federação de Identidade da Carga de Trabalho para GKE ativada no cluster e em pelo menos um pool de nós. Também é possível criar um novo cluster na próxima seção.
- Instale o Helm versão 4.0.0 ou mais recente, Git, Go e Docker.
- Verifique se você tem um repositório do Docker no Artifact Registry ou em outro registro de contêiner que o cluster possa extrair para armazenar a imagem de contêiner do escalonador automático de cluster auto-hospedado. Para mais informações, consulte Armazenar imagens de contêiner do Docker no Artifact Registry.
- Configure
kubectlpara se comunicar com o cluster. Para mais informações, consulte Instalar okubectle configurar o acesso ao cluster.
Funções exigidas
Para receber as permissões necessárias para desativar o escalonamento automático gerenciado, configurar recursos do Identity and Access Management (IAM) e implantar o escalonador automático de cluster autogerenciado, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Gerenciar clusters do GKE:
Administrador do Kubernetes Engine (
roles/container.admin) -
Criar papéis personalizados do IAM:
Administrador de papéis (
roles/iam.roleAdmin) -
Criar e gerenciar contas de serviço do IAM:
Administrador da conta de serviço (
roles/iam.serviceAccountAdmin) -
Conceder papéis do IAM no projeto:
Administrador do IAM do projeto (
roles/resourcemanager.projectIamAdmin)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Desativar o escalonador automático de clusters gerenciado pelo GKE
Antes de implantar um escalonador automático de cluster autogerenciado, desative o escalonador automático de cluster gerenciado pelo GKE no plano de controle para evitar disputas entre as duas instâncias do escalonador automático. A desativação do escalonador automático de cluster gerenciado pelo GKE impede que o plano de controle escalone nós. No entanto, o GKE preserva as configurações de escalonamento automático do pool de nós e as ComputeClasses para que o escalonador automático de cluster auto-hospedado possa agir sobre elas.
Para desativar o escalonador automático de clusters gerenciado pelo GKE, siga estas etapas, conclua uma das seguintes etapas:
Para desativar o escalonador automático de clusters gerenciado pelo GKE em um cluster Standard, execute o seguinte comando:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingSe a federação de identidade da carga de trabalho para GKE ainda não estiver ativada no cluster e em pelo menos um pool de nós para hospedar o pod do escalonador automático de cluster autogerenciado, execute os seguintes comandos:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
Para criar um novo cluster padrão com o escalonador automático de clusters gerenciado pelo GKE já desativado, execute o seguinte comando:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
Substitua:
CLUSTER_NAME: o nome do cluster padrão.CONTROL_PLANE_LOCATION: a região ou zona do Compute Engine do plano de controle do cluster. Forneça uma região para clusters regionais ou uma zona para clusters zonais.PROJECT_ID: o ID do projeto Google Cloud .NODEPOOL_NAME: o nome de um pool de nós atual para hospedar o pod do escalonador automático de cluster autogerenciado.CLUSTER_VERSION: a versão do GKE para o novo cluster, que precisa ser 1.37.2-gke.1042000 ou posterior.
Para verificar se o escalonador automático de clusters gerenciado pelo GKE está desativado no cluster, execute o seguinte comando:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
A resposta é True.
Configurar permissões do IAM para o escalonador automático de cluster autogerenciado
O escalonador automático de cluster auto-hospedado requer permissões do IAM para gerenciar grupos de instâncias do Compute Engine e ler metadados de cluster no projeto.
Conceda essas permissões ao escalonador automático criando um papel personalizado do IAM com privilégio mínimo e vinculando-o à conta de serviço do Kubernetes do escalonador automático com a Federação de Identidade da Carga de Trabalho para GKE:
Recupere o número do projeto:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"Registre o valor de saída como
PROJECT_NUMBERpara usar em etapas posteriores.Salve a seguinte definição de papel personalizado do IAM como um arquivo
gcp-role.yaml:Crie o papel personalizado do IAM
selfHostedClusterAutoscalerno projeto:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlCrie uma conta de serviço do IAM chamada
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDConceda o papel personalizado do IAM à conta de serviço do IAM
selfhosted-autoscaler:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"Se o cluster usar o provisionamento automático de nós ou ComputeClasses personalizadas para criar pools de nós, conceda o papel de usuário da conta de serviço (
roles/iam.serviceAccountUser) à conta de serviçoselfhosted-autoscaler. Execute o seguinte comando para cada conta de serviço do IAM usada pelos novos nós:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"Substitua
NODE_SA_EMAILpelo endereço de e-mail da conta de serviço do IAM que os nós usam. Conceda esse papel na conta de serviço padrão de provisionamento automático de nós e em qualquer conta de serviço especificada em uma ComputeClass. A menos que você configure uma conta de serviço personalizada, o provisionamento automático de nós usará a conta de serviço padrão do Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com.Permita que a conta de serviço do Kubernetes
selfhosted-autoscalerno namespacekube-systemrepresente a conta de serviço do IAM:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Implantar o escalonador automático de cluster auto-hospedado usando o Helm
Implante o escalonador automático de cluster autohospedado usando o gráfico Helm no
diretório charts/cluster-autoscaler
do repositório de código aberto do escalonador automático de cluster do GKE:
Recupere o ID do cluster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Registre o valor de saída como
CLUSTER_IDpara o arquivo de configuração do Helm.Clone o repositório do escalonador automático de cluster do GKE:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitCrie e envie a imagem do contêiner do escalonador automático de cluster para o registro de contêiner:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGSubstitua:
REGISTRY_PATH: o caminho base do registro de contêiner, comoLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. O comandomake releasecria e envia a imagem paraREGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.IMAGE_TAG: a tag da imagem do contêiner, como37.234.0.
Para mais informações sobre como criar a imagem do contêiner, consulte o repositório do escalonador automático de clusters do GKE.
Navegue até o diretório do gráfico Helm:
cd charts/cluster-autoscalerCrie um arquivo
my-values.yamlpara configurar a identidade do cluster, a conta de serviço da federação de identidade da carga de trabalho para o GKE e os parâmetros do escalonador automático:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILESubstitua:
REGISTRY_PATH: o caminho base do registro de contêiner de uma etapa anterior, comoLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.IMAGE_TAG: a tag da imagem de contêiner que você enviou na etapa anterior, como37.234.0. Se você omitir o campoimage.tag, o gráfico Helm usará como padrão o valorappVersiondefinido ao empacotar o gráfico.CLUSTER_ID: o ID do cluster que você recuperou em uma etapa anterior.PROJECT_NUMBER: o número do projeto que você recuperou em uma etapa anterior.IS_REGIONAL:truese o cluster for regional oufalsese for zonal.AUTOSCALING_PROFILE: o perfil de escalonamento automático a ser aplicado. Especifique o perfildefaultpara escalonamento equilibrado ou o perfiloptimizeUtilizationpara reduzir escala vertical vertical de nós subutilizados de forma mais agressiva. Para uma lista completa de flags e parâmetros configuráveis, consulte o arquivovalues.yamlpadrão no GitHub.
Empacote o gráfico Helm com a versão do componente do escalonador automático de cluster que você quer executar e instale o gráfico no namespace
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlSubstitua
CA_VERSIONpela versão do componente do escalonador automático de cluster no formato<minor>.<ca-version>.<patch>, como37.234.0. O gráfico usa essa versão para determinar quais experimentos do escalonador automático serão ativados no arquivovalues.yaml.
Verificar a implantação do escalonador automático de clusters autogerenciado
Depois de instalar o gráfico Helm, verifique se o pod do escalonador automático de cluster auto-hospedado está em execução e monitorando ativamente o cluster:
Verifique se o pod do escalonador automático de cluster autogerenciado está no estado
Running:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caO resultado será o seguinte:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mInspecione os registros do pod do escalonador automático de cluster auto-hospedado para confirmar se ele é iniciado sem erros de autenticação:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50Verifique o ConfigMap
cluster-autoscaler-statuspara conferir o status de escalonamento atual informado pelo escalonador automático:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
Voltar para o escalonador automático de clusters gerenciado pelo GKE
Para voltar ao escalonador automático de cluster gerenciado pelo GKE, remova a implantação autohospedada antes de reativar o escalonamento automático gerenciado no plano de controle:
Desinstale a versão do Helm do escalonador automático de clusters auto-hospedado:
helm uninstall selfhosted-ca --namespace=kube-systemReative o escalonador automático de clusters gerenciado pelo GKE no cluster:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingVerifique se o escalonador automático de clusters gerenciado pelo GKE está ativado:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"A saída está vazia ou é
False.
A seguir
- Saiba mais sobre como o escalonador automático de clusters funciona.
- Saiba como configurar o escalonamento automático de clusters para pools de nós.
- Confira o repositório do escalonador automático de clusters do GKE e o gráfico Helm de código aberto.