Atualizar ou fazer upgrade de um cluster para um cluster avançado

É possível converter um cluster da versão 1.32 em um cluster avançado atualizando-o no local na versão 1.32 ou fazendo upgrade para a versão 1.33. A conversão para um cluster avançado prepara seu ambiente para a versão 1.33 e posteriores, em que os clusters avançados são a arquitetura padrão ou obrigatória.

Principais diferenças após a migração para clusters avançados

Fazer upgrade ou atualizar o cluster para um cluster avançado apresenta várias diferenças importantes em comparação com os clusters padrão. Confira as principais mudanças nos clusters avançados:

  • Local do recurso: os recursos de cluster e máquina não estão mais localizados em clusters de usuário. Esses recursos estão localizados exclusivamente no cluster de administrador.

  • NodeExternalIP: o NodeExternalIP não está definido nos nós.

  • Instalação do cert-manager: o cert-manager é instalado automaticamente em clusters avançados. Se você instalou o cert-manager no cluster, a atualização ou o upgrade para o cluster avançado o substitui pela versão do cluster avançado.

Diferenças de recursos entre clusters avançados e não avançados

Quando você ativa os clusters avançados, alguns recursos ou capacidades não funcionam da mesma forma que nos clusters não avançados. Algumas dessas mudanças se aplicam apenas à versão de pré-lançamento dos clusters avançados na versão 1.31. As diferenças são indicadas ao longo da documentação.

A tabela a seguir lista os recursos compatíveis com o Google Distributed Cloud somente software para VMware, o status de disponibilidade deles quando os clusters avançados estão ativados e as diferenças de comportamento ou uso:

Recurso/funcionalidade 1.31 Clusters avançados (pré-lançamento) 1.32 Não ativado 1.32 Clusters avançados (GA) Clusters avançados do 1.33 (GA) Diferenças
Clusters avançados Visualizar GA GA GA Sem suporte
Domínios de topologia Visualizar Visualizar Visualizar As mudanças serão aplicadas. Para mais informações, consulte Configurar domínios de topologia e as referências de configuração de cluster relacionadas.
Assinatura regional da frota GA GA GA GA Não há diferenças.
Desvio de versão do cluster de administrador n+2: cluster de usuário GA GA GA Não recomendado: como não é possível gerenciar um cluster de usuário de pré-lançamento de versão anterior, não use esse recurso.
Desvio da versão do pool de nós n+2: cluster de usuário GA GA GA Não recomendado: como não é possível gerenciar um cluster de usuário de pré-lançamento de versão anterior, não use esse recurso.
Configuração de pico máximo para atualizações de pools de nós Visualizar Visualizar Visualizar Visualizar Não há diferenças.
cgroup v2 para nós GA GA GA GA Não há diferenças.
Modo DSR para o Dataplane V2 GA GA GA GA Não há diferenças.
Autorização binária para clusters de usuários do Controlplane V2 GA GA GA GA Não há diferenças.
Estação de trabalho do administrador gerenciada pelo usuário GA GA GA GA Não há diferenças.
Ferramenta de migração CSI do StatefulSet GA GA GA GA Não há diferenças.
Migração do Seesaw para o MetalLB GA GA GA GA Não há diferenças.
Desativar a entrada em pacote GA GA GA GA Não há diferenças.
Credenciais preparadas para o cluster de administrador GA GA GA Não há diferenças.
Política de armazenamento para um cluster de usuário GA GA GA GA Não há diferenças.
Política de armazenamento para um cluster de administrador GA GA GA GA Não há diferenças.
Reparo automático de nós GA GA GA GA Mudanças aplicadas: se o cluster avançado estiver ativado, as verificações de integridade periódicas não serão executadas como parte do reparo automático. Para informações e outras diferenças, consulte Reparo automático de nós e verificação de integridade.
Cluster de administrador de alta disponibilidade GA GA GA GA Não há diferenças.
Afinidade de host da VM GA GA GA Compatível com clusters avançados nas versões 1.32.200, 1.33 e posteriores. Ao usar domínios de topologia, configure grupos de hosts em topologyDomains[i].compute.hostGroups no arquivo de configuração da infraestrutura do vSphere em vez de nodePools[i].vsphere.hostgroups no arquivo de configuração do cluster de usuário.
Gerar arquivos de configuração a partir de um cluster GA GA GA GA As mudanças serão aplicadas. Os clusters que usam domínios de topologia não são compatíveis.
Coleta de métricas do sistema do Serviço Gerenciado do Google Cloud para Prometheus GA GA GA GA Não há diferenças.
Upgrade e reversão de pools de nós GA GA GA Não há diferenças.
Atualizar credenciais de registro privado GA GA GA GA Não há diferenças.
Backup e restauração do cluster de administrador com gkectl Visualizar Visualizar GA As mudanças serão aplicadas. Atualizamos o comando gkectl para melhorar a restauração de clusters de administrador e oferecer suporte ao backup e à restauração de clusters de usuário. Para mais informações, consulte Fazer backup e restaurar clusters avançados com o gkectl.
Escalonamento automático do pool de nós do cluster de usuário GA GA GA GA Não há diferenças.
Redimensionamento automático de nós do cluster GA GA Não há diferenças.
Suporte para vários clusters do vSphere GA GA GA GA Não há diferenças.
Suporte para vários data centers do vSphere GA GA GA GA Não há diferenças.
Suporte ao OpenID Connect (OIDC) para autenticação em clusters GA GA GA GA Não há diferenças.
Rotação de certificados de CA GA GA GA Não há diferenças.
Suporte à federação de identidade da carga de trabalho GA GA GA GA Não há diferenças.
Serviço de identidade do GKE com suporte à autenticação LDAP GA GA GA GA Não há diferenças.
Criptografia de secrets sempre ativada sem módulo de segurança de hardware (HSM) GA GA GA Não há diferenças.
Atualizar certificados de CA do vCenter com o gkectl GA GA GA GA Não há diferenças.
Gateway NAT de saída GA GA GA GA Não há diferenças.
Registro de frota de cluster de administrador GA GA GA GA Não há diferenças.
Suporte ao pool de nós do Windows GA Incompatível.
Ambiente de execução do containerd para o pool de nós do Windows GA Incompatível.
Suporte a um pool de nós do Container-Optimized OS GA GA GA Não há diferenças.
CoreDNS como o provedor de DNS do cluster GA GA GA GA Não há diferenças.
Ciclo de vida do cluster de usuário no console do Google Cloud GA Suporte parcial GA As mudanças serão aplicadas. Para mais informações, consulte Limitações de clusters avançados.
Criação de nós do cluster de administrador com o Container-Optimized OS GA GA GA Não há diferenças.
Capacidade de várias NICs para pods GA GA GA GA Não há diferenças.
Opção de balanceador de carga MetalLB GA GA GA GA As mudanças serão aplicadas. Para mais detalhes, consulte Balanceamento de carga em pacote com o MetalLB.
Suporte do gkectl update admin para ativar e desativar o Cloud Logging e o Cloud Monitoring GA GA GA GA Não há diferenças.
Suporte para Windows Dataplane V2 GA Incompatível.
Métricas da API Summary GA GA GA GA Não há diferenças.
Compatibilidade com gkectl update credentials para atualizar a chave da conta de serviço de acesso a componentes Suporte parcial GA Suporte parcial Suporte parcial As mudanças serão aplicadas. Para detalhes sobre o que é ou não compatível com a atualização de credenciais para clusters avançados, consulte Diferenças de clusters avançados para alternar chaves de conta de serviço.
Credenciais preparadas para o cluster de usuário GA GA GA Não há diferenças.
Simulação de upgrade do cluster de usuários GA GA GA GA Não há diferenças.
Upgrade assíncrono do cluster de usuários GA GA GA GA Não há diferenças.
Simulação de upgrade do cluster de administrador GA GA Não há diferenças.
Upgrade assíncrono do cluster de administrador GA GA GA GA Não há diferenças.
Atualização sequencial de pools de nós GA GA GA Não há diferenças.
Criar snapshot do volume com o driver CSI do vSphere Visualizar Visualizar Visualizar Visualizar Não há diferenças.
Criar cluster de usuário com Controlplane V2 ativado GA GA GA GA Não há diferenças.
Migração de armazenamento com o SPBM GA GA GA GA Não há diferenças.
Migrar um repositório de dados para um SPBM GA GA GA GA Não há diferenças.
Migrar um cluster de usuário para o Controlplane V2 GA GA GA GA Não há diferenças.
Migrar para um cluster de administrador de HA GA GA GA GA Não há diferenças.
Migrar as configurações do F5 BIG-IP GA GA GA GA Não há diferenças.
Balanceador de carga Suporte parcial GA GA GA As mudanças serão aplicadas. Para mais informações, consulte a documentação de referência relevante do balanceador de carga e da configuração do cluster.
Verificações de simulação Suporte parcial GA GA GA Não há diferenças.
Requisitos de hardware GA GA GA GA As mudanças serão aplicadas. Veja mais detalhes em Requisitos de CPU, RAM e armazenamento.
Snapshot GA GA GA GA Não há diferenças.
Registro particular GA GA GA GA As mudanças serão aplicadas. Para detalhes sobre como usar um registro particular em um cluster avançado, consulte Limitações com clusters avançados e o pacote completo.
IPAM, DNS, NTP e várias NICs GA GA GA GA Não há diferenças.
Criação/upgrade/exclusão de clusters GA GA GA GA As mudanças serão aplicadas. Para mais informações, consulte a documentação relevante sobre operações de cluster e Limitações avançadas de cluster.
Proxy GA GA GA GA Não há diferenças.
Política de atualização do NodePool GA GA GA Não há diferenças.
Diagnosticar GA GA GA As mudanças se aplicam. As verificações relacionadas ao vCenter não estão disponíveis para clusters avançados. Como não há mais um controlador onprem-user-cluster-controller, o guia Diagnosticar problemas de cluster está obsoleto para clusters avançados. Para clusters avançados da versão 1.32, o comando gkectl diagnose cluster executa verificações de integridade no cluster especificado.
Tags do vSphere e rastreamento de VMs GA GA Não há diferenças.
Grupo de hosts do vSphere GA GA Não há diferenças.
Registro e monitoramento GA GA GA GA Não há diferenças.
Grupos antiafinidade GA GA GA Não há diferenças.
Plano de controle do cluster de usuário não HA GA Incompatível.
gkectl check-config GA GA GA As mudanças serão aplicadas. O suporte ao comando em clusters de usuário avançados foi adicionado nas seguintes versões: 1.32.700+, 1.33.300+ e 1.34.0 e mais recentes.

Pré-requisitos

  • A versão de gkectl precisa ser igual à versão do cluster de destino.

  • Sempre diagnostique o cluster antes de atualizar ou fazer upgrade para um cluster avançado:

    • Execute gkectl diagnose cluster nos clusters de administrador e de usuário para garantir que eles estejam íntegros.
    • Se o comando relatar erros ou avisos, resolva-os antes de iniciar a atualização ou o upgrade para um cluster avançado.
  • Verifique se os clusters usam apenas recursos recomendados.

  • Verifique se os clusters não usam recursos não compatíveis com clusters avançados antes de iniciar a atualização ou o upgrade. Se algum recurso sem suporte estiver ativo, desative-o usando update primeiro.

    • Embora os clusters de usuário de alta disponibilidade (HA) sejam necessários em clusters avançados, ainda é possível atualizar ou fazer upgrade de um cluster de usuário não HA para um cluster avançado de HA seguindo este guia.
  • É necessário atualizar ou fazer upgrade do cluster de administrador para um cluster avançado antes de atualizar ou fazer upgrade de qualquer cluster de usuário.

  • Sobre a instalação do cert-manager: o cert-manager é instalado automaticamente em clusters avançados. Quando você migra de um cluster não avançado para um cluster avançado, o cert-manager integrado substitui automaticamente todas as versões do cert-manager instaladas pelo cliente. Verifique se você não tem configurações ou recursos personalizados críticos aplicados ao cert-manager atual antes de atualizar ou fazer upgrade para clusters avançados.

Atualizar o cluster de administrador para um cluster avançado

Atualizar

  1. Faça um diagnóstico do cluster para garantir que ele esteja íntegro:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  2. Prepare-se para o cluster avançado:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    Substitua:

    • BUNDLE_PATH: o caminho do arquivo do pacote. Esse arquivo está na estação de trabalho do administrador em /var/lib/gke/bundles/. Exemplo:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador

  3. Defina enableAdvancedCluster no arquivo de configuração do cluster de administrador como true.

  4. Atualize o cluster de administrador para o cluster avançado:

    gkectl update admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG
    

    Substitua:

    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador
    • ADMIN_CLUSTER_CONFIG: é o caminho do arquivo de configuração do cluster de administrador

    O comando vai recriar todos os nós no cluster de administrador.

Fazer upgrade

  1. Faça upgrade da estação de trabalho do administrador, se necessário.

  2. Faça um diagnóstico do cluster para garantir que ele esteja íntegro:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  3. Prepare-se para o cluster avançado:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    Substitua:

    • BUNDLE_PATH: o caminho do arquivo do pacote. Esse arquivo está na estação de trabalho do administrador em /var/lib/gke/bundles/. Exemplo:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador

  4. Defina enableAdvancedCluster no arquivo de configuração do cluster de administrador como true.

  5. Verifique se o campo bundlepath no arquivo de configuração do cluster de administrador corresponde ao caminho do pacote que você quer fazer upgrade.

  6. Faça upgrade do cluster de administrador para o cluster avançado:

    gkectl upgrade admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG
    

    Substitua:

    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador
    • ADMIN_CLUSTER_CONFIG: é o caminho do arquivo de configuração do cluster de administrador

    O comando vai recriar todos os nós no cluster de administrador. Com a estratégia de implantação de recriação de lançamento, os nós são atualizados um por vez. Durante o upgrade do nó, a VM é excluída e recriada com a nova versão.

Depois que o cluster de administrador for atualizado ou receber upgrade para um cluster avançado:

  • Os clusters de usuário não avançados atuais continuam funcionando normalmente.

  • Só é possível criar clusters de usuário avançados que são gerenciados pelo cluster de administrador avançado.

Faça upgrade de todos os clusters de usuário para clusters avançados logo em seguida para manter um ambiente consistente e completo.

Atualizar ou fazer upgrade do cluster de usuário para o cluster avançado

Atualizar

  1. Faça um diagnóstico do cluster para garantir que ele esteja íntegro:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --cluster-name USER_CLUSTER_NAME
    
  2. Se o plano de controle do cluster de usuário não for de alta disponibilidade (HA):

    1. Mude masterNode.replicas de 1 para 3.

    2. Adicione os endereços IP estáticos dos nós do plano de controle do cluster de usuário à seção network.controlPlaneIPBlock.ips.

  3. Prepare-se para o cluster avançado:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    Substitua:

    • BUNDLE_PATH: o caminho do arquivo do pacote. Esse arquivo está na estação de trabalho do administrador em /var/lib/gke/bundles/. Exemplo:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador

  4. Defina enableAdvancedCluster no arquivo de configuração do cluster de usuário como true.

  5. Atualize o cluster de usuário para o cluster avançado:

    gkectl update cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config USER_CLUSTER_CONFIG
    

    Substitua:

    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador
    • USER_CLUSTER_CONFIG: o caminho do arquivo de configuração do cluster de usuário.

    O comando vai recriar todos os nós no cluster de usuário. Com a estratégia de implantação de recriação de lançamento, os nós são atualizados um por um. Durante a atualização do nó, a VM é excluída e recriada com a nova configuração.

Fazer upgrade

  1. Faça um diagnóstico do cluster para garantir que ele esteja íntegro:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --cluster-name USER_CLUSTER_NAME
    
  2. Se o plano de controle do cluster de usuário não for de alta disponibilidade (HA):

    1. Mude masterNode.replicas de 1 para 3.

    2. Adicione os endereços IP estáticos dos nós do plano de controle do cluster de usuário à seção network.controlPlaneIPBlock.ips.

  3. Prepare-se para o cluster avançado:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    Substitua:

    • BUNDLE_PATH: o caminho do arquivo do pacote. Esse arquivo está na estação de trabalho do administrador em /var/lib/gke/bundles/. Exemplo:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador

  4. Defina enableAdvancedCluster no arquivo de configuração do cluster de usuário como true.

  5. Verifique se o campo gkeOnPremVersion no arquivo de configuração do cluster de usuário corresponde à versão de destino do upgrade.

  6. Faça upgrade do cluster de usuário para o cluster avançado:

    gkectl upgrade cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config USER_CLUSTER_CONFIG
    

    Substitua:

    • ADMIN_CLUSTER_KUBECONFIG: o caminho do arquivo kubeconfig do cluster de administrador
    • USER_CLUSTER_CONFIG: o caminho do arquivo de configuração do cluster de usuário.

    O comando vai recriar todos os nós no cluster de usuário.

cert-manager incluído nos clusters avançados

cert-manager é um componente obrigatório gerenciado pelo sistema em clusters avançados.

Se você usa o cert-manager sem clusters avançados, verifique o seguinte antes de fazer upgrade para clusters avançados:

  • Não há configurações personalizadas ou flags de recurso no seu cert-manager.
  • A versão do cert-manager é a mesma ou uma versão anterior à versão do pacote.

Compatibilidade com a Apigee híbrida

O cert-manager em pacote é totalmente compatível com as cargas de trabalho da Apigee híbrida. Ao fazer upgrade para um cluster avançado, o instalador pode avisar que a instalação atual do cert-manager será substituída. Esse é o comportamento esperado que o sistema processa automaticamente.

Para garantir uma transição tranquila das cargas de trabalho da Apigee:

  • Não desinstale o cert-manager atual manualmente antes do upgrade.
  • Reverter personalizações: se você gerencia o cert-manager usando GitOps ou aplicou configurações personalizadas à implantação do cert-manager, reverta essas personalizações ou suspenda a sincronização antes do upgrade para evitar desvios de configuração e possíveis pausas no upgrade.

Recursos e limitações

Você pode fazer o seguinte com o cert-manager incluído:

  • Criar e editar recursos Issuer e ClusterIssuer.
  • Criar e editar recursos de certificado que fazem referência a emissores e tipos de emissores padrão.
  • Criar e editar recursos padrão do Kubernetes usados pelo cert-manager.
  • Crie secrets do Kubernetes que contenham chaves de API e faça referência a eles nos emissores.
  • Configure os emissores para usar solucionadores HTTP-01 ou DNS-01 específicos.

Não é possível personalizar o seguinte no cert-manager incluído:

  • Defina os valores de deployment ou helm.
  • Adicione argumentos ou flags de linha de comando ao binário cert-manager.
  • Alterar limites de recursos ou seletores de nós para pods cert-manager.
  • Modifique a lógica de instalação do software cert-manager.
  • Ative os recursos experimentais.
  • Forçar os pods do plano de controle do cert-manager a serem executados em nós de infraestrutura específicos.

Se você tiver restrições específicas que impeçam o uso do cert-manager empacotado, entre em contato com o suporte doGoogle Cloud para receber ajuda com as opções de configuração avançadas.

Versões incluídas

A tabela a seguir lista as versões do cert-manager incluídas para cada versão do Google Distributed Cloud (somente software) para VMware.

Google Distributed Cloud (somente software) para VMware Versão do cert-manager incluída
1.32 1.17
1,33 1.18
1,34 1.19