Nesta página, apresentamos uma visão geral de como o Google Kubernetes Engine (GKE) cria e gerencia os balanceadores de carga do Google Cloud quando você aplica um manifesto dos serviços do LoadBalancer do Kubernetes. Ele descreve os tipos de LoadBalancer, os parâmetros de configuração e fornece recomendações de práticas recomendadas.
Antes de ler esta página, você precisa conhecer bem o GKE de rede.
Visão geral
Quando você cria um serviço LoadBalancer, o GKE configura um Google Cloud balanceador de carga de passagem do cujas características dependem dos parâmetros do seu manifesto de Serviço.
Personalizar o serviço LoadBalancer
Ao escolher a configuração do serviço LoadBalancer, considere os seguintes aspectos:
- Tipo de balanceador de carga: interno ou externo
- Política de tráfego externo
- Balanceamento de carga ponderado
- Afinidade zonal
Tipo de balanceador de carga: interno ou externo
Ao criar um serviço LoadBalancer no GKE, você especifica se o balanceador de carga tem um endereço interno ou externo:
Os serviços LoadBalancer externos são implementados usando balanceadores de carga de rede de passagem externa regionais. Os clientes localizados fora da rede VPC e as VMs do Google Cloud com acesso à Internet podem acessar um serviço LoadBalancer externo.
Para criar um serviço LoadBalancer externo, use uma destas técnicas:
Em clusters que executam o GKE 1.37 ou posterior, o GKE cria automaticamente um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end com back-ends de NEG
GCE_VM_IP. Não é necessário adicionar anotações ou campos ao manifesto do Serviço. Para criar explicitamente um balanceador de carga legado baseado em pool de destino, adicione o par de valor de campospec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy".Em clusters que executam o GKE 1.33.1-gke.1779000 até 1.36, adicione
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"ao manifesto do serviço antes de enviá-lo ao cluster. Recomendamos que você use esse campo porque ele sempre cria um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end com back-ends de NEGGCE_VM_IP. O campospec.loadBalancerClassé imutável e não pode ser alterado depois que você cria o Serviço.Em clusters que executam qualquer versão compatível do GKE, é possível adicionar a anotação
cloud.google.com/l4-rbs: "enabled"ao manifesto do serviço antes de enviá-lo ao cluster. Essa anotação também cria um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end. O balanceador de carga usa back-ends de NEGGCE_VM_IPse o manifesto for enviado para um cluster que executa o GKE 1.32.2-gke.1652000 ou posterior. Caso contrário, o balanceador de carga usará back-ends de grupo de instâncias. O GKE só avalia essa anotação quando o manifesto do Serviço é aplicado pela primeira vez ao cluster.
Os serviços LoadBalancer internos são implementados usando balanceadores de carga de rede de passagem interna. Os clientes localizados na mesma rede VPC ou em uma rede conectada à rede VPC do cluster podem acessar um serviço LoadBalancer interno.
Como prática recomendada, antes de criar um serviço LoadBalancer interno, verifique se a subconfiguração do GKE está ativada. A criação de subconjuntos do GKE é ativada automaticamente se o cluster executa o GKE 1.36 ou mais recente. Para versões anteriores do GKE, é necessário ativar explicitamente a criação de subconjuntos do GKE.
Para criar um serviço LoadBalancer interno, use uma destas técnicas:
Em clusters que executam o GKE 1.33.1-gke.1779000 ou posterior com o subagrupamento do GKE ativado, adicione
spec.loadBalancerClass: "networking.gke.io/l4-regional-internal"ao manifesto do serviço antes de enviá-lo ao cluster. Recomendamos que você use esse campo porque ele sempre cria um balanceador de carga de rede de passagem interna com back-ends de NEGGCE_VM_IP. O campospec.loadBalancerClassé imutável e não pode ser alterado após a criação do Serviço.Em clusters que executam qualquer versão compatível do GKE, é possível adicionar a anotação
networking.gke.io/load-balancer-type: "Internal"ao manifesto do serviço antes de enviá-lo ao cluster. Isso também cria um balanceador de carga de rede de passagem interna. O balanceador de carga usa back-ends de NEGGCE_VM_IPse o manifesto for enviado para um cluster com a criação de subagrupamentos do GKE ativada. Caso contrário, o balanceador de carga usará back-ends de grupo de instâncias.
Para clusters que executam versões do GKE anteriores à 1.37, os manifestos de serviço do LoadBalancer que não têm um spec.loadBalancerClass e que não têm as anotações cloud.google.com/l4-rbs: "enabled" ou networking.gke.io/load-balancer-type: "Internal" criam um balanceador de carga de rede de passagem externa regional baseado em pool de destino.
Não recomendamos o uso de balanceadores de carga de rede de passagem externa regionais baseados em pool de destino.
Pré-requisito do HttpLoadBalancing
Para criar serviços LoadBalancer com tecnologia de balanceadores de carga de rede de passagem externa regionais baseados em serviço de back-end
ou balanceadores de carga de rede de passagem interna, verifique se o complemento HttpLoadBalancing está ativado se o
cluster executar uma versão do GKE anterior à 1.36. O complemento HttpLoadBalancing
é ativado por padrão.
Os serviços LoadBalancer no GKE versão 1.36 e mais recentes não dependem do
complemento HttpLoadBalancing.
Efeito de externalTrafficPolicy
O parâmetro externalTrafficPolicy controla o seguinte:
- Quais nós recebem pacotes do balanceador de carga
- Se os pacotes podem ser roteados entre nós no cluster, depois que o balanceador de carga os entrega a um nó.
- Se o endereço IP do cliente original é preservado ou perdido
O externalTrafficPolicy pode ser Local ou Cluster:
- Use
externalTrafficPolicy: Localpara garantir que os pacotes sejam entregues somente a um nó com pelo menos um pod de exibição, pronto e não encerrado, preservando o endereço IP de origem do cliente original. Essa opção é melhor para cargas de trabalho com um número relativamente constante de nós com pods de exibição, mesmo que o número geral de nós no cluster varie. Essa opção é necessária para oferecer suporte ao balanceamento de carga ponderado.
- Use
externalTrafficPolicy: Clusterem situações em que o número geral de nós no cluster é relativamente constante, mas o número de nós com pods de veiculação varia. Essa opção não preserva os endereços IP de origem do cliente original e pode adicionar latência, porque os pacotes podem ser roteados para um pod de exibição em outro nó depois de serem entregues a um nó do balanceador de carga. Essa opção é incompatível com o balanceamento de carga ponderado.
Para mais informações sobre como externalTrafficPolicy afeta o roteamento de pacotes nos nós, consulte processamento de pacotes.
Balanceamento de carga ponderado
Os serviços LoadBalancer externos dão suporte ao balanceamento de carga ponderado, que permite que nós com mais pods em funcionamento, prontos e não encerrados recebam uma proporção maior de novas conexões em comparação com nós com menos pods. Para mais informações sobre como as configurações do balanceador de carga mudam com o balanceamento de carga ponderado, consulte Efeito do balanceamento de carga ponderado.
Como o diagrama ilustra, os Serviços com balanceamento de carga ponderado ativado distribuem novas conexões proporcionalmente ao número de pods prontos em cada nó.
Para usar o balanceamento de carga ponderado, é necessário atender a todos os seguintes requisitos:
O cluster do GKE precisa usar a versão 1.31.0-gke.1506000 ou mais recente.
É preciso criar um serviço LoadBalancer externo que resulte em um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end.
Em clusters que executam o GKE 1.37 ou posterior, o GKE cria esse tipo de balanceador de carga por padrão. Não é necessário adicionar outros campos ou anotações.
Em clusters que executam o GKE 1.33.1-gke.1779000 até 1.36, adicione
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"ao manifesto do serviço antes de enviá-lo ao cluster. Esse é o método preferencial.Em clusters que executam qualquer versão compatível do GKE, adicione a anotação
cloud.google.com/l4-rbs: "enabled"ao manifesto do Serviço antes de enviá-lo ao cluster.
Inclua a anotação
networking.gke.io/weighted-load-balancing: pods-per-nodeno manifesto do serviço para ativar o recurso de balanceamento de carga ponderado.O manifesto do serviço LoadBalancer precisa usar
externalTrafficPolicy: Local. O GKE não impede que você useexternalTrafficPolicy: Cluster, masexternalTrafficPolicy: Clusterdesativa o balanceamento de carga ponderado porque o pacote pode ser encaminhado, após o balanceador de carga, para um nó diferente.
Para usar o balanceamento de carga ponderado, consulte Ativar o balanceamento de carga ponderado.
Afinidade zonal
Os serviços LoadBalancer internos são compatíveis com a afinidade zonal, que pode encaminhar novas conexões para nós com pods de exibição na mesma zona que um cliente. Se não houver pods íntegros na zona, o GKE vai rotear o tráfego para outra zona. Manter o tráfego dentro de uma zona pode minimizar o tráfego entre zonas, o que reduz o custo e a latência. Para ativar a afinidade zonal em um cluster do GKE, é necessário ativar a criação de subconjuntos do GKE.
Quando você configura a afinidade zonal para um serviço LoadBalancer interno,
o GKE configura o balanceador de carga de rede de passagem interno correspondente com a
opção ZONAL_AFFINITY_SPILL_CROSS_ZONE e uma proporção de transbordamento zero (0.0).
Essa configuração ajuda a garantir que o tráfego caia dentro da zona, em vez de
transbordar para outras zonas. O balanceador de carga restringe o conjunto original de back-ends de nó qualificados apenas aos back-ends de nó qualificados que estão na mesma zona que o cliente quando todas as seguintes condições são verdadeiras:
O cliente é compatível com a afinidade zonal.
Pelo menos um back-end de nó íntegro e qualificado está na zona do cliente.
Em todas as outras situações, o balanceador de carga continua usando o conjunto original de back-ends de nós qualificados, sem aplicar nenhuma otimização de afinidade zonal.
Para mais detalhes sobre como a configuração de afinidade zonal afeta o comportamento do balanceador de carga, consulte a documentação sobre afinidade zonal. Para mais informações sobre como a afinidade zonal e
externalTrafficPolicy influenciam o roteamento de pacotes em VMs de nó, consulte
Conversão de endereços de rede de origem e roteamento em nós.
Considerações sobre escalonamento com afinidade zonal
Como a afinidade zonal não se integra nativamente ao HorizontalPodAutoscaler (HPA), podem ocorrer problemas de escalonamento quando o tráfego em uma zona excede a capacidade dos pods nessa zona. O HPA escalona pods com base em métricas de cluster agregadas, e não na carga por zona. Como resultado, uma zona com tráfego intenso (sobrecarga zonal) pode não receber mais pods, o que leva à degradação do desempenho ou à queda de conexões para clientes nessa zona, mesmo que o cluster em geral esteja subutilizado.
Famílias de endereços IP
Um serviço LoadBalancer pode ser de pilha única (somente IPv4 ou IPv6) ou de pilha dupla. Isso é controlado com os campos spec.ipFamilyPolicy e
spec.ipFamilies. Um serviço de pilha única tem uma regra de encaminhamento, e um serviço de pilha dupla tem duas: uma para IPv4 e outra para IPv6.
Os serviços LoadBalancer IPv6 têm as seguintes características adicionais:
- Eles sempre usam back-ends de NEG
GCE_VM_IP. - Os endereços IPv6 vêm de um intervalo de sub-rede na sua rede VPC (com um tipo de acesso IPv6 que precisa corresponder ao tipo de balanceador de carga) ou de traga seus próprios endereços IPv6 (BYOIPv6):
- Os serviços LoadBalancer IPv6 internos podem usar sub-redes internas provisionadas de um prefixo delegado público BYOIPv6.
- No GKE versão 1.37.1-gke.2097000 e posterior,
os serviços LoadBalancer IPv6 externos de pilha única aceitam a alocação direta
de intervalos de endereços BYOIPv6 externos de um subprefixo IPv6 regional
de um prefixo público delegado. É possível configurar essa
alocação usando a anotação
networking.gke.io/ip-collection-v6ou especificando um intervalo de endereços BYOIPv6 externo estático.
- Os serviços LoadBalancer IPv6 externos exigem um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end.
Para mais informações, consulte Serviços LoadBalancer IPv6 e Traga seus próprios endereços IPv6 (BYOIPv6).
Considerações especiais para serviços LoadBalancer internos
Nesta seção, descrevemos o recurso de subconfiguração do GKE, que é exclusivo
dos serviços LoadBalancer internos, e como a subconfiguração do GKE
interage com o externalTrafficPolicy para influenciar o número máximo de
nós com balanceamento de carga.
Subconfiguração do GKE
A subconfiguração do GKE para serviços LoadBalancer internos é ativada
por padrão para clusters do GKE que executam a versão 1.36 e posteriores. Para
essas versões, a criação de subconjuntos do GKE permanece ativa mesmo que a
flag --enable-l4-ilb-subsetting no nível do cluster esteja definida como false na configuração do cluster
ou em ferramentas de infraestrutura como código (IaC), como o Terraform.
Essa opção de configuração em todo o cluster melhora a escalonabilidade dos
balanceadores de carga de rede de passagem interna ao agrupar com mais eficiência os endpoints de nó em grupos de endpoints de rede (NEGs)
GCE_VM_IP. Os NEGs são usados como back-ends do balanceador de carga.
O diagrama a seguir mostra dois serviços em um cluster zonal com três nós.
O cluster tem a subconfiguração do GKE ativada. Cada serviço tem dois pods. O GKE cria um NEG GCE_VM_IP para cada Serviço. Os endpoints em cada NEG são os nós com os pods de exibição para o respectivo serviço.
Para clusters que executam versões anteriores à 1.36, é possível ativar manualmente a subdivisão do GKE ao criar um cluster ou atualizar um cluster atual. Depois que a criação de subconjuntos do GKE for ativada, não será possível desativá-la.
A subconfiguração do GKE requer:
- GKE versão 1.18.19-gke.1400 ou posterior e
- Se o cluster estiver em uma versão anterior à 1.36, o complemento
HttpLoadBalancingprecisará estar ativado. Esse complemento é ativado por padrão. Ele permite que o cluster gerencie balanceadores de carga que usam serviços de back-end. Se o cluster estiver na versão 1.36 e posterior, o complementoHttpLoadBalancingnão será um pré-requisito para o subconjunto do GKE.
Contagem de nós
Um cluster com a subconfiguração do GKE desativada pode ter problemas com os serviços internos do LoadBalancer se tiver mais de 250 nós no total (entre todos os pools de nós). Isso acontece porque os balanceadores de carga de rede de passagem interna criados pelo GKE só podem distribuir pacotes para 250 ou menos VMs de nó de back-end. Essa limitação existe por dois motivos:
- O GKE não usa o subagrupamento de back-end do balanceador de carga.
- Um balanceador de carga de rede de passagem interna está limitado à distribuição de pacotes para 250 back-ends ou menos quando a criação de sub-rede de back-end do balanceador de carga está desativada.
Um cluster com subconfiguração do GKE é compatível com serviços LoadBalancer internos em clusters com mais de 250 nós no total.
O número de nós compatíveis com a criação de subconjuntos do GKE depende do
valor do campo externalTrafficPolicy para o serviço LoadBalancer
interno:
externalTrafficPolicy: Local: aceita até 250 nós com pods de exibição para um determinado serviço.externalTrafficPolicy: Cluster: não impõe um limite ao número de nós com pods de exibição. Esse comportamento ocorre porque o GKE configura no máximo 25 endpoints de nó em NEGsGCE_VM_IPpara cada serviço. Para mais informações, consulte Associação de nós em back-ends NEG doGCE_VM_IP.
Distribuição de tráfego
Por padrão, os serviços LoadBalancer internos e externos criam balanceadores de carga de rede de passagem
com a afinidade da sessão definida como NONE. Os balanceadores de carga de rede de passagem usam afinidade da sessão, informações de integridade e, em determinadas circunstâncias, detalhes como peso para identificar e selecionar um back-end de nó qualificado para uma nova conexão.
Novas conexões criam entradas na tabela de rastreamento de conexão, que são usadas para rotear rapidamente os pacotes subsequentes da conexão para o back-end do nó qualificado selecionado anteriormente. Para mais informações sobre como os balanceadores de carga de rede de passagem identificam e selecionam back-ends qualificados e usam o rastreamento de conexão, consulte:
Distribuição de tráfego para balanceadores de carga de rede de passagem interna
Distribuição de tráfego para balanceadores de carga de rede de passagem externos regionais
Efeito do balanceamento de carga ponderado
Quando você configura o balanceamento de carga ponderado para um serviço de balanceador de carga externo, o GKE ativa o balanceamento de carga ponderado no balanceador de carga de rede de passagem externa regional correspondente. O GKE configura o software kube-proxy ou cilium-agent
para incluir um cabeçalho de resposta na resposta à verificação de integridade do balanceador de
carga. Esse cabeçalho de resposta define um peso proporcional ao número
de pods em exibição, prontos e não encerrados em cada nó.
O balanceador de carga usa as informações de peso da seguinte maneira:
O conjunto de back-ends de nós qualificados do balanceador de carga consiste em todos os nós íntegros com peso diferente de zero.
O balanceador de carga considera o peso ao selecionar um dos back-ends de nó qualificados. Quando o Serviço usa
externalTrafficPolicy: Local(necessário para que o balanceamento de carga ponderado seja eficaz), um back-end de nó qualificado que tem mais pods de disponibilização, prontos e não encerrados tem mais chances de ser selecionado do que um back-end de nó qualificado com menos pods.
Agrupamento de nós
A versão do GKE, as anotações do manifesto de serviço e, para serviços LoadBalancer internos, a opção de subconfiguração do GKE determinam o balanceador de carga do Google Cloud resultante e o tipo de back-ends.
A tabela a seguir descreve os métodos de agrupamento de nós para diferentes configurações de serviço do LoadBalancer:
| Detalhes do serviço e do cluster | Balanceador de carga Google Cloud resultante | Método de agrupamento de nós |
|---|---|---|
| Serviços LoadBalancer internos | ||
GKE versão 1.33.1-gke.1779000 ou posterior em um cluster com
a criação de subconjuntos do GKE ativada1. Manifesto de serviço
enviado ao cluster com
spec.loadBalancerClass: "networking.gke.io/l4-regional-internal".
|
Um balanceador de carga de rede de passagem interna cujo serviço de back-end usa back-ends de grupo de endpoints de rede (NEG, na sigla em inglês) GCE_VM_IP |
As VMs de nós são agrupadas em NEGs zonais de O |
Todas as versões do GKE compatíveis em um cluster com a
subconfiguração do GKE ativada1. Manifesto de serviço
enviado ao cluster com a
anotação networking.gke.io/load-balancer-type: "Internal".
|
||
Versões do GKE anteriores à 1.36 em um cluster com a criação de subconjuntos do GKE desativada1. Manifesto de serviço
enviado ao cluster com a
anotação networking.gke.io/load-balancer-type: "Internal".
|
Um balanceador de carga de rede de passagem interna cujo serviço de back-end usa back-ends zonais de grupos de instâncias não gerenciadas . | Todas as VMs de nós são colocadas em grupos de instâncias não gerenciadas zonais que o GKE usa como back-ends para o serviço de back-end do balanceador de carga de rede de passagem interna. O Os mesmos grupos de instâncias não gerenciadas são usados para outros serviços de back-end do balanceador de carga criados no cluster devido à limitação do grupo de instâncias com balanceamento de carga único. |
| Serviços LoadBalancer externos | ||
GKE versão 1.37 ou posterior. Manifesto de serviço
enviado ao cluster, mas o par de campo-valor
spec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy" não está incluído.
|
Um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end com back-ends de grupo de endpoints de rede (NEG, na sigla em inglês) GCE_VM_IP |
As VMs de nós são agrupadas em NEGs zonais de O |
Versão 1.33.1-gke.1779000 a 1.36 do GKE. Manifesto de serviço
enviado ao cluster com
o par de campo-valor spec.loadBalancerClass: "networking.gke.io/l4-regional-external".
|
||
GKE versão 1.32.2-gke.1652000 a 1.36. Manifesto de serviço
enviado ao cluster com a
anotação cloud.google.com/l4-rbs: "enabled"2.
|
||
Versão do GKE anterior a 1.32.2-gke.16520003. Manifesto de serviço
enviado ao cluster com a
anotação cloud.google.com/l4-rbs: "enabled"2.
|
Um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end com back-ends zonais de grupo de instâncias não gerenciadas | Todas as VMs de nós são colocadas em grupos de instâncias não gerenciadas zonais que o GKE usa como back-ends para o serviço de back-end do balanceador de carga de rede de passagem externa regional. O Os mesmos grupos de instâncias não gerenciadas são usados para outros serviços de back-end do balanceador de carga criados no cluster devido à limitação do grupo de instâncias com balanceamento de carga único. |
Versões do GKE anteriores à 1.37. Manifesto de serviço enviado ao cluster sem todos os seguintes itens:
GKE versão 1.37 ou posterior. Manifesto de serviço enviado ao
cluster com o par de campo-valor |
Um balanceador de carga de rede de passagem externa regional baseado em pool de destino em que o pool de destino contém todos os nós do cluster | O pool de destino é uma API mais antiga que não depende de NEGs ou grupos de instâncias. Todos os nós têm associação direta no pool de destino. O |
1A criação de subconjuntos do GKE é ativada automaticamente no GKE versão 1.36 e posterior. Não é possível desativar a criação de subconjuntos do GKE depois de ativá-la.
2A anotação cloud.google.com/l4-rbs: "enabled"
só é respeitada quando o manifesto do serviço é enviado ao cluster. Adicionar
essa anotação a um manifesto de serviço atual não converte um balanceador de carga de rede de passagem externa regional baseado em pool de destino em um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end.
3O GKE não atualiza automaticamente os balanceadores de carga de rede de passagem externa regionais baseados em serviço de back-end com back-ends de grupo de instâncias para balanceadores de carga de rede de passagem externa regionais baseados em serviço de back-end com back-ends de NEG GCE_VM_IP.
Para instruções de migração manual, consulte
Migrar para back-ends de NEG do GCE_VM_IP.
Assinatura de nós em GCE_VM_IP back-ends NEG
Quando o GKE cria um balanceador de carga de rede de passagem interno ou um balanceador de carga de rede de passagem externo regional baseado em serviço de back-end com back-ends de NEG GCE_VM_IP, ele cria e gerencia os NEGs da seguinte maneira:
O GKE cria um NEG
GCE_VM_IPexclusivo em cada zona para cada serviço LoadBalancer. Ao contrário dos grupos de instâncias, os nós podem ser membros de mais de um NEGGCE_VM_IPcom balanceamento de carga.O
externalTrafficPolicydo serviço e o número de nós no cluster determinam quais nós são adicionados como endpoints aos NEGsGCE_VM_IPdo serviço.Para um serviço LoadBalancer IPv6, o GKE preenche o NEG
GCE_VM_IPcom os endereços IPv6 das interfaces de rede do nó.
O plano de controle do cluster gerencia endpoints de nós em NEGs GCE_VM_IP de acordo com o valor de externalTrafficPolicy do Serviço e com o número de nós no cluster, conforme resumido nas tabelas a seguir.
Nós no balanceador de carga de rede de passagem interna
externalTrafficPolicy |
Número de nós no cluster | Associação de endpoint |
|---|---|---|
Cluster |
1 a 25 nodes | O GKE usa todos os nós do cluster como endpoints para os NEGs do serviço, mesmo que um nó não contenha um pod de exibição para o serviço. |
Cluster |
Mais de 25 nós | O GKE usa um subconjunto aleatório de até 25 nós como endpoints para o(s) NEG(s) do serviço, mesmo que um nó não contenha um pod de exibição para o Serviço. |
Local |
qualquer número de nós1 | O GKE usa apenas nós que têm pelo menos um dos pods de exibição do serviço como endpoints para os NEGs do serviço. |
1Limitado a 250 nós com pods de exibição. Mais de 250 nós podem estar presentes no cluster, mas os balanceadores de carga de rede de passagem interna só são distribuídos para 250 VMs de back-end quando a subconfiguração de back-end do balanceador de carga de rede interno está desativado. Mesmo com a subconfiguração do GKE ativada, o GKE nunca configura os balanceadores de carga de rede de passagem interna com a subconfiguração de back-end do balanceador de carga de rede interno de passagem. Para detalhes sobre esse limite, consulte Número máximo de instâncias de VM por serviço de back-end interno.
Nós no balanceador de carga de rede de passagem externo regional
externalTrafficPolicy |
Número de nós no cluster | Associação de endpoint |
|---|---|---|
Cluster |
1 a 250 nós | O GKE usa todos os nós do cluster como endpoints para os NEGs do serviço, mesmo que um nó não contenha um pod de exibição para o serviço. |
Cluster |
Mais de 250 nós | O GKE usa um subconjunto aleatório de até 250 nós como endpoints para o(s) NEG(s) do serviço, mesmo que um nó não contenha um pod de exibição para o Serviço. |
Local |
qualquer número de nós1 | O GKE usa apenas nós que têm pelo menos um dos pods de exibição do serviço como endpoints para os NEGs do serviço. |
1Limitado a 3.000 nós com pods de exibição. Mais de 3.000 nós podem estar presentes no cluster, mas o GKE só é compatível com a criação de até 3.000 endpoints ao criar balanceadores de carga de rede de passagem externa regionais baseados em serviço de back-end que usam back-ends de NEG GCE_VM_IP.
Limitação única de grupos de instâncias com carga balanceada
A API Compute Engine proíbe VMs de serem membros de mais de um grupo de instâncias com carga balanceada. Os nós do GKE estão sujeitos a essa restrição.
Ao usar back-ends de grupos de instâncias não gerenciadas, o GKE cria ou atualiza grupos de instâncias não gerenciadas com todos os nós de todos os pools de nós em cada zona que o cluster usa. Esses grupos de instâncias não gerenciadas são back-ends para os seguintes balanceadores de carga criados pelo GKE:
- Um balanceador de carga de rede de passagem interno criado para um serviço LoadBalancer interno com o manifesto
com a anotação
networking.gke.io/load-balancer-type: "Internal", enviado para um cluster que executa uma versão do GKE anterior à 1.36, com a criação de subconjuntos do GKE desativada. - Um balanceador de carga de rede de passagem externa regional baseado em serviço de back-end criado para um serviço LoadBalancer externo cujo manifesto tem a anotação
cloud.google.com/l4-rbs: "enabled", enviado a um cluster que executa uma versão do GKE anterior a 1.32.2-gke.1652000. - Um balanceador de carga de aplicativo externo criado para uma Entrada externa do GKE, usando o controlador de Entrada do GKE, mas não usando o balanceamento de carga nativo de contêiner.
Como as VMs de nós não podem ser membros de mais de um grupo de instâncias com carga balanceada, o GKE não pode criar e gerenciar balanceadores de carga de rede de passagem interna, balanceadores de carga de rede de passagem externa regionais baseados em serviço de back-end e balanceadores de carga de aplicativo externos criados para recursos do Ingress do GKE se uma das seguintes opções for verdadeira:
- Fora do GKE, você criou pelo menos um balanceador de carga baseado em serviço de back-end e usou os grupos de instâncias gerenciadas do cluster como back-ends para o serviço de back-end do balanceador de carga.
- Fora do GKE, você cria um grupo personalizado de instâncias não gerenciadas que contém alguns ou todos os nós do cluster e, em seguida, anexa esse grupo personalizado a um serviço de back-end para um balanceador de carga.
Para contornar essa limitação, é possível instruir o GKE a usar back-ends de NEG:
- Crie serviços LoadBalancer que usem NEGs
GCE_VM_IP. Para mais informações, consulte Agrupamento de nós. - Configure recursos externos do Ingress do GKE para usar o balanceamento de carga nativo do contêiner. Para mais informações, consulte Balanceamento de carga nativo do contêiner do GKE.
Verificações de integridade do balanceador de carga
Todos os serviços do GKE LoadBalancer implementam uma verificação de integridade do balanceador de carga. O sistema de verificação de integridade do balanceador de carga opera fora do cluster e é diferente de uma sondagem de prontidão, atividade ou inicialização de pod.
Os pacotes de verificação de integridade do balanceador de carga são respondidos pelo software kube-proxy
(em clusters que não usam o GKE Dataplane V2) ou pelo software cilium-agent
(em clusters com o GKE Dataplane V2) em execução em cada nó. As verificações de integridade do balanceador de carga para serviços LoadBalancer não podem ser respondidas
por pods.
O externalTrafficPolicy do serviço determina quais nós passam na verificação de integridade do balanceador de carga. Para mais informações sobre como o balanceador de carga usa
as informações de verificação de integridade, consulte Distribuição de tráfego.
externalTrafficPolicy |
Quais nós passam na verificação de integridade | Qual porta é usada |
|---|---|---|
Cluster |
Todos os nós do cluster passam na verificação de integridade, incluindo nós sem pods de exibição. Se houver pelo menos um pod de exibição em um nó, ele vai passar na verificação de integridade do balanceador de carga, seja qual for o estado do pod. | A porta de verificação de integridade do balanceador de carga precisa ser a porta TCP 10256. Ela não pode ser personalizada. |
Local |
A verificação de integridade do balanceador de carga considera um nó íntegro se houver pelo menos um pod de exibição pronto e não encerrado no nó, independentemente do estado de qualquer outro pod. Nós sem um pod de exibição, nós com pods de exibição falham em sondagens de prontidão e nós com pods de exibição em encerramento são reprovados na verificação de integridade do balanceador de carga. Durante as transições de estado, um nó ainda passa na verificação de integridade do balanceador de carga até que o limite não íntegro da verificação de integridade do balanceador de carga seja atingido. O estado de transição ocorre quando todos os pods de exibição em um nó começam a falhar nas sondagens de prontidão ou quando todos os pods de exibição em um nó são encerrados. O modo como o pacote é processado nesta situação depende da versão do GKE. Para mais detalhes, consulte a próxima seção, Processamento de pacotes. |
O plano de controle do Kubernetes atribui a porta de verificação de integridade do intervalo de portas do nó, a menos que você especifique uma porta de verificação de integridade personalizada. |
Quando o balanceamento de carga ponderado está ativado, o balanceador de carga usa informações de integridade e peso para identificar o conjunto de back-ends de nós qualificados. Para mais informações, consulte Efeito do balanceamento de carga ponderado.
Quando a afinidade zonal está ativada, o balanceador de carga pode refinar o conjunto de back-ends de nós qualificados. Para mais informações, consulte Afinidade zonal.
Verificação de integridade de NEG x MIG
O tipo de back-end usado pelo serviço LoadBalancer determina como o Google Cloud configura e executa as verificações de integridade do balanceador de carga:
- Subcriação do GKE (back-ends de NEG): quando o serviço usa grupos de endpoints de rede (NEGs)
GCE_VM_IP, como quando a subcriação do GKE está ativada, o GKE configura verificações de integridade zonais. Para NEGs zonais, as sondagens de verificação de integridade têm como alvo direto a porta do Serviço. - Configurações do grupo de instâncias (back-ends de MIG): quando o serviço usa grupos de instâncias não gerenciadas (MIGs) como back-ends, o GKE configura verificações de integridade globais. Para grupos de instâncias, as sondagens de verificação de integridade têm como alvo o
nodePortalocado do Serviço.
Solução de problemas de falhas na verificação de integridade
Se os back-ends do balanceador de carga forem relatados como não íntegros (por exemplo, exibindo 0/X healthy no console do Google Cloud ), investigue as seguintes causas comuns:
- Regras de firewall ausentes: os balanceadores de carga do Google Cloud exigem regras de firewall de permissão de entrada para que as sondagens de verificação de integridade dos intervalos de endereços IP de verificação de integridade do Google (como
130.211.0.0/22e35.191.0.0/16) alcancem os nós do cluster. Se essas regras de firewall forem excluídas ou modificadas, as verificações de integridade vão falhar. - Incompatibilidade de porta de destino da sondagem: todas as regras de segurança de rede personalizadas ou configurações de firewall no nível do nó precisam considerar a porta de destino correta da verificação de integridade. As sondagens segmentam a porta do Serviço diretamente para back-ends de NEG, mas segmentam o
nodePortpara back-ends de grupo de instâncias (MIG). Uma incompatibilidade na configuração de porta esperada faz com que as sondagens falhem. - Comportamento de
externalTrafficPolicy: Local: se o Serviço estiver configurado com a definiçãoexternalTrafficPolicy: Local, os nós que não hospedarem um pod pronto e em exibição para esse Serviço vão falhar intencionalmente na verificação de integridade do balanceador de carga. Se todos os pods do Serviço estiverem indisponíveis ou sendo encerrados no cluster, todos os nós de back-end serão relatados como não íntegros (0/X healthy).
Intervalos de sondagem de verificação de integridade para serviços LoadBalancer IPv6
As sondagens de verificação de integridade para serviços LoadBalancer IPv6 vêm de intervalos de origem diferentes das sondagens IPv4. O GKE cria regras de firewall de permissão de entrada para os seguintes intervalos de origem IPv6:
2600:2d00:1:b029::/64para balanceadores de carga de rede de passagem interna.2600:1901:8001::/48para balanceadores de carga de rede de passagem externa regionais.
Se você gerenciar suas próprias regras de firewall, será necessário permitir a entrada desses intervalos para os nós do cluster. Caso contrário, as verificações de integridade dos serviços LoadBalancer IPv6 vão falhar.
Processamento de pacotes
As seções a seguir detalham como o balanceador de carga e os nós do cluster trabalham juntos para rotear pacotes recebidos para os serviços LoadBalancer.
Balanceamento de carga de passagem
Os balanceadores de carga de rede de passagem roteiam pacotes para a interface nic0 dos nós do cluster do GKE. Cada pacote com carga balanceada recebida por um nó tem as seguintes características:
- O endereço IP de destino do pacote corresponde ao endereço IP da regra de encaminhamento do balanceador de carga.
- O protocolo e a porta de destino do pacote correspondem a estes dois protocolos:
- um protocolo e uma porta especificados em
spec.ports[]do manifesto do serviço - um protocolo e uma porta configurados na regra de encaminhamento do balanceador de carga
- um protocolo e uma porta especificados em
Conversão de endereços de rede de destino nos nós
Depois que o nó recebe o pacote, ele realiza esse processamento extra. Em clusters do GKE que não usam o GKE Dataplane V2,
os nós usam iptables para processar pacotes com carga balanceada. Em
clusters do GKE com o GKE Dataplane V2 ativado, os nós usam
eBPF. O processamento de pacotes
no nível do nó sempre inclui as seguintes ações:
- O nó executa a conversão de endereços de rede de destino (DNAT, na sigla em inglês) no pacote, definindo o endereço IP de destino como um endereço IP do pod de exibição.
- O nó altera a porta de destino do pacote para
targetPortdospec.ports[]do serviço correspondente.
Conversão de endereços de rede de origem e roteamento em nós
A tabela a seguir mostra a relação entre externalTrafficPolicy
e se o nó que recebeu pacotes com balanceamento de carga executa a conversão de endereços de rede de origem (SNAT) antes de enviar os pacotes com balanceamento de carga para um pod:
externalTrafficPolicy |
Comportamento de SNAT |
|---|---|
Cluster |
Em clusters do GKE que não usam o GKE Dataplane V2, cada nó que recebe pacotes com balanceamento de carga sempre altera o endereço IP de origem desses pacotes para corresponder ao endereço IP do nó, seja ele roteado para um pod local ou um pod em um nó diferente. Nos clusters do GKE que usam o GKE Dataplane V2, cada nó que recebeu pacotes com balanceamento de carga altera o endereço IP de origem desses pacotes para corresponder ao endereço IP do nó somente se o nó de recebimento rotear os pacotes para um pod em um nó diferente. Se o nó que recebeu pacotes com carga balanceada rotear os pacotes para um pod local, o nó não vai alterar o endereço IP de origem desses pacotes. |
Local |
Cada nó que recebeu pacotes com carga balanceada roteia os pacotes exclusivamente para um pod local, e o nó não altera o endereço IP de origem desses pacotes. |
A tabela a seguir mostra como externalTrafficPolicy controla como os nós roteiam
pacotes com balanceamento de carga e pacotes de resposta:
externalTrafficPolicy |
Roteamento de pacotes com balanceamento de carga | Roteamento de pacotes de resposta |
|---|---|---|
Cluster |
Veja a seguir o comportamento de referência para rotear pacotes com balanceamento de carga:
Em clusters regionais, se o nó que recebeu pacotes com balanceamento de carga encaminhar pacotes para um nó diferente, a afinidade zonal terá o seguinte efeito:
Como último recurso, se não houver pods de exibição, prontos e não encerrados para o Serviço em todos os nós do cluster, ocorrerá o seguinte:
|
Os pacotes de resposta são sempre enviados de um nó usando o retorno direto do servidor:
|
Local |
Veja a seguir o comportamento de referência para rotear pacotes com carga balanceada: o nó que recebeu pacotes com carga balanceada geralmente tem um pod de exibição, pronto e não encerrado (porque ter esse pod é necessário para passar na verificação de integridade do balanceador de carga). O nó roteia pacotes com balanceamento de carga para um pod local. Em clusters regionais, a afinidade zonal não altera o comportamento de referência para rotear pacotes com carga balanceada. Como último recurso, se não houver pods de exibição, prontos e não encerrados para o Serviço no nó que recebeu pacotes com balanceamento de carga, ocorrerá o seguinte:
|
O nó com o pod de exibição é sempre o nó que recebeu os pacotes com balanceamento de carga, e esse nó envia os pacotes de resposta usando o retorno direto do servidor. |
1 Os endpoints de encerramento de proxy estão ativados nestas configurações:
- Clusters do GKE que não usam o GKE Dataplane V2: GKE versão 1.26 e posterior
- Clusters do GKE que usam o GKE Dataplane V2: GKE versão 1.26.4-gke.500 e posterior
Preços e cotas
Os preços de rede se aplicam aos pacotes processados por um balanceador de carga. Para mais informações, consulte Preços do Cloud Load Balancing e de regras de encaminhamento. Também é possível estimar as cobranças de faturamento usando a Google Cloud calculadora de preços.
O número de regras de encaminhamento que você pode criar é controlado por cotas do balanceador de carga:
- Os balanceadores de carga de rede de passagem interna usam a cota de serviços de back-end por projeto, a cota de verificações de integridade por projeto e as regras de encaminhamento do balanceador de carga de rede de passagem interna por cota de rede da nuvem privada virtual.
- Os balanceadores de carga de rede de passagem externa regional baseados em serviço de back-end usam a cota de serviços de back-end por projeto, a cota de verificações de integridade por projeto e a cota de regras de encaminhamento do balanceador de carga de rede de passagem externa regional por projeto.
- Os balanceadores de carga de rede de passagem externa regional baseados em pool de destino usam a cota de pools de destino por projeto, a cota de verificações de integridade por projeto e a cota de regras de encaminhamento do balanceador de carga de rede de passagem externa regional por projeto.
A seguir
- Saiba mais sobre os parâmetros de serviço LoadBalancer.
- Saiba como configurar um balanceador de carga interno.
- Leia uma visão geral da Entrada para balanceadores de carga de aplicativo.
- Saiba como usar NEGs independentes.
- Saiba mais sobre a API Gateway.