Configurar o NAT granular do GKE

Neste documento, mostramos como configurar o NAT granular do Google Kubernetes Engine (GKE) para atribuir endereços IP de saída dedicados a namespaces específicos do Kubernetes.

Com o NAT granular, é possível configurar endereços IP externo de origem específicos para o Public NAT ou endereços IP internos de origem específicos para o Private NAT, com tecnologia de gateways do Cloud NAT.

Para configurar o NAT granular, declare suas políticas de roteamento usando dois recursos personalizados com escopo de cluster:

  • CloudNATGateway: use esse recurso para provisionar um novo gateway público ou nuvem privada do Cloud NAT para o cluster ou para configurar o cluster para usar um gateway do Cloud NAT atual. O gateway do Cloud NAT precisa estar localizado na região do cluster e na rede VPC.
  • TrafficSelector: use esse recurso para definir as regras de rota de saída mapeando namespaces de origem (namespaceSelector) e CIDRs de destino para um CloudNATGateway de destino.

Antes de começar

Antes de configurar o NAT granular do GKE, conclua os seguintes pré-requisitos:

  • Verifique os requisitos do cluster: verifique se o cluster nativo de VPC está executando o GKE versão 1.37.1-gke.2611000 ou posterior com o GKE Dataplane V2 ativado. O NAT granular do GKE é compatível com clusters do Autopilot e Standard, além de clusters regionais e zonais.
  • Verifique as permissões do IAM:
    • Verifique se você tem o papel de administrador do Kubernetes Engine (roles/container.admin) no cluster para aplicar recursos personalizados.
    • Se você estiver usando uma VPC compartilhada: o administrador do projeto host precisa conceder ao agente de serviço do GKE do projeto de serviço (service-SERVICE_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com) o papel de Administrador de rede do Compute (roles/compute.networkAdmin) na política do IAM do projeto host. Esse papel permite que o GKE crie e gerencie os gateways do Cloud NAT, os Cloud Routers e os endereços IP subjacentes na rede VPC compartilhada. As redes VPC independentes não exigem essa concessão manual.
  • Atualize as regras de firewall para incluir endereços IP de link local, se necessário: antes que os pacotes de saída saiam de um nó, o NAT granular do GKE converte o endereço IP de origem em um endereço de link local no intervalo 169.254.32.0/20. Se a organização aplicar regras de firewall personalizadas estritas, verifique se elas acomodam esse comportamento:
    • Regras de saída: evite especificar um parâmetro de origem em regras de permissão de saída em que os destinos são nós de cluster. Se você especificar um parâmetro de origem, inclua o intervalo de endereços link-local (169.254.32.0/20).
    • Regras de entrada: evite especificar o parâmetro de destino em regras de permissão de entrada em que os destinos são nós de cluster. Se você especificar um parâmetro de destino, inclua o intervalo de endereços link-local (169.254.32.0/20).
  • Tráfego intra-VPC: verifique se os recursos TrafficSelector não incluem CIDRs de destino de intervalos de sub-rede na rede VPC do cluster ou em outra rede VPC conectada usando o peering de rede VPC. O Private NAT só oferece conectividade para spokes do NCC ou conectividade usando o Hybrid NAT.
  • Requisitos de rota de VPC: para cada CIDR a ser processado pelo Public NAT, a rede VPC do cluster precisa incluir uma rota estática em que o intervalo de destino inclua o CIDR e o próximo salto seja o gateway de Internet padrão.

Limitações

  • Granularidade no nível do namespace: é possível aplicar políticas de NAT granular do GKE apenas no nível do namespace do Kubernetes. Na versão de pré-lançamento, não é possível selecionar pods ou contas de serviço individuais usando seletores de rótulos em um namespace.
  • Capacidade de regras de gateway: cada gateway do Cloud NAT é compatível com até 128 regras de NAT, o que permite configurar políticas para até 128 namespaces distintos do GKE por gateway. Se o cluster exigir políticas de saída para mais de 128 namespaces, provisione mais gateways.
  • Limitações do Cloud NAT: consulte as limitações padrão do Cloud NAT, já que elas também se aplicam ao tráfego de saída do NAT granular. Para mais informações, consulte as limitações do Public NAT e do Private NAT.

Ativar o NAT granular do GKE em um cluster

É possível ativar o NAT granular ao criar um cluster ou atualizar um cluster atual.

Criar um novo cluster

Piloto automático

Para criar um cluster com o NAT granular e o GKE Dataplane V2 ativados, execute o seguinte comando:

gcloud container clusters create-auto "CLUSTER_NAME" \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-granular-nat \
    --network-suite=STANDARD

Substitua:

  • CLUSTER_NAME: o nome do novo cluster;
  • LOCATION_FLAG: especifique --region para um cluster regional.
  • LOCATION: a região ou zona do Compute Engine do cluster (por exemplo, us-central1 ou us-central1-a).
  • VPC_NETWORK_NAME: o nome da sua rede VPC.

Padrão

Para criar um cluster com o NAT granular e o GKE Dataplane V2 ativados, execute o seguinte comando:

gcloud container clusters create <var>CLUSTER_NAME</var> \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-dataplane-v2 \
    --enable-granular-nat \
    --network-suite=STANDARD

Substitua:

  • CLUSTER_NAME: o nome do novo cluster;
  • LOCATION_FLAG: especifique --region para um cluster regional ou --zone para um cluster zonal.
  • LOCATION: a região ou zona do Compute Engine do cluster (por exemplo, us-central1 ou us-central1-a).
  • VPC_NETWORK_NAME: o nome da sua rede VPC.

Atualizar um cluster atual

Piloto automático

Para ativar o NAT granular em um cluster, execute o seguinte comando:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat

Substitua:

  • CLUSTER_NAME: o nome do cluster atual.
  • LOCATION_FLAG: especifique --region se o cluster atual for regional ou --zone se for zonal.
  • LOCATION: a região ou zona do Compute Engine em que o cluster está localizado.

Padrão

Para ativar o NAT granular em um cluster Standard, execute o seguinte comando:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat \
    --network-suite=STANDARD

Substitua:

  • CLUSTER_NAME: o nome do cluster atual.
  • LOCATION_FLAG: especifique --region se o cluster atual for regional ou --zone se for zonal.
  • LOCATION: a região ou zona do Compute Engine em que o cluster está localizado.

Configurar o Granular NAT público com endereços IP de saída externos estáticos

Configure o NAT granular público quando as cargas de trabalho em namespaces separados precisarem apresentar endereços IP públicos estáticos e distintos para serviços externos de terceiros, como APIs de parceiros ou gateways de pagamento que aplicam listas de permissões de endereços IP estritas.

  1. Crie um Cloud Router regional para o gateway do Cloud NAT. O GKE não cria o Cloud Router automaticamente para você.

    gcloud compute routers create ROUTER_NAME \
        --network=VPC_NETWORK_NAME \
        --region=REGION
    

    Substitua:

    • ROUTER_NAME: o nome do novo Cloud Router regional.
    • VPC_NETWORK_NAME: o nome da sua rede VPC.
    • REGION: a região do Compute Engine em que o cluster está localizado (por exemplo, us-central1).
  2. Reserve endereços IP externo estáticos na mesma região do cluster do GKE para alocar endereços IP de saída externos dedicados para os namespaces, bem como um endereço IP padrão para o gateway:

    gcloud compute addresses create nat-ip-default \
        --region=REGION
    gcloud compute addresses create nat-ip-1 \
        --region=REGION
    gcloud compute addresses create nat-ip-2 \
        --region=REGION
    

    Substitua REGION pela região do Compute Engine em que o cluster está localizado (por exemplo, us-central1).

  3. Salve o manifesto a seguir como cloud-nat-public.yaml para definir um gateway regional gerenciado do Cloud NAT:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-managed
    spec:
      type: Public
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      publicNATOptions:
        defaultNatExternalIPs:
        - name: nat-ip-default
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
        tcpTransitoryTimeoutSeconds: 30
        tcpTimeWaitSeconds: 120
        icmpTimeoutSeconds: 30
      portOptions:
        minPortsPerVM: 32
        maxPortsPerVM: 65536
      logOptions:
        enable: true
        filter: ALL
    

    Substitua:

    • PROJECT_ID: o ID do projeto Google Cloud .
    • REGION: a região do Compute Engine em que o cluster e o Cloud Router estão localizados.
    • ROUTER_NAME: o nome do Cloud Router.
  4. Salve o manifesto a seguir como traffic-selectors-public.yaml para mapear cada namespace de destino ao endereço IP do Public NAT designado:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    Nesses manifestos:

    • A anotação cloud.google.com/cloud-nat especifica qual endereço IP externo estático reservado traduz o tráfego de saída para o namespace correspondente.
    • O campo namespaceSelector.matchLabels corresponde aos rótulos aplicados aos namespaces de destino do Kubernetes.
    • A lista egress.to.ipBlock.cidrs que contém 0.0.0.0/0 direciona todo o tráfego da internet de saída pelo gateway designado do Cloud NAT.
  5. Aplique os dois manifestos ao cluster:

    kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
    

O GKE provisiona automaticamente o gateway do Cloud NAT, configura as regras de conversão com base nos seletores de carga de trabalho do namespace e atribui os endereços IP externo reservados.

Configurar o Cloud NAT granular particular para conectividade de VPC ou NCC

Use o Cloud NAT granular particular para atribuir intervalos de endereços IP internos específicos para cargas de trabalho que se conectam a redes locais ou a outros spokes de VPC em um hub do NCC.

  1. Crie sub-redes dedicadas com a finalidade PRIVATE_NAT na sua rede VPC:

    gcloud compute networks subnets create private-nat-subnet-1 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.0.0/29 \
        --purpose=PRIVATE_NAT
    
    gcloud compute networks subnets create private-nat-subnet-2 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.1.0/29 \
        --purpose=PRIVATE_NAT
    

    Substitua:

    • REGION: a região do Compute Engine em que o cluster está localizado.
    • VPC_NETWORK_NAME: o nome da sua rede VPC.
  2. Salve o manifesto a seguir como cloud-nat-private.yaml para criar um recurso CloudNATGateway particular:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-private-managed
    spec:
      type: Private
      privateNATOptions:
        # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center
        hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
    

    Substitua:

    • PROJECT_ID: o ID do projeto Google Cloud .
    • HUB_NAME: opcional. O nome do hub do Network Connectivity Center. Especifique isso apenas se você estiver roteando o tráfego pelo Network Connectivity Center. Se você não estiver usando o Network Connectivity Center, omita o bloco privateNATOptions por completo.
    • ROUTER_NAME: o nome do Cloud Router.
  3. Salve o manifesto a seguir como traffic-selectors-private.yaml para criar recursos particulares do TrafficSelector que mapeiam seus namespaces para o gateway do Private NAT:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.0.0/24
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.1.0/24
    
  4. Aplique a configuração do Private NAT:

    kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
    

Usar um gateway do Cloud NAT atual

Se você gerencia vários clusters do GKE na mesma rede VPC ou tem clusters que compartilham intervalos de endereços IP secundários de pods, é possível configurar o NAT granular para usar um gateway do Cloud NAT na mesma região e rede VPC. Essa configuração permite que as cargas de trabalho em clusters separados apresentem um pool unificado de endereços IP externo de origem ao se conectarem a endpoints externos.

  1. Liste os gateways do Cloud NAT na sua região para identificar o nome de um gateway, o Cloud Router associado e a rede VPC. A região e a rede VPC precisam corresponder às usadas pelos clusters do GKE:

    gcloud beta compute routers nats list \
        --router=ROUTER_NAME \
        --region=REGION \
        --format=yaml
    

    Substitua:

    • ROUTER_NAME: o nome do Cloud Router que gerencia o gateway atual.
    • REGION: a região do Compute Engine em que o cluster e o gateway estão localizados (por exemplo, us-central1).
  2. Salve o manifesto a seguir como cloud-nat-shared.yaml para vincular o cluster ao gateway atual:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-shared
    spec:
      type: Public # type is a required field even for shared gateways. Can be either Public or Private.
      gatewayName: SHARED_NAT_GATEWAY_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
    

    Substitua:

    • SHARED_NAT_GATEWAY_NAME: o nome do gateway do Cloud NAT.
    • PROJECT_ID: o ID do projeto Google Cloud .
    • REGION: a região do Compute Engine em que o cluster e o gateway estão localizados.
    • ROUTER_NAME: o nome do Cloud Router regional que gerencia o gateway atual.
  3. Salve o manifesto a seguir como traffic-selector-shared.yaml para rotear o tráfego de saída do namespace pelo gateway compartilhado:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-shared-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-shared
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: NAMESPACE_APP_LABEL
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    Substitua:

    • NAT_IP_NAME: o nome do endereço IP estático externo reservado configurado no gateway compartilhado.
    • NAMESPACE_APP_LABEL: o rótulo aplicado ao namespace de destino do Kubernetes.
  4. Aplique os manifestos a cada cluster do GKE que precisa compartilhar o gateway:

    kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml
    

    Repita essa etapa em cada cluster em que as cargas de trabalho no namespace selecionado precisam sair pelo gateway compartilhado.

Limpar e desativar o NAT granular

Para evitar cobranças contínuas de faturamento e recursos órfãos do Google Cloud , siga uma ordem estrita de operações ao remover o NAT granular do cluster.

Para limpar os recursos do NAT granular, siga estas etapas:

  1. Exclua os recursos TrafficSelector criados pelo usuário:

    Exclua os recursos personalizados TrafficSelector que você criou para seus namespaces. Não use a sinalização --all, porque a exclusão de seletores criados pelo sistema (como gnat-intra-cluster ou gnat-default-internet) pode interromper o tráfego do cluster.

    kubectl delete trafficselector SELECTOR_NAME
    

    Substitua SELECTOR_NAME pelo nome do recurso TrafficSelector.

    Os controladores de NAT granular se coordenam com a rede do Google Cloud para excluir as regras de NAT e os mapeamentos de carga de trabalho específicos associados aos seus namespaces.

    Verifique se todos os recursos do TrafficSelector foram encerrados antes de continuar.

  2. Exclua os recursos do CloudNATGateway:

    Exclua todos os recursos personalizados do CloudNATGateway no cluster:

    kubectl delete cloudnatgateway --all
    
    • Gateways gerenciados: o GKE exclui automaticamente o gateway do Cloud NAT em Google Cloud depois que todas as regras de conversão são removidas.
    • Gateways compartilhados: o GKE limpa as regras NAT relevantes associadas aos namespaces. O GKE não remove as associações de endereços IP secundários de pods do cluster, e o gateway compartilhado do Cloud NAT permanece ativo para outros clusters.
  3. Desative o recurso no cluster:

    Depois que todos os recursos personalizados do Granular NAT forem completamente removidos, desative o recurso no cluster:

    gcloud container clusters update CLUSTER_NAME \
        --location=LOCATION \
        --no-enable-granular-nat
    

    Substitua:

    • CLUSTER_NAME: o nome do cluster.
    • LOCATION: a região ou zona do Compute Engine em que o cluster está localizado (por exemplo, us-central1 ou us-central1-a).

Solução de problemas

Se você tiver problemas de conectividade, use os métodos a seguir para diagnosticar falhas na configuração do NAT granular e no plano de dados.

Verificar o status e os registros do recurso

  • Inspecione o status do recurso personalizado: verifique se há condições de erro nos recursos personalizados CloudNATGateway ou TrafficSelector:

    kubectl describe cloudnatgateway GATEWAY_NAME
    kubectl describe trafficselector SELECTOR_NAME
    

    Substitua:

    • GATEWAY_NAME: o nome do recurso CloudNATGateway.
    • SELECTOR_NAME: o nome do recurso TrafficSelector.
  • Revise as regras do Cloud NAT: verifique se as regras do seletor de cargas de trabalho do GKE estão ativas no gateway do Cloud NAT:

    gcloud beta compute routers nats rules list \
        --router=ROUTER_NAME \
        --nat=NAT_NAME \
        --region=REGION \
        --format=yaml
    

    Substitua:

    • ROUTER_NAME: o nome do Cloud Router regional.
    • NAT_NAME: o nome do gateway do Cloud NAT.
    • REGION: a região do Compute Engine em que os recursos estão localizados.
  • Analisar os registros do Cloud NAT: se o tráfego de saída for descartado ou não for convertido, visualize as entradas de registro do Cloud NAT no Cloud Logging. Filtre o campo gke_workload_identity para correlacionar eventos de conexão diretamente a namespaces específicos do GKE.

Para mais informações sobre como diagnosticar erros gerais do Cloud NAT, consulte Solução de problemas do Cloud NAT.

A seguir