Crea un bilanciatore del carico interno tra le reti VPC

Questa pagina spiega come creare un bilanciatore del carico di rete passthrough interno su Google Kubernetes Engine (GKE) tra reti VPC.

Prima di leggere questa pagina, assicurati di avere familiarità con i seguenti concetti:

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Abilita l'API Google Kubernetes Engine.
    • Abilita l'API Google Kubernetes Engine
  • Per utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.

Crea un bilanciatore del carico interno con Private Service Connect

In qualità di producer di servizi, puoi utilizzare i collegamenti al servizio per rendere i tuoi servizi disponibili ai consumer di servizi in altre reti VPC utilizzando Private Service Connect. Puoi creare, gestire ed eliminare i service attachment utilizzando una risorsa personalizzata ServiceAttachment. Il controller GKE Private Service Connect monitora la risorsa ServiceAttachment e crea, aggiorna o elimina automaticamente una risorsa ServiceAttachment corrispondente in Compute Engine.

Requisiti e limitazioni

  • Si applicano le limitazioni per Private Service Connect.
  • Puoi creare un collegamento del servizio in GKE versione 1.21.4-gke.300 e successive.
  • Il cluster deve avere il componente aggiuntivo HttpLoadBalancing abilitato. I nuovi cluster GKE hanno il componente aggiuntivo HttpLoadBalancing abilitato per impostazione predefinita.
  • Non puoi utilizzare la stessa subnet in più configurazioni di collegamento del servizio.
  • Devi creare un servizio GKE che utilizzi un bilanciatore del carico di rete passthrough interno.
  • Il servizio GKE deve utilizzare un solo protocollo. I servizi GKE con protocollo misto non sono supportati.
  • Non puoi specificare una subnet in un progetto diverso (VPC condiviso) per le versioni di GKE precedenti alla 1.22.4-gke.100. Per il VPC condiviso, assicurati che siano soddisfatti tutti i requisiti per il VPC condiviso.
  • Dopo aver creato un collegamento del servizio, non puoi aggiornare il bilanciatore del carico interno. Per modificare le configurazioni del bilanciatore del carico, devi eliminare e ricreare l'allegato del servizio.

Crea un ServiceAttachment

  1. Crea una subnet.

    Devi creare una nuova subnet per ogni ServiceAttachment.

    gcloud compute networks subnets create SUBNET_NAME \
    --project PROJECT_ID \
    --network NETWORK_NAME \
    --region REGION \
    --range SUBNET_RANGE \
    --purpose PRIVATE_SERVICE_CONNECT

    Sostituisci quanto segue:

    • SUBNET_NAME: il nome della nuova subnet. Nelle versioni di GKE 1.22.4-gke.100 e successive, puoi specificare una subnet in un progetto diverso utilizzando l'URL della risorsa completamente qualificato per questo campo. Puoi ottenere l'URL completo della risorsa utilizzando il comando gcloud compute networks subnets describe.
    • PROJECT_ID: l'ID del tuo Google Cloud progetto.
    • NETWORK_NAME: il nome della rete VPC per la subnet.
    • REGION: la regione della nuova subnet. Devi utilizzare la stessa regione del servizio che crei.
    • SUBNET_RANGE: l'intervallo di indirizzi IP da utilizzare per la subnet.

  2. Esegui il deployment di un workload.

    Il seguente manifest descrive un deployment che esegue un'immagine container di un'applicazione web di esempio. Salva il manifest come my-deployment.yaml:

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: psc-ilb
spec:
  replicas: 3
  selector:
    matchLabels:
      app: psc-ilb
  template:
    metadata:
      labels:
        app: psc-ilb
    spec:
      containers:
      - name: whereami
        image: us-docker.pkg.dev/google-samples/containers/gke/whereami:v1
        ports:
          - name: http
            containerPort: 8080
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 5
          timeoutSeconds: 1

  3. Applica il manifest al tuo cluster:

    kubectl apply -f my-deployment.yaml

  4. Crea un servizio. Il seguente manifest descrive un servizio che crea un bilanciatore del carico di rete passthrough interno sulla porta TCP 8080. Salva il manifest come my-service.yaml:

     apiVersion: v1
 kind: Service
 metadata:
   name: SERVICE_NAME
   annotations:
     networking.gke.io/load-balancer-type: "Internal"
 spec:
   type: LoadBalancer
   selector:
     app: psc-ilb
   ports:
   - port: 80
     targetPort: 8080
     protocol: TCP

    Sostituisci quanto segue:

    • SERVICE_NAME: il nome del nuovo servizio.

  5. Applica il manifest al tuo cluster:

    kubectl apply -f my-service.yaml

  6. Crea ServiceAttachment.

    Il seguente manifest descrive un ServiceAttachment che espone il servizio che hai creato ai consumer di servizi. Salva il manifest come my-psc.yaml:

    apiVersion: networking.gke.io/v1
kind: ServiceAttachment
metadata:
 name: SERVICE_ATTACHMENT_NAME
 namespace: default
spec:
 connectionPreference: ACCEPT_AUTOMATIC
 natSubnets:
 - SUBNET_NAME
 proxyProtocol: false
 reconcileConnections: false  # set to true to enable connection reconciliation
 resourceRef:
   kind: Service
   name: SERVICE_NAME

    Sostituisci quanto segue:

    • SERVICE_ATTACHMENT_NAME: il nome del nuovo allegato di servizio.
    • SUBNET_NAME: il nome della nuova subnet. In GKE versione 1.22.4-gke.100 e successive, puoi specificare una subnet in un progetto diverso utilizzando l'URL della risorsa con nome completo per questo campo. Puoi ottenere l'URL completo della risorsa utilizzando il comando gcloud compute networks subnets describe. Per una configurazione di VPC condiviso, utilizza il seguente formato: projects/HOST_PROJECT_ID/regions/COMPUTE_REGION/subnetworks/SUBNET_NAME.

    Per ulteriori informazioni sui campi del manifest, consulta i campi del collegamento al servizio.

  7. Applica il manifest al tuo cluster:

    kubectl apply -f my-psc.yaml

  8. Verifica che il controller Private Service Connect abbia creato il collegamento del servizio:

    gcloud compute service-attachments list

    L'output mostra un collegamento al servizio con un nome generato automaticamente:

    NAME        REGION       PRODUCER_FORWARDING_RULE          CONNECTION_PREFERENCE
k8s1-sa-... REGION_NAME  a3fea439c870148bdba5e59c9ea9451a  ACCEPT_AUTOMATIC

Visualizza un ServiceAttachment

Puoi visualizzare i dettagli di un ServiceAttachment utilizzando il seguente comando:

kubectl describe serviceattachment SERVICE_ATTACHMENT_NAME

L'output è simile al seguente:

Name:        <sa-name>
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  networking.gke.io/v1beta1
Kind:         ServiceAttachment
Metadata:
  ...
Status:
  Forwarding Rule URL:      https://www.googleapis.com/compute/beta/projects/<project>/regions/<region>/forwardingRules/<fr-name>
  Last Modified Timestamp:  2021-07-08T01:32:39Z
  Service Attachment URL:   https://www.googleapis.com/compute/beta/projects/<projects>/regions/<region>/serviceAttachments/<gce-service-attachment-name>
Events:                     <none>

Consuma un ServiceAttachment

Per utilizzare il servizio da un altro progetto:

  1. Ottieni l'URL di ServiceAttachment:

    kubectl get serviceattachment SERVICE_ATTACHMENT_NAME -o=jsonpath="{.status.serviceAttachmentURL}"

    L'output è simile al seguente:

      serviceAttachmentURL: https://www.googleapis.com/compute/alpha/projects/<project>/region/<region>/serviceAttachments/k8s1-...my-sa

  2. Crea un endpoint Private Service Connect utilizzando l'URL di ServiceAttachment.

  3. Verifica di poterti connettere al servizio che hai deployment nel progetto producer utilizzando un comando curl da una VM nel progetto consumer:

    curl PSC_IP_ADDRESS

    Sostituisci PSC_IP_ADDRESS con l'indirizzo IP della regola di forwarding nel progetto consumer.

    L'output è simile al seguente:

    {
  "cluster_name":"cluster",
  "host_header":"10.128.15.200",
  "node_name":"gke-psc-default-pool-be9b6e0e-dvxg.c.gke_project.internal",
  "pod_name":"foo-7bf648dcfd-l5jf8",
  "pod_name_emoji":"👚",
  "project_id":"gke_project",
  "timestamp":"2021-06-29T21:32:03",
  "zone":"ZONE_NAME"
}

Aggiornare un ServiceAttachment

Per aggiornare un ServiceAttachment, segui questi passaggi:

  1. Modifica il manifest ServiceAttachment in my-psc.yaml:

    apiVersion: networking.gke.io/v1
kind: ServiceAttachment
metadata:
  name: my-sa
  namespace: default
spec:
  connectionPreference: ACCEPT_AUTOMATIC
  natSubnets:
  - my-nat-subnet
  proxyProtocol: false
  resourceRef:
    kind: Service
    name: ilb-service

  2. Applica il manifest al tuo cluster:

    kubectl apply -f my-psc.yaml

Elimina un ServiceAttachment

Non puoi eliminare un bilanciatore del carico di rete passthrough interno connesso a un collegamento al servizio. Devi eliminare il collegamento al servizio e il servizio GKE separatamente.

  1. Elimina l'allegato del servizio:

    kubectl delete serviceattachment SERVICE_ATTACHMENT_NAME --wait=false

    Questo comando contrassegna il collegamento di servizio per l'eliminazione, ma la risorsa continua a esistere. Puoi anche attendere il completamento dell'eliminazione omettendo il flag --wait.

  2. Elimina il servizio:

    kubectl delete svc SERVICE_NAME

  3. Elimina la subnet:

    gcloud compute networks subnets delete SUBNET_NAME

ServiceAttachment campi

ServiceAttachment ha i seguenti campi:

  • connectionPreference: la preferenza di connessione che determina il modo in cui i clienti si connettono al servizio. Puoi utilizzare l'approvazione automatica del progetto utilizzando ACCEPT_AUTOMATIC o l'approvazione esplicita del progetto utilizzando ACCEPT_MANUAL. Per saperne di più, consulta Pubblicazione di servizi tramite Private Service Connect.
  • natSubnets: un elenco di nomi di risorse di subnet da utilizzare per il collegamento del servizio.
  • proxyProtocol: se impostato su true, l'IP di origine del consumer e l'ID connessione Private Service Connect sono disponibili nelle richieste. Questo campo è facoltativo e il valore predefinito è false se non viene fornito.
  • reconcileConnections (anteprima): se impostato su true, le modifiche agli elenchi di accettazione o rifiuto del consumer di servizi terminano automaticamente le connessioni esistenti non autorizzate. Se impostato su false, le modifiche interessano solo le nuove connessioni. Questo campo è facoltativo e il valore predefinito è false. Questo campo è supportato a partire dalla versione 1.36.0-gke.2459000 di GKE e versioni successive.
  • consumerAllowList: l'elenco dei progetti consumer autorizzati a connettersi a ServiceAttachment. Questo campo può essere utilizzato solo quando connectionPreference è ACCEPT_MANUAL. Per ulteriori informazioni su questo campo, consulta Pubblicazione di servizi utilizzando Private Service Connect.
    • project: l'ID o il numero del progetto consumer.
    • connectionLimit: il limite di connessioni per il progetto consumer. Questo campo è facoltativo.
    • forceSendFields: i nomi dei campi da inviare da includere nelle richieste API. Questo campo è facoltativo.
    • nullFields: i nomi dei campi da includere nelle richieste API con un valore null. Questo campo è facoltativo.
  • consumerRejectList: l'elenco degli ID progetto o dei numeri dei progetti consumer che non sono autorizzati a connettersi a ServiceAttachment. Questo campo può essere utilizzato solo quando connectionPreference è ACCEPT_MANUAL. Per saperne di più su questo campo, consulta Pubblicazione di servizi utilizzando Private Service Connect.

  • resourceRef: un riferimento alla risorsa Kubernetes.

    • kind: il tipo di risorsa Kubernetes. Devi utilizzare Service.
    • name: il nome della risorsa Kubernetes che deve trovarsi nello stesso spazio dei nomi del bilanciatore del carico di rete passthrough interno.

Risoluzione dei problemi

Puoi visualizzare i messaggi di errore utilizzando il seguente comando:

kubectl get events -n NAMESPACE

Sostituisci NAMESPACE con lo spazio dei nomi del bilanciatore del carico di rete passthrough interno.

Errore durante l'eliminazione del bilanciatore del carico di rete passthrough interno

Se provi a eliminare un bilanciatore del carico di rete passthrough interno utilizzato da un collegamento del servizio, viene visualizzato un messaggio di errore simile al seguente: Devi eliminare il ServiceAttachment prima di poter eliminare il bilanciatore del carico di rete passthrough interno.

Error syncing load balancer: failed to ensure load balancer: googleapi:
Error 400: The forwarding_rule resource '<fwd-rule-URL>' is already being used
by '<svc-attachment-URL>', resourceInUseByAnotherResource.

Errore durante l'attivazione dell'accesso globale

Potresti riscontrare un errore quando attivi l'accesso globale per un bilanciatore del carico di rete passthrough interno che utilizza un collegamento di servizio Private Service Connect.

Sintomo:

Quando attivi l'accesso globale aggiornando il manifest del servizio GKE e impostando l'annotazione networking.gke.io/internal-load-balancer-allow-global-access: "true", l'aggiornamento non va a buon fine quando applichi il manifest. Quando esegui il comando kubectl get events, visualizzi il seguente messaggio di errore:

Error syncing load balancer: failed to ensure load balancer: googleapi: Error 400: The forwarding_rule resource '...' is already being used by '...', resourceInUseByAnotherResource

Motivo:

Questo errore si verifica perché il control plane GKE tenta di ricreare la regola di forwarding del bilanciatore del carico per abilitare l'accesso globale. Tuttavia, poiché la regola di forwarding è utilizzata da un ServiceAttachment, non può essere eliminata e ricreata, il che genera l'errore.

Soluzione temporanea:

Per attivare l'accesso globale sul bilanciatore del carico riducendo al minimo i tempi di inattività, devi aggiornare la configurazione del servizio GKE e aggiornare manualmente la regola di forwarding:

  1. Aggiorna il manifest del servizio GKE: aggiorna il manifest del servizio GKE in modo che includa l'annotazione networking.gke.io/internal-load-balancer-allow-global-access: "true".

  2. Attiva manualmente l'accesso globale alla regola di forwarding: segui i passaggi descritti in Attivare l'accesso globale per aggiornare la regola di forwarding del bilanciatore del carico utilizzando la consoleGoogle Cloud , Google Cloud CLI o l'API Compute Engine.

Campo ReconcileConnections non sincronizzato

Se hai attivato manualmente il campo ReconcileConnections nella risorsa ServiceAttachment di Compute Engine, ma lo hai omesso dal manifest Kubernetes, il campo viene impostato sul valore predefinito false. Il controller GKE non sovrascrive il valore del campo.

Sintomo:

La risorsa Kubernetes ServiceAttachment ha l'annotazione networking.gke.io/unsynced-field: ReconcileConnections. Quando esegui il comando kubectl get events, viene visualizzato un evento di avviso simile al seguente:

Field "ReconcileConnections" is not specified in the ServiceAttachment CR but has a value in GCE. The controller will not overwrite this field until it is explicitly set in the CR.

Soluzione temporanea:

Per risolvere questo avviso e sincronizzare i valori, esegui una delle seguenti azioni:

  • Aggiorna la risorsa ServiceAttachment GKE: aggiorna il manifest ServiceAttachment GKE in modo che includa reconcileConnections: true (o false se vuoi disabilitarlo).
  • Aggiorna la risorsa ServiceAttachment di Compute Engine: imposta manualmente il campo reconcileConnections su false.

Passaggi successivi