Preparare l'ambiente per i gateway multi-cluster

Autopilot Standard

Questo documento mostra come preparare l'ambiente Google Kubernetes Engine (GKE) per abilitare il controller GKE Gateway multi-cluster. Questo controller è un controller ospitato da Google che esegue il provisioning di bilanciatori del carico esterni e interni per i cluster GKE. Per scoprire come utilizzare le risorse Gateway per il bilanciamento del carico dei container, consulta Eseguire il deployment di gateway o Eseguire il deployment di gateway multi-cluster.

GKE Gateway Controller multi-cluster installa le seguenti GatewayClass multi-cluster nei cluster:

• gke-l7-global-external-managed-mc per i gateway multi-cluster esterni globali
• gke-l7-regional-external-managed-mc per i gateway multi-cluster esterni regionali
• gke-l7-cross-regional-internal-managed-mc per i gateway multi-cluster interni tra regioni
• gke-l7-rilb-mc per i gateway multi-cluster interni regionali
• gke-l7-gxlb-mc per i gateway multi-cluster esterni classici globali

Scopri di più sulle funzionalità delle varie GatewayClass in GKE.

Prezzi

Tutte le risorse Compute Engine di cui è stato eseguito il deployment tramite i controller Gateway vengono addebitate al progetto in cui risiedono i cluster GKE. Il controller Gateway a cluster singolo viene offerto senza costi aggiuntivi nell'ambito dei prezzi di GKE Standard e Autopilot. I prezzi dei gateway multi-cluster sono descritti nella pagina dei prezzi di Gateway multi-cluster e Ingress multi-cluster.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti attività:

• Abilita l'API Google Kubernetes Engine.
Abilita l'API Google Kubernetes Engine
• Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il gcloud components update comando. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
  Nota: per le installazioni esistenti di gcloud CLI assicurati di impostare la compute/region proprietà. Se utilizzi principalmente cluster zonali, imposta invece compute/zone. Se imposti una località predefinita, puoi evitare errori in gcloud CLI come il seguente: One of [--zone, --region] must be supplied: Please specify location. Potresti dover specificare la posizione in determinati comandi se la posizione del cluster è diversa da quella predefinita che hai impostato.

Requisiti del controller GKE Gateway

• L'API Gateway è supportata solo sui cluster nativi di VPC.
• Se utilizzi le GatewayClass regionali o tra regioni, devi abilitare una subnet solo proxy.
• Il cluster deve avere l'add-on HttpLoadBalancing abilitato.
• Se utilizzi Istio, devi eseguire l'upgrade a una delle seguenti versioni:
  • 1.15.2 o versioni successive
  • 1.14.5 o versioni successive
  • 1.13.9 o versioni successive.
• Se utilizzi il VPC condiviso, nel progetto host devi assegnare il ruolo Compute Network User al service account GKE per il progetto di servizio.

Requisiti del gateway multi-cluster

Oltre ai requisiti del controller GKE Gateway, per i deployment di gateway multi-cluster, assicurati di aver eseguito le seguenti attività:

• Abilita l'API Gateway nel cluster di configurazione.
• Abilita Workload Identity Federation for GKE sui cluster.
• Completa i prerequisiti generali del parco risorse per la registrazione dei cluster.

• Abilita le seguenti API richieste per i gateway multi-cluster nel tuo progetto:

  • API Cloud Service Mesh
  • API Multi-cluster Services
  • API Ingress multi-cluster

  Esegui questo comando per abilitare le API richieste, se non sono già abilitate:

  gcloud services enable \
    trafficdirector.googleapis.com \
    multiclusterservicediscovery.googleapis.com \
    multiclusteringress.googleapis.com \
    --project=PROJECT_ID
  

  Sostituisci PROJECT_ID con l'ID progetto in cui sono in esecuzione i cluster GKE.

Nota: Cloud Service Mesh viene utilizzato come infrastruttura di backend per propagare gli endpoint per i servizi multi-cluster, ma le risorse Cloud Service Mesh create dal controller MCS non vengono addebitate al progetto perché MCS è incluso nel costo di GKE.

Restrizioni e limitazioni

Le stesse limitazioni e problemi noti per i gateway a cluster singolo si applicano anche ai gateway multi-cluster.

Oltre alle limitazioni dei gateway a cluster singolo, ai gateway multi-cluster si applicano le seguenti limitazioni:

• Il bilanciamento del carico sui backend in regioni diverse non è supportato con la GatewayClass interna regionale gke-l7-rilb-mc. Per scoprire di più sulle diverse funzionalità supportate da ogni GatewayClass, consulta Funzionalità di GatewayClass.

• Un Service non è supportato come backendRefs con il gateway multi-cluster. Il gateway multi-cluster supporta solo ServiceImport come backendRefs valido.

• Tutti i cluster nel parco risorse devono esistere nel progetto host del parco risorse.

• Il bilanciamento del carico tra progetti non è supportato. Tutti i cluster (cluster di configurazione e cluster di destinazione) collegati allo stesso gateway multi-cluster devono essere sottoposti a deployment nello stesso progetto host o progetto di servizio del VPC condiviso. Per ulteriori informazioni sulle topologie VPC condivise supportate con il gateway multi-cluster, consulta Utilizzare il gateway multi-cluster con il VPC condiviso.

• Il bilanciamento del carico tra VPC non è supportato. Tutti i cluster (cluster di configurazione e cluster di destinazione) collegati allo stesso gateway multi-cluster devono essere sottoposti a deployment nello stesso VPC.

• Il gateway multi-cluster dipende da MCS per la gestione del rilevamento dei servizi tra cluster. Di conseguenza, i servizi esposti dal gateway multi-cluster sono soggetti a tutti i requisiti dei servizi multi-cluster.

• I gateway multi-cluster possono perdere risorse del bilanciatore del carico nei seguenti scenari:

  • La funzionalità Ingress del parco risorse viene aggiornata con un nuovo cluster di configurazione che non ha tutte le risorse Gateway esistenti nel cluster di configurazione corrente.
  • La funzionalità Ingress del parco risorse è disabilitata mentre le risorse Gateway che fanno riferimento a una multi-cluster GatewayClass esistono nel cluster di configurazione.

• Il gateway multi-cluster viene eseguito come servizio globale. Se il controller del gateway multi-cluster rileva un errore del control plane del parco risorse (hub) regionale, risponde con un errore statico e non apporta ulteriori modifiche al bilanciatore del carico finché la regione non torna in servizio.

Quote

GKE Gateway utilizza le quote di Cloud Load Balancing per limitare il numero di risorse che il controller Gateway può creare per gestire il traffico in entrata instradato ai cluster GKE.

Configurare l'ambiente per i gateway multi-cluster

Per completare gli esempi in Eseguire il deployment di gateway multi-cluster sono necessari più cluster GKE. Tutti i cluster sono registrati nello stesso parco risorse in modo che i servizi e i gateway multi-cluster possano operare su di essi.

I passaggi seguenti eseguiranno il deployment di tre cluster GKE in due regioni diverse del progetto:

• us-west1-a/gke-west-1
• us-west1-a/gke-west-2
• us-east1-b/gke-east-1

Verrà creata la seguente topologia del cluster:

Questi cluster GKE vengono utilizzati per dimostrare il bilanciamento del carico multi-regione e la suddivisione del traffico multi-cluster blu/verde utilizzando gateway esterni e interni.

Eseguire il deployment dei cluster

In questi passaggi eseguirai il deployment di tre cluster GKE nelle regioni us-east1 e us-west1.

I cluster verranno registrati nel parco risorse del progetto. Il raggruppamento dei cluster GKE in un parco risorse consente di indirizzarli a un gateway multi-cluster.

1. Crea un cluster GKE in us-west1 denominato gke-west-1:

   gcloud container clusters create gke-west-1 \
       --gateway-api=standard \
       --location=us-west1-a \
       --workload-pool=PROJECT_ID.svc.id.goog \
       --cluster-version=VERSION \
       --enable-fleet \
       --project=PROJECT_ID
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID progetto in cui sono in esecuzione i cluster GKE.
   • VERSION: la versione di GKE, 1.24 o successive.

2. Crea un altro cluster GKE in us-west1 (o nella stessa regione del cluster precedente) denominato gke-west-2:

   gcloud container clusters create gke-west-2 \
       --gateway-api=standard \
       --location=us-west1-a \
       --workload-pool=PROJECT_ID.svc.id.goog \
       --cluster-version=VERSION \
       --enable-fleet \
       --project=PROJECT_ID
   

3. Crea un cluster GKE in us-east1 (o in una regione diversa da quella precedente) denominato gke-east-1

   gcloud container clusters create gke-east-1 \
       --gateway-api=standard \
       --location=us-east1-b \
       --workload-pool=PROJECT_ID.svc.id.goog \
       --cluster-version=VERSION \
       --enable-fleet \
       --project=PROJECT_ID
   

4. Verifica che i cluster siano stati registrati correttamente nel parco risorse:

   gcloud container fleet memberships list --project=PROJECT_ID
   

   L'output sarà simile al seguente:

   NAME        EXTERNAL_ID                           LOCATION
   gke-east-1  45a80b37-4b00-49aa-a68b-b430fce1e3f0  us-east1
   gke-west-2  ac7087a5-f5ee-401e-b430-57f3af141239  us-west1
   gke-west-1  549efe3a-b18e-4eb9-8796-e50b7967cde2  us-west1
   

Nota: se utilizzi un cluster esistente, consulta Abilitare l'API Gateway in un cluster esistente.

Configurare le credenziali del cluster

Questo passaggio configura le credenziali del cluster con nomi memorizzabili. In questo modo è più facile passare da un cluster all'altro quando esegui il deployment delle risorse su più cluster.

1. Recupera le credenziali per i cluster gke-west-1, gke-west-2 e gke-east-1:

   gcloud container clusters get-credentials gke-west-1 --location=us-west1-a --project=PROJECT_ID
   gcloud container clusters get-credentials gke-west-2 --location=us-west1-a --project=PROJECT_ID
   gcloud container clusters get-credentials gke-east-1 --location=us-east1-b --project=PROJECT_ID
   

   Le credenziali vengono archiviate localmente in modo che tu possa utilizzare il client kubectl per accedere ai server API del cluster. Per impostazione predefinita, viene creato un nome generato automaticamente per la credenziale.

2. Rinomina i contesti dei cluster in modo che sia più facile farvi riferimento in un secondo momento:

   kubectl config rename-context gke_PROJECT_ID_us-west1-a_gke-west-1 gke-west-1
   kubectl config rename-context gke_PROJECT_ID_us-west1-a_gke-west-2 gke-west-2
   kubectl config rename-context gke_PROJECT_ID_us-east1-b_gke-east-1 gke-east-1
   

   Sostituisci PROJECT_ID con l'ID progetto in cui sono sottoposti a deployment i cluster.

Abilitare i servizi multi-cluster nel parco risorse

1. Abilita i servizi multi-cluster nel parco risorse per i cluster registrati. In questo modo, il controller MCS viene abilitato per i tre cluster registrati nel parco risorse in modo che possa iniziare ad ascoltare ed esportare i servizi.

   gcloud container fleet multi-cluster-services enable \
       --project PROJECT_ID
   

2. Concedi le autorizzazioni Identity and Access Management (IAM) richieste dal controller MCS:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[gke-mcs/gke-mcs-importer]" \
       --role "roles/compute.networkViewer" \
       --project=PROJECT_ID
   

   Sostituisci PROJECT_ID con l'ID progetto in cui sono sottoposti a deployment i cluster.

3. Verifica che MCS sia abilitato per i cluster registrati. Verranno visualizzate le appartenenze per i tre cluster registrati. Potrebbero essere necessari alcuni minuti prima che vengano visualizzati tutti i cluster.

   gcloud container fleet multi-cluster-services describe --project=PROJECT_ID
   

   L'output è simile al seguente:

   createTime: '2023-10-12T06:14:33.466903587Z'
   membershipStates:
     projects/441323991697/locations/us-east1/memberships/gke-east-1:
       state:
         code: OK
         description: Firewall successfully updated
         updateTime: '2023-10-12T06:15:28.395318091Z'
     projects/441323991697/locations/us-west1/memberships/gke-west-1:
       state:
         code: OK
         description: Firewall successfully updated
         updateTime: '2023-10-12T06:15:30.534594027Z'
     projects/441323991697/locations/us-west1/memberships/gke-west-2:
       state:
         code: OK
         description: Firewall successfully updated
         updateTime: '2023-10-12T06:15:29.110582109Z'
   name: projects/pierre-louis-playground/locations/global/features/multiclusterservicediscovery
   resourceState:
     state: ACTIVE
   spec: {}
   updateTime: '2023-10-12T06:15:31.027276757Z'
   

Abilitare il gateway multi-cluster nel parco risorse

Il controller GKE Gateway multi-cluster gestisce il deployment dei gateway multi-cluster.

Nota: il controller del gateway multi-cluster è responsabile anche della strumentazione delle risorse MulticlusterIngress.

Quando abiliti il controller del gateway multi-cluster, devi selezionare il cluster di configurazione. Il cluster di configurazione è il cluster GKE in cui vengono sottoposte a deployment le risorse Gateway (Gateway, Routes, Policies). È un punto centrale che controlla il routing tra i cluster. Consulta Progettazione del cluster di configurazione per decidere quale cluster scegliere come cluster di configurazione.

1. Abilita il gateway multi-cluster e specifica il cluster di configurazione nel parco risorse. Tieni presente che puoi sempre aggiornare il cluster di configurazione in un secondo momento. Questo esempio specifica gke-west-1 come cluster di configurazione che ospiterà le risorse per i gateway multi-cluster.

   gcloud container fleet ingress enable \
       --config-membership=projects/PROJECT_ID/locations/us-west1/memberships/gke-west-1 \
       --project=PROJECT_ID
   

2. Concedi le autorizzazioni Identity and Access Management (IAM) richieste dal controller del gateway multi-cluster:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member "serviceAccount:[e-mail]" \
       --role "roles/container.admin" \
       --project=PROJECT_ID
   

   Sostituisci PROJECT_ID e PROJECT_NUMBER con l'ID progetto e il numero di progetto in cui sono sottoposti a deployment i cluster.

3. Verifica che il controller GKE Gateway sia abilitato per il parco risorse:

   gcloud container fleet ingress describe --project=PROJECT_ID
   

   L'output è simile al seguente:

   createTime: '2023-10-12T06:23:06.732858524Z'
   membershipStates:
     projects/441323991697/locations/us-east1/memberships/gke-east-1:
       state:
         code: OK
         updateTime: '2023-10-12T06:30:08.815839024Z'
     projects/441323991697/locations/us-west1/memberships/gke-west-1:
       state:
         code: OK
         updateTime: '2023-10-12T06:30:08.815837031Z'
     projects/441323991697/locations/us-west1/memberships/gke-west-2:
       state:
         code: OK
         updateTime: '2023-10-12T06:30:08.815840985Z'
   name: projects/pierre-louis-playground/locations/global/features/multiclusteringress
   resourceState:
     state: ACTIVE
   spec:
     multiclusteringress:
       configMembership: projects/pierre-louis-playground/locations/us-west1/memberships/gke-west-1
   state:
     state:
       code: OK
       description: Ready to use
       updateTime: '2023-10-12T06:23:51.317464415Z'
   updateTime: '2023-10-12T06:30:09.439319551Z'
   

4. Verifica che le GatewayClass esistano nel cluster di configurazione:

   kubectl get gatewayclasses --context=gke-west-1
   

   L'output è simile al seguente:

   NAME                                  CONTROLLER                  ACCEPTED   AGE
   gke-l7-global-external-managed        networking.gke.io/gateway   True       78m
   gke-l7-global-external-managed-mc     networking.gke.io/gateway   True       4m22s
   gke-l7-gxlb                           networking.gke.io/gateway   True       78m
   gke-l7-gxlb-mc                        networking.gke.io/gateway   True       4m23s
   gke-l7-regional-external-managed      networking.gke.io/gateway   True       78m
   gke-l7-regional-external-managed-mc   networking.gke.io/gateway   True       4m22s
   gke-l7-rilb                           networking.gke.io/gateway   True       78m
   gke-l7-rilb-mc                        networking.gke.io/gateway   True       4m22s
   

   Questo output include le GatewayClass gke-l7-global-external-managed-mc, gke-l7-regional-external-managed-mc, gke-l7-gxlb-mc per i gateway multi-cluster esterni e la GatewayClass gke-l7-rilb-mc per i gateway multi-cluster interni.

5. Passa il contesto kubectl al cluster di configurazione:

   kubectl config use-context gke-west-1
   

Ora puoi iniziare a eseguire il deployment dei gateway multi-cluster nel cluster di configurazione.

Utilizzare il gateway multi-cluster con il VPC condiviso

Un gateway multi-cluster può essere sottoposto a deployment anche in un ambiente VPC condiviso, con topologie diverse, a seconda del caso d'uso.

La tabella seguente descrive le topologie di gateway multi-cluster supportate in un ambiente VPC condiviso:

Scenario	Progetto host del parco risorse	Cluster di configurazione	Cluster dei carichi di lavoro
1	Progetto host del VPC condiviso	Progetto host del VPC condiviso	Progetto host del VPC condiviso
2	Progetto di servizio del VPC condiviso	Progetto di servizio del VPC condiviso (uguale al progetto di servizio del parco risorse)	Progetto di servizio del VPC condiviso (uguale al progetto di servizio del parco risorse)

Nota: i servizi multi-cluster possono essere sottoposti a deployment in scenari diversi con un mix di progetto host e progetti di servizio del VPC condiviso. Il gateway multi-cluster non supporta tutte le topologie e richiede che tutti i cluster vengano creati nello stesso progetto host o progetto di servizio del VPC condiviso.

Per creare gateway multi-cluster in un ambiente VPC condiviso, segui questi passaggi:

1. Segui i passaggi per configurare i servizi multi-cluster con il VPC condiviso.

2. Crea ed esporta i servizi. nel cluster di configurazione

3. Se prevedi di utilizzare un gateway interno multi-cluster, crea una subnet solo proxy.

4. Crea il gateway multi-cluster esterno o interno e le HTTPRoute.

Una volta completati questi passaggi, puoi convalidare il deployment, a seconda della topologia.

Risoluzione dei problemi

Questa sezione mostra come risolvere i problemi relativi all'abilitazione del controller del gateway multi-cluster.

Le GatewayClass non sono disponibili nel cluster di configurazione

Quando esegui il comando kubectl get gatewayclasses, potrebbe verificarsi il seguente errore:

error: the server doesn't have a resource type "gatewayclasses"

Per risolvere il problema, installa l'API Gateway nel cluster:

gcloud container clusters update CLUSTER_NAME \
    --gateway-api=standard \
    --location=CONTROL_PLANE_LOCATION

Sostituisci quanto segue:

• CLUSTER_NAME: il nome del tuo cluster.
• CONTROL_PLANE_LOCATION: la località Compute Engine del control plane del tuo cluster. Fornisci una regione per i cluster regionali o una zona per i cluster zonali.

Il controller del gateway multi-cluster non si avvia

Quando abiliti l' API Gateway nel cluster di configurazione e includi i CRD dopo l'abilitazione della funzionalità Ingress del parco risorse, il controller del gateway multi-cluster potrebbe non avviarsi.

Puoi evitare questo problema abilitando l'API Gateway prima di abilitare Ingress del parco risorse. Tuttavia, se hai già abilitato Ingress del parco risorse, risolvi il problema disabilitando e poi riabilitando Ingress del parco risorse:

1. Disabilita Ingress del parco risorse:

   gcloud container fleet ingress disable
   

2. Abilita Ingress del parco risorse:

   gcloud container fleet ingress enable \
       --config-membership=CONFIG_MEMBERSHIP \
       --project=PROJECT_ID
   

Sostituisci quanto segue:

• CONFIG_MEMBERSHIP: l'ID dell'appartenenza o l'identificatore completo dell'appartenenza. Ad esempio, projects/PROJECT_ID/locations/us-west1/memberships/gke-west-1.
• PROJECT_ID: l'ID progetto in cui sono in esecuzione i cluster GKE.

Passaggi successivi

• Scopri come eseguire il deployment di un gateway multi-cluster esterno.
• Esegui il deployment di un gateway multi-cluster interno.
• Esegui il deployment di un gateway multi-cluster per la suddivisione del traffico ponderata.
• Esegui il deployment di un gateway multi-cluster per il bilanciamento del carico basato sulla capacità.