Attivazione della modalità di bilanciamento del carico manuale

Ti consigliamo di configurare una delle seguenti modalità di bilanciamento del carico:

  • Con la modalità integrata, Google Distributed Cloud fornisce e gestisce il bilanciatore del carico. Non è necessario ottenere una licenza per un bilanciatore del carico e la configurazione da eseguire è minima.

  • In modalità manuale, Google Distributed Cloud utilizza un bilanciatore del carico di tua scelta, ad esempio F5 BIG-IP o Citrix. La modalità di bilanciamento manuale del carico richiede una configurazione più complessa rispetto alla modalità in bundle.

Il bilanciamento manuale del carico è supportato per i seguenti tipi di cluster:

  • Cluster utente con Controlplane V2 abilitato. Con Controlplane V2, i nodi del control plane per un cluster utente si trovano nel cluster utente stesso.

  • Cluster utente che utilizzano kubeception. Il termine kubeception si riferisce al caso in cui il control plane di un cluster utente viene eseguito su uno o più nodi nel cluster di amministrazione. Se il control plane v2 non è abilitato, un cluster utente utilizza kubeception.

Questo documento descrive i passaggi da seguire se scegli di utilizzare la modalità di bilanciamento del carico manuale.

In questo documento, metti da parte gli indirizzi IP per i nodi del control plane e i nodi worker per un utilizzo successivo. Inoltre, riserva gli indirizzi IP per gli IP virtuali (VIP) e decidi i valori NodePort. L'idea è che tu scelga gli indirizzi IP e i valori NodePort che vuoi utilizzare e poi li registri in un foglio di lavoro o in un altro strumento. Quando è tutto pronto per creare i cluster, avrai bisogno degli indirizzi IP e dei valori NodePort per compilare i file di configurazione per il tuo cluster di amministrazione e il tuo cluster utente, nonché i file dei blocchi IP per i tuoi cluster.

Avrai anche bisogno degli indirizzi IP e dei valori NodePort quando configuri manualmente il bilanciatore del carico per i cluster utente.

Configura un tipo diverso di bilanciatore del carico per il control plane

Nella versione 1.32 e successive, quando il cluster avanzato è abilitato, puoi facoltativamente configurare un tipo diverso di bilanciatore del carico per il control plane quando crei un nuovo cluster. Per ulteriori informazioni, consulta le seguenti risorse:

Riserva indirizzi IP dei nodi

Con il bilanciamento manuale del carico, non puoi utilizzare DHCP. Devi specificare indirizzi IP statici per i nodi del cluster. Devi riservare un numero sufficiente di indirizzi per i nodi nel cluster di amministrazione e per i nodi in tutti i cluster utente che intendi creare. Per informazioni dettagliate su quanti indirizzi IP dei nodi riservare, consulta Pianifica gli indirizzi IP (Controlplane V2) e Pianifica gli indirizzi IP (kubeception).

Configura gli indirizzi IP

La posizione in cui configuri gli indirizzi IP statici che hai riservato dipende dal tipo di cluster e dall'abilitazione o meno di Controlplane V2 nei cluster utente.

Cluster di amministrazione ad alta affidabilità

La tabella seguente descrive a cosa servono gli indirizzi IP e dove configurarli per i cluster di amministrazione ad alta affidabilità.

IP statici Configurazione
Nodi del control plane

Se il cluster utilizza domini di topologia, aggiungi gli indirizzi IP in un file di blocco IP per il cluster di amministrazione e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster di amministrazione.

Se il cluster non utilizza domini di topologia, aggiungi gli indirizzi IP nel file di configurazione del cluster di amministrazione nella sezione network.controlPlaneIPBlock.ips.

1.16 e versioni precedenti: nodi dei componenti aggiuntivi File del blocco IP del cluster di amministrazione e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster di amministrazione

Nella versione 1.28 e successive, i nuovi cluster di amministrazione ad alta affidabilità non hanno nodi aggiuntivi, quindi non è necessario riservare indirizzi IP per i nodi aggiuntivi come nelle versioni precedenti.

Cluster di amministrazione non ad alta disponibilità

La tabella seguente descrive a cosa servono gli indirizzi IP e dove configurarli per i cluster di amministrazione non ad alta affidabilità.

IP statici Configurazione
Nodo del control plane File del blocco IP del cluster di amministrazione e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster di amministrazione
Nodi aggiuntivi File del blocco IP del cluster di amministrazione

Nella versione 1.28 e successive, tutti i nuovi cluster di amministrazione devono essere cluster ad alta affidabilità (HA) con 3 nodi del control plane.

Cluster utente CP V2

La tabella seguente descrive a cosa servono gli indirizzi IP e dove configurarli per i cluster utente con Controlplane V2 abilitato.

IP statici Configurazione
Nodi del control plane

Se il cluster utilizza domini di topologia, aggiungi gli indirizzi IP in un file di blocco IP per il cluster utente e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster utente

Se il cluster non utilizza domini di topologia, aggiungi gli indirizzi IP nel file di configurazione del cluster utente nella sezione network.controlPlaneIPBlock.ips.

Nodi worker File del blocco IP del cluster utente e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster utente

Cluster utente Kubeception

La tabella seguente descrive a cosa servono gli indirizzi IP e dove configurarli per i cluster utente che utilizzano kubeception.

IP statici Configurazione
Nodi del control plane File del blocco IP del cluster di amministrazione e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster di amministrazione
Nodi worker File del blocco IP del cluster utente e aggiungi il percorso nel campo network.ipMode.ipBlockFilePath nel file di configurazione del cluster utente

Nella versione 1.30 e successive, Controlplane V2 è obbligatorio per i nuovi cluster utente.

Riserva di indirizzi IP per i VIP

Indipendentemente dal fatto che utilizzi la modalità di bilanciamento del carico integrata, in bundle o manuale, devi riservare diversi indirizzi IP che intendi utilizzare per gli IP virtuali (VIP) per il bilanciamento del carico. Questi VIP consentono ai client esterni di raggiungere i server API Kubernetes e il servizio in entrata sui cluster utente.

Configura i VIP

La posizione in cui configuri i VIP dipende dal tipo di cluster.

Cluster di amministrazione ad alta affidabilità

La tabella seguente descrive lo scopo del VIP e dove configurarlo per i cluster di amministrazione ad alta affidabilità.

VIP Configurazione
VIP per il server API Kubernetes del cluster di amministrazione File di configurazione del cluster di amministrazione nel campo loadBalancer.vips.controlPlaneVIP
1.15 e versioni precedenti: VIP dei componenti aggiuntivi File di configurazione del cluster di amministrazione nel campo loadBalancer.vips.addonsVIP

Tieni presente le seguenti differenze tra le versioni:

  • Nella versione 1.16 e successive, non è necessario configurare un VIP dei componenti aggiuntivi per i cluster di amministrazione HA.

  • Nella versione 1.28 e successive, i nuovi cluster di amministrazione HA non hanno nodi aggiuntivi.

Cluster di amministrazione non ad alta disponibilità

La tabella seguente descrive lo scopo del VIP e dove configurarlo per i cluster di amministrazione non ad alta disponibilità.

VIP Configurazione
VIP per il server API Kubernetes del cluster di amministrazione File di configurazione del cluster di amministrazione nel campo loadBalancer.vips.controlPlaneVIP
1.15 e versioni precedenti: VIP dei componenti aggiuntivi File di configurazione del cluster di amministrazione nel campo loadBalancer.vips.addonsVIP

Tieni presente le seguenti differenze tra le versioni:

Nella versione 1.16 e successive, non è necessario configurare un VIP dei componenti aggiuntivi per i cluster di amministrazione non ad alta affidabilità.

Cluster utente CP V2

La tabella seguente descrive lo scopo dei VIP e dove configurarli per i cluster utente con Controlplane V2 abilitato.

VIP Configurazione
VIP per il server API Kubernetes del cluster utente File di configurazione del cluster utente nel campo loadBalancer.vips.controlPlaneVIP
VIP per il servizio in entrata nel cluster utente File di configurazione del cluster utente nel campo loadBalancer.vips.ingressVIP

Cluster utente Kubeception

La tabella seguente descrive lo scopo dei VIP e dove configurarli per i cluster utente che utilizzano kubeception.

VIP Configurazione
VIP per il server API Kubernetes del cluster utente File di configurazione del cluster utente nel campo loadBalancer.vips.controlPlaneVIP
VIP per il servizio in entrata nel cluster utente File di configurazione del cluster utente nel campo loadBalancer.vips.ingressVIP

Riserva i valori NodePort

In Google Distributed Cloud, il server API Kubernetes e il servizio in entrata sono esposti dai servizi Kubernetes. Con la modalità di bilanciamento manuale del carico, devi scegliere i tuoi valori NodePort per questi servizi. Scegli valori compresi nell'intervallo 30000-32767.

Configura i valori NodePort

La posizione in cui configuri i valori NodePort dipende dal fatto che il cluster utente abbia ControlPlane V2 abilitato.

Cluster di amministrazione ad alta affidabilità

La tabella seguente descrive lo scopo di NodePort e dove configurarlo per i cluster di amministrazione ad alta disponibilità.

nodePort Configurazione
1.15 e versioni precedenti: nodePort per i nodi dei componenti aggiuntivi File di configurazione del cluster di amministrazione nel campo loadBalancer.manualLB.addonsNodePort

Nella versione 1.16 e successive, non è necessario configurare un NodePort per i nodi aggiuntivi per i cluster di amministrazione ad alta disponibilità.

Cluster di amministrazione non ad alta disponibilità

La tabella seguente descrive a cosa servono i valori NodePort e dove configurarli per i cluster di amministrazione non ad alta affidabilità.

nodePort Configurazione
1.16 e versioni precedenti: nodePort per il server API Kubernetes del cluster di amministrazione 1.15 e versioni precedenti: file di configurazione del cluster di amministrazione nel campo loadBalancer.vips.controlPlaneNodePort
1.15 e versioni precedenti: nodePort per i nodi dei componenti aggiuntivi File di configurazione del cluster di amministrazione nel campo loadBalancer.manualLB.addonsNodePort

Nella versione 1.16 e successive, non è necessario configurare un NodePort per i nodi aggiuntivi per i cluster di amministrazione non ad alta disponibilità.

Cluster utente CP V2

La tabella seguente descrive a cosa servono i NodePort e dove li configuri per i cluster utente con Controlplane V2 abilitato. Nella versione 1.30 e successive, non è necessario configurare i valori per i NodePort in entrata.

nodePorts Configurazione
HTTP nodePort per il servizio in entrata nel cluster utente File di configurazione del cluster utente in loadBalancer.manualLB.ingressHTTPNodePort
HTTPS nodePort per il servizio in entrata nel cluster utente File di configurazione del cluster utente in loadBalancer.manualLB.ingressHTTPSNodePort

Cluster utente Kubeception

La tabella seguente descrive a cosa servono i valori NodePort e dove configurarli per i cluster utente che utilizzano kubeception.

nodePort Configurazione
nodePort per il server API Kubernetes del cluster utente File di configurazione del cluster utente nel campo loadBalancer.manualLB.controlPlaneNodePort
nodePort per il server Konnectivity del cluster utente (il server Konnectivity utilizza il VIP del control plane) File di configurazione del cluster utente nel campo loadBalancer.manualLB.konnectivityServerNodePort
HTTP nodePort per il servizio in entrata nel cluster utente File di configurazione del cluster utente in loadBalancer.manualLB.ingressHTTPNodePort
HTTPS nodePort per il servizio in entrata nel cluster utente File di configurazione del cluster utente in loadBalancer.manualLB.ingressHTTPSNodePort

File di configurazione del cluster di esempio

L'esempio seguente mostra una parte di un file di configurazione del cluster utente e di amministrazione:

Cluster di amministrazione ad alta affidabilità

  • Versione 1.16 e successive:

    network:
      controlPlaneIPBlock:
        netmask: "255.255.248.0"
        gateway: "21.0.143.254"
        ips:
        - ip: "21.0.140.226"
          hostname: "admin-cp-vm-1"
        - ip: "21.0.141.48"
          hostname: "admin-cp-vm-2"
        - ip: "21.0.141.65"
          hostname: "admin-cp-vm-3"
    loadBalancer:
      vips:
        controlPlaneVIP: "172.16.21.40"
      kind: ManualLB
    
  • La versione 1.15 e precedenti richiedono un VIP e un NodePort per i nodi aggiuntivi.

    network:
      controlPlaneIPBlock:
        netmask: "255.255.248.0"
        gateway: "21.0.143.254"
        ips:
        - ip: "21.0.140.226"
          hostname: "admin-cp-vm-1"
        - ip: "21.0.141.48"
          hostname: "admin-cp-vm-2"
        - ip: "21.0.141.65"
          hostname: "admin-cp-vm-3"
    loadBalancer:
      vips:
        controlPlaneVIP: "172.16.21.40"
        addonsVIP: "203.0.113.4"
      kind: ManualLB
      manualLB:
        addonsNodePort: 31405
    

Cluster di amministrazione non ad alta disponibilità

  • Versione 1.16 e successive:

    network:
      ipMode:
        type: static
        ipBlockFilePath: "ipblock-admin.yaml"
    loadBalancer:
      vips:
        controlPlaneVIP: "172.16.21.40"
      kind: ManualLB
      manualLB:
        controlPlaneNodePort: 30562
    
  • La versione 1.15 e precedenti richiedono un VIP e un NodePort per i nodi aggiuntivi.

    network:
    ipMode:
      type: static
      ipBlockFilePath: "ipblock-admin.yaml"
    loadBalancer:
    vips:
      controlPlaneVIP: "172.16.21.40"
      addonsVIP: "172.16.21.41"
    kind: ManualLB
    manualLB:
      controlPlaneNodePort: 30562
      addonsNodePort: 30563
    

Cluster utente CP V2

network:
  ipMode:
    type: static
    ipBlockFilePath: "ipblock1.yaml"
  controlPlaneIPBlock:
    netmask: "255.255.255.0"
    gateway: "172.16.21.1"
    ips:
    - ip: "172.16.21.6"
      hostname: "cp-vm-1"
    - ip: "172.16.21.7"
      hostname: "cp-vm-2"
    - ip: "172.16.21.8"
      hostname: "cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "172.16.21.40"
    ingressVIP: "172.16.21.30"
  kind: ManualLB
  manualLB:
    ingressHTTPNodePort: 30243
    ingressHTTPSNodePort: 30879

Cluster utente Kubeception

network:
  ipMode:
    type: static
    ipBlockFilePath: "ipblock1.yaml"
loadBalancer:
  vips:
    controlPlaneVIP: "172.16.21.40"
    ingressVIP: "172.16.21.30"
  kind: ManualLB
  manualLB:
    ingressHTTPNodePort: 30243
    ingressHTTPSNodePort: 30879
    konnectivityServerNodePort: 30563
    controlPlaneNodePort: 30562

Configura il bilanciatore del carico

Utilizza la console di gestione o gli strumenti del bilanciatore del carico per configurare le seguenti mappature nel bilanciatore del carico. La modalità dipende dal bilanciatore del carico.

Cluster di amministrazione ad alta affidabilità

Traffico verso i nodi del control plane

La mappatura che devi configurare dipende dal fatto che tu abbia abilitato i cluster avanzati quando crei il cluster di amministrazione.

  • Se i cluster avanzati non sono abilitati: Google Distributed Cloud gestisce automaticamente il bilanciamento del carico del traffico del control plane per i cluster di amministrazione ad alta affidabilità. Anche se non è necessario configurare una mappatura nel bilanciatore del carico, devi specificare un indirizzo IP nel campo loadBalancer.vips.controlPlaneVIP.

  • Se i cluster avanzati sono abilitati, devi configurare il bilanciatore del carico come segue:

    1. Specifica un indirizzo IP nel campo loadBalancer.vips.controlPlaneVIP.

    2. Configura la seguente mappatura:

      • (controlPlaneVIP:443) -> (CONTROL_PLANE_NODE_IP_ADDRESSES:6433)
    3. Assicurati che il controllo di integrità del backend sia configurato correttamente. Il controllo di integrità deve utilizzare HTTPS e controllare l'endpoint /readyz sulla porta 6443. Il controllo di integrità deve verificare che questo endpoint restituisca il codice di stato 200 per considerare il nodo integro.

Traffico verso i servizi nei nodi del componente aggiuntivo

1.15 e versioni precedenti: di seguito è riportata la mappatura agli indirizzi IP e ai valori NodePort per il traffico verso i servizi nei nodi aggiuntivi:

  • (addonsVIP:8443) -> (NODE_IP_ADDRESSES:addonsNodePort)

Aggiungi questa mappatura per tutti i nodi del cluster di amministrazione, sia i nodi del control plane sia i nodi dei componenti aggiuntivi.

Nella versione 1.16 e successive, non è necessario configurare questa mappatura per i nodi dei componenti aggiuntivi per i cluster di amministrazione ad alta affidabilità.

Cluster di amministrazione non ad alta disponibilità

Traffico del control plane

Di seguito è riportata la mappatura all'indirizzo IP e al valore NodePort per il nodo del control plane:

  • (controlPlaneVIP:443) -> (NODE_IP_ADDRESSES:controlPlaneNodePort)

Aggiungi questa mappatura per tutti i nodi nel cluster di amministrazione, sia il nodo del control plane sia i nodi componente aggiuntivo.

Traffico verso i servizi nei nodi del componente aggiuntivo

1.15 e versioni precedenti: di seguito è riportata la mappatura agli indirizzi IP e ai valori NodePort per i servizi in esecuzione nei nodi dei componenti aggiuntivi:

  • (addonsVIP:8443) -> (NODE_IP_ADDRESSES:addonsNodePort)

Aggiungi questa mappatura per tutti i nodi nel cluster di amministrazione, sia il nodo del control plane sia i nodi componente aggiuntivo.

Nella versione 1.16 e successive, non è necessario configurare questa mappatura per i nodi dei componenti aggiuntivi per i cluster di amministrazione non ad alta disponibilità.

Cluster utente CP V2

Traffico del control plane

La mappatura che devi configurare dipende dal fatto che tu attivi o meno i cluster avanzati quando crei il cluster utente.

  • Se i cluster avanzati non sono abilitati: Google Distributed Cloud gestisce automaticamente il bilanciamento del carico del traffico del control plane per i cluster utente. Anche se non è necessario configurare una mappatura nel bilanciatore del carico, devi specificare un indirizzo IP nel campo loadBalancer.vips.controlPlaneVIP.

  • Se i cluster avanzati sono abilitati, devi configurare il bilanciatore del carico come segue:

    1. Specifica un indirizzo IP nel campo loadBalancer.vips.controlPlaneVIP.

    2. Configura la seguente mappatura:

      • (controlPlaneVIP:443) -> (CONTROL_PLANE_NODE_IP_ADDRESSES:6433)
    3. Assicurati che il controllo di integrità del backend sia configurato correttamente. Il controllo di integrità deve utilizzare HTTPS e controllare l'endpoint /readyz sulla porta 6443. Il controllo di integrità deve verificare che questo endpoint restituisca il codice di stato 200 per considerare il nodo integro.

Traffico del piano dati

La mappatura che devi configurare dipende dall'abilitazione o meno dei cluster avanzati durante la creazione del cluster utente.

  • Se i cluster avanzati non sono abilitati, segui questi passaggi prima di creare il cluster:

    1. Nel file di configurazione del cluster utente, configura loadBalancer.vips.ingressVIP, loadBalancer.manualLB.ingressHTTPNodePort e loadBalancer.manualLB.ingressHTTPSNodePort.

    2. Nel bilanciatore del carico, configura le mappature degli indirizzi IP alle porte per ogni NodePort in entrata:

      • (ingressVIP:80) -> (NODE_IP_ADDRESSES:ingressHTTPNodePort)
      • (ingressVIP:443) -> (NODE_IP_ADDRESSES:ingressHTTPSNodePort)
  • Se i cluster avanzati sono abilitati, segui questi passaggi:

    1. Prima di creare il cluster, configura loadBalancer.vips.ingressVIP nel file di configurazione del cluster utente. Non è necessario configurare i valori per ogni NodePort in entrata perché non hanno effetto quando sono abilitati i cluster avanzati.

    2. Dopo aver creato il cluster, recupera i valori per ogni NodePort di ingresso:

      kubectl --kubeconfig USER_CLUSTER_KUBECONFIG -n gke-system get service istio-ingress -oyaml
      

      Cerca HTTP e HTTPS nella sezione delle porte nella specifica del servizio e annota i valori NodePort.

    3. Nel bilanciatore del carico, configura le mappature degli indirizzi IP alle porte per ogni NodePort in entrata:

      • (ingressVIP:80) -> (NODE_IP_ADDRESSES:ingressHTTPNodePort)
      • (ingressVIP:443) -> (NODE_IP_ADDRESSES:ingressHTTPSNodePort)

    In entrambi i casi, aggiungi queste mappature per tutti i nodi del control plane e i nodi worker nel cluster utente. Poiché hai configurato i NodePort sul cluster, Kubernetes li apre su tutti i nodi del cluster. Questa configurazione consente a qualsiasi nodo del cluster di gestire il traffico del piano dati.

    Dopo aver configurato le mappature, il bilanciatore del carico rimane in ascolto del traffico sull'indirizzo IP configurato per il VIP in entrata del cluster utente sulle porte HTTP e HTTPS standard. Il bilanciatore del carico instrada le richieste a qualsiasi nodo del cluster. Dopo che una richiesta è stata instradata a uno dei nodi del cluster, il networking interno di Kubernetes prende il sopravvento e instrada la richiesta al pod di destinazione.

Cluster utente Kubeception

Traffico del control plane

Di seguito è riportata la mappatura agli indirizzi IP e ai valori NodePort per il traffico del control plane:

  • (controlPlaneVIP:443) -> (NODE_IP_ADDRESSES:controlPlaneNodePort)
  • (controlPlaneVIP:8132) -> (NODE_IP_ADDRESSES:konnectivityServerNodePort)

Aggiungi questa mappatura per tutti i nodi nel cluster admin, sia per il cluster di amministrazione sia per i nodi del control plane del cluster utente.

Traffico del piano dati

Di seguito è riportata la mappatura agli indirizzi IP e ai valori NodePort per il traffico del piano dati:

  • (ingressVIP:80) -> (NODE_IP_ADDRESSES:ingressHTTPNodePort)
  • (ingressVIP:443) -> (NODE_IP_ADDRESSES:ingressHTTPSNodePort)

Aggiungi queste mappature per tutti i nodi nel cluster utente. Con i cluster utente che utilizzano kubeception, tutti i nodi del cluster sono nodi worker.

Oltre ai requisiti precedenti, ti consigliamo di configurare il bilanciatore del carico in modo che reimposti le connessioni client quando rileva un errore del nodo di backend. Senza questa configurazione, i client del server API Kubernetes possono smettere di rispondere per diversi minuti quando un'istanza del server non è disponibile, il che può causare instabilità nel control plane di Kubernetes.

  • Con F5 BIG-IP, questa impostazione è denominata Action On Service Down (Azione in caso di servizio non disponibile) nella pagina di configurazione del pool di backend.
  • Con HAProxy, questa impostazione è denominata on-marked-down shutdown-sessions nella configurazione del server di backend.
  • Se utilizzi un bilanciatore del carico diverso, consulta la documentazione per trovare l'impostazione equivalente.

Assistenza per il bilanciamento manuale del carico

Google non fornisce assistenza per i bilanciatori del carico configurati utilizzando la modalità di bilanciamento del carico manuale. Se riscontri problemi con il bilanciatore del carico, contatta il fornitore del bilanciatore del carico.

Passaggi successivi