Implementare il modello di rete in modalità flat con supporto BGP

Questo documento descrive come implementare un modello di rete in modalità flat con supporto per Border Gateway Protocol (BGP). Quando implementi un modello di rete con supporto BGP, BGP garantisce dinamicamente che i pod in domini di livello 2 diversi possano comunicare tra loro. La rete in modalità flat con BGP viene talvolta chiamata IP flat dinamico.

Per saperne di più sui modelli di rete in modalità flat, consulta Modelli di rete in modalità flat e in modalità isola.

Come implementare una rete in modalità flat che utilizza BGP

La rete in modalità flat con BGP è abilitata quando crei un nuovo cluster. Non puoi abilitare questa funzionalità per un cluster esistente. Una volta abilitata questa funzionalità, puoi apportare modifiche ad alcune impostazioni di configurazione.

Per implementare un cluster su un modello di rete in modalità flat con supporto BGP:

  1. Modifica il file di configurazione del cluster:

    • Imposta il campo spec.clusterNetwork.advancedNetworking su true.
    • Se vuoi abilitare la rete in modalità flat per IPv4, imposta il campo spec.clusterNetwork.flatIPv4 su true.

      Per un'alternativa, vedi Cluster a doppio stack (isola IPv4, IP flat dinamico IPv6), che configura il cluster con la rete in modalità flat solo per IPv6.

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm
      namespace: cluster-bm
    spec:
      type: user
      ...
      clusterNetwork:
        advancedNetworking: true
        flatIPv4: true
      ...
    

    Quando spec.clusterNetwork.flatIPv4 è impostato su true, il campo spec.clusterNetwork.pods.cidrBlocks viene ignorato e può essere omesso. Tuttavia, devi aggiungere un manifest ClusterCIDRConfigs nel file di configurazione del cluster (per nodo, per pool di nodi e/o per cluster).

  2. Aggiungi un manifest NetworkGatewayGroup al file di configurazione del cluster:

    Specifica gli IP mobili da utilizzare per il peering BGP. Assicurati che il nome della risorsa sia default e che lo spazio dei nomi sia lo spazio dei nomi del cluster.

    ---
    apiVersion: networking.gke.io/v1
    kind: NetworkGatewayGroup
    metadata:
      name: default
      namespace: cluster-bm
    spec:
      floatingIPs:
      - 10.0.1.100
      - 10.0.2.100
    

    La risorsa personalizzata NetworkGatewayGroup gestisce un elenco di uno o più indirizzi IP mobili. Le sessioni di peering BGP vengono avviate dagli indirizzi IP mobili specificati nella risorsa personalizzata NetworkGatewayGroup.

  3. Aggiungi un manifest FlatIPMode al file di configurazione del cluster:

    Il nome della risorsa FlatIPMode deve essere default e lo spazio dei nomi è lo spazio dei nomi del cluster. Il valore peerSelector flatip-peer: "true" corrisponde alle etichette negli oggetti BGPPeer bgppeer1 e bgppeer2 (definiti nel passaggio successivo), quindi entrambi i peer vengono utilizzati per la rete in modalità flat.

    Il seguente manifest FlatIPMode è per la rete in modalità flat con BGP a stack singolo IPv4. Per configurazioni alternative, vedi Esempi di configurazione.

    ---
    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: FlatIPMode
    metadata:
      name: default
      namespace: cluster-bm
    spec:
      enableBGPIPv4: true
      enableBGPIPv6: false
      peerSelector:
        flatip-peer: "true"
    
  4. Aggiungi uno o più manifest BGPPeer al file di configurazione del cluster:

    Scegli i nomi delle risorse, ma tutte le risorse BGPPeer devono trovarsi nello spazio dei nomi del cluster.

    ---
    apiVersion: networking.gke.io/v1
    kind: BGPPeer
    metadata:
      name: bgppeer1
      namespace: cluster-bm
      labels:
        flatip-peer: "true"
    spec:
      localASN: 65001
      peerASN: 65000
      peerIP: 10.0.1.254
      sessions: 2
    ---
    apiVersion: networking.gke.io/v1
    kind: BGPPeer
    metadata:
      name: bgppeer2
      namespace: cluster-bm
      labels:
        flatip-peer: "true"
    spec:
      localASN: 65001
      peerASN: 65000
      peerIP: 10.0.2.254
      sessions: 2
    
  5. Aggiungi un manifest ClusterCIDRConfig al file di configurazione del cluster:

    Anche la risorsa CusterCIDRConfig deve trovarsi nello spazio dei nomi del cluster.

    apiVersion: baremetal.cluster.gke.io/v1alpha1
    kind: ClusterCIDRConfig
    metadata:
      name: cluster-wide-1
      namespace: cluster-bm
    spec:
      ipv4:
        cidr: "192.168.0.0/16"
        perNodeMaskSize: 24
    

    ClusterCIDRConfig è una risorsa personalizzata che specifica gli intervalli CIDR dei pod da allocare dinamicamente ai nodi. Il CNI utilizza gli intervalli CIDR dei pod allocati su un nodo per allocare gli indirizzi IP ai singoli pod in esecuzione sul nodo. Il ClusterCIDRConfig viene utilizzato anche per la rete a doppio stack. Per saperne di più sulla risorsa personalizzata ClusterCIDRConfig, inclusi esempi di utilizzo, consulta Informazioni sulla risorsa personalizzata ClusterCIDRConfig.

  6. Crea il cluster:

    bmctl create cluster
    

    Per saperne di più sulla creazione di cluster, consulta Panoramica della creazione di cluster.

    Se il tuo ambiente supporta BGP multiprotocollo (MP-BGP), le route IPv4 e IPv6 possono essere annunciate su queste sessioni IPv4. Per esempi di configurazioni diverse, inclusi esempi che utilizzano MP-BGP, vedi Esempi di configurazione.

Modificare la configurazione della rete in modalità flat basata su BGP

Dopo aver creato il cluster configurato per utilizzare un modello di rete in modalità flat con BGP, alcune impostazioni di configurazione possono essere aggiornate. Utilizza il file kubeconfig del cluster di amministrazione quando apporti aggiornamenti successivi alle risorse correlate a BGP (NetworkGatewayGroup, FlatIPMode e BGPPeer). Il cluster di amministrazione riconcilia quindi le modifiche al cluster utente. Se modifichi queste risorse direttamente sul cluster utente, il cluster di amministrazione sovrascrive le modifiche nelle riconciliazioni successive.

Esempi di configurazione

Le seguenti sezioni includono esempi di configurazione del cluster per diverse varianti del modello di rete in modalità flat con BGP. I file di configurazione di esempio non sono completi. La maggior parte delle impostazioni del cluster non pertinenti alla rete in modalità flat con BGP sono state omesse.

Cluster IPv4 a stack singolo

Il seguente esempio di file di configurazione del cluster mostra le impostazioni per la configurazione di un cluster IPv4 a stack singolo con rete in modalità flat con BGP:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: true
    services:
      cidrBlocks:
      - 10.96.0.0/12
  ...
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "222.2.0.0/16"
    perNodeMaskSize: 24
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: true
  enableBGPIPv6: false
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Cluster a doppio stack (isola IPv4, IP flat dinamico IPv6)

Il seguente esempio di file di configurazione del cluster mostra le impostazioni per la configurazione di un cluster a doppio stack (IPv4/IPv6) con rete in modalità flat con BGP solo per IPv6:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: false
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 10.96.0.0/12
      # Additional IPv6 CIDR block determines if the cluster is dual-stack
      - 2620:0:1000:2630:5:2::/112
  ... 
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "192.168.0.0/16"
    perNodeMaskSize: 24
  ipv6:
    cidr: "2222:3::/112"
    perNodeMaskSize: 120
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: false
  enableBGPIPv6: true
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Cluster a doppio stack (IP flat dinamico IPv4, IP flat dinamico IPv6)

Il seguente esempio di file di configurazione del cluster mostra le impostazioni per la configurazione di un cluster a doppio stack con rete in modalità flat con BGP:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
  ...
  clusterNetwork:
    advancedNetworking: true
    flatIPv4: true
    pods:
      cidrBlocks:
      - 192.168.0.0/16
    services:
      cidrBlocks:
      - 10.96.0.0/12
      # Additional IPv6 CIDR block determines if the cluster is dual-stack
      - 2620:0:1000:2630:5:2::/112
  ... 
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig          
metadata:
  name: cluster-wide-1
  namespace: cluster-bm          # Must match the cluster namespace
spec:
  ipv4:
    cidr: "222.2.0.0/16"
    perNodeMaskSize: 24
  ipv6:
    cidr: "2222:3::/112"
    perNodeMaskSize: 120
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm           # Must match the cluster namespace
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.3.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: FlatIPMode
metadata:
  name: default
  namespace: cluster-bm            # Must match the cluster namespace
spec:
  enableBGPIPv4: true
  enableBGPIPv6: true
  peerSelector:
    flatipmode-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.1.254
  sessions: 2
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer2
  namespace: cluster-bm            # Must match the cluster namespace
  labels:
    flatipmode-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

Risoluzione dei problemi

Per aiutarti a risolvere i problemi relativi alla rete in modalità flat con BGP, questa sezione include le istruzioni per controllare la configurazione:

  1. Verifica se è stato creato un oggetto FlatIPModes nello spazio dei nomi del cluster nel cluster di amministrazione:

    kubectl get flatipmodes -A --kubeconfig ADMIN_KUBECONFIG
    

    La risposta dovrebbe essere simile alla seguente:

    NAMESPACE                 NAME      AGE
    cluster-bm                default   2d17h
    
  2. Verifica se è stato creato un oggetto flatipmodes.networking.gke.io nel cluster utente:

    L'oggetto flatipmodes.networking.gke.io è con ambito cluster.

    kubectl get flatipmodes.networking.gke.io --kubeconfig USER_KUBECONFIG
    

    La risposta dovrebbe essere simile alla seguente:

    NAME      AGE
    default   2d17h
    
  3. Recupera le risorse BGPSessions per visualizzare le sessioni correnti:

    kubectl get bgpsessions -A --kubeconfig USER_KUBECONFIG
    

    La risposta dovrebbe essere simile alla seguente:

    NAMESPACE     NAME                LOCAL ASN   PEER ASN   LOCAL IP       PEER IP        STATE            LAST REPORT
    kube-system   10.0.1.254-node-01  65500       65000      10.0.1.100     10.0.1.254     Established      2s
    kube-system   10.0.1.254-node-02  65500       65000      10.0.3.100     10.0.1.254     NotEstablished   2s
    kube-system   10.0.3.254-node-01  65500       65000      10.0.1.100     10.0.3.254     NotEstablished   2s
    kube-system   10.0.3.254-node-02  65500       65000      10.0.3.100     10.0.3.254     Established      2s
    
  4. Recupera le risorse BGPAdvertisedRoute per visualizzare le route attualmente pubblicizzate:

    kubectl get bgpadvertisedroutes -A --kubeconfig USER_KUBECONFIG
    

    La risposta dovrebbe essere simile alla seguente:

    NAMESPACE     NAME                     PREFIX         METRIC
    kube-system   route-via-222-22-208-240   222.2.0.0/24   
    kube-system   route-via-222-22-209-240   222.2.1.0/24   
    

    I nomi delle route indicano l'hop successivo. Ad esempio, route-via-222-22-208-240 nella risposta di esempio precedente indica che l'hop successivo per il prefisso annunciato 222.2.0.0/24 è 222.22.208.240.