Controllare il traffico in uscita dai pod utilizzando i criteri di rete FQDN

Questa pagina spiega come controllare la comunicazione in uscita tra i pod e le risorse al di fuori del cluster Google Kubernetes Engine (GKE) utilizzando nomi di dominio completi (FQDN). La risorsa personalizzata che utilizzi per configurare i nomi di dominio completi è la risorsa FQDNNetworkPolicy.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Attiva l'API Google Kubernetes Engine.
    • Attiva l'API Google Kubernetes Engine
  • Se vuoi utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.

Requisiti e limitazioni

Le risorse FQDNNetworkPolicy presentano i seguenti requisiti e limitazioni:

  • Devi avere un cluster GKE che esegue una delle seguenti versioni:
    • 1.26.4-gke.500 o versioni successive
    • 1.27.1-gke.400 o versioni successive
  • Il cluster deve utilizzare GKE Dataplane V2.
    • Devi utilizzare uno dei provider DNS nel tuo cluster GKE, kube-dns o Cloud DNS. I deployment personalizzati di kube-dns o Core DNS non sono supportati.
  • Google Cloud CLI versione 462.0.0 o successive.
  • I node pool Windows non sono supportati.
  • Cloud Service Mesh non è supportato.
  • Se hai indirizzi IP hardcoded nella tua applicazione, utilizza il campo IPBlock di Kubernetes NetworkPolicy anziché un FQDNNetworkPolicy.
  • I risultati restituiti dai server dei nomi DNS non cluster, come i server dei nomi alternativi in resolv.conf, non sono considerati validi per essere programmati nella lista consentita nel data plane GKE.
  • Il numero massimo di indirizzi IP IPv4 e IPv6 a cui può essere risolto un FQDNNetworkPolicy è 50.
  • Non puoi consentire il traffico a un servizio ClusterIP o Headless come destinazione di uscita in un FQDNNetworkPolicy perché GKE traduce l'indirizzo IP virtuale (VIP) del servizio in indirizzi IP dei pod di backend prima di valutare le regole dei criteri di rete. Utilizza invece un NetworkPolicy basato su etichette Kubernetes.
  • Esiste una quota massima di 100 indirizzi IP per nome host.
  • La crittografia trasparente tra nodi non è supportata con le policy di rete FQDN.
  • Le policy di rete FQDN che utilizzano la corrispondenza di pattern corrispondono solo ai sottodomini allo stesso livello del carattere jolly. Ad esempio, pattern: *.company.com corrisponde a api.company.com o store.company.com, ma non a eu.api.company.com o company.com.

Abilita la policy di rete FQDN

Puoi abilitare la policy di rete FQDN su un cluster nuovo o esistente.

Abilita la policy di rete FQDN in un nuovo cluster

Crea il cluster utilizzando il flag --enable-fqdn-network-policy:

gcloud container clusters create CLUSTER_NAME  \
    --enable-fqdn-network-policy

Sostituisci CLUSTER_NAME con il nome del cluster.

Abilitare la policy di rete FQDN in un cluster esistente

  1. Per i cluster Autopilot e Standard, aggiorna il cluster utilizzando il flag --enable-fqdn-network-policy:

    gcloud container clusters update CLUSTER_NAME  \
    --enable-fqdn-network-policy

    Sostituisci CLUSTER_NAME con il nome del cluster.

  2. Solo per i cluster Standard, riavvia il DaemonSet anetd GKE Dataplane V2:

    kubectl rollout restart ds -n kube-system anetd

Crea un FQDNNetworkPolicy

  1. Salva il seguente manifest come fqdn-network-policy.yaml:

    apiVersion: networking.gke.io/v1alpha1
kind: FQDNNetworkPolicy
metadata:
  name: allow-out-fqdnnp
spec:
  podSelector:
    matchLabels:
      app: curl-client
  egress:
  - matches:
    - pattern: "*.yourdomain.com"
    - name: "www.google.com"
    ports:
    - protocol: "TCP"
      port: 443

    Questo manifest ha le seguenti proprietà:

    • name: www.google.com: il nome di dominio completo. Sono consentiti gli indirizzi IP forniti dal server dei nomi associato a www.google.com. Devi specificare name o pattern o entrambi.
    • pattern: "*.yourdomain.com": sono consentiti gli indirizzi IP forniti dai server dei nomi che corrispondono a questo pattern. Puoi utilizzare le seguenti espressioni regolari per la chiave del pattern: ^([a-zA-Z0-9*]([-a-zA-Z0-9_*]*[a-zA-Z0-9*])*\.?)*$. I criteri di corrispondenza sono additivi. Puoi utilizzare più campi pattern. Devi specificare name o pattern o entrambi.
    • protocol: "TCP" e port: 443: specifica un protocollo e una porta. Se un pod tenta di stabilire una connessione agli indirizzi IP utilizzando questa combinazione di protocollo e porta, la risoluzione dei nomi funziona, ma il piano dati blocca la connessione in uscita. Questo campo è facoltativo.

  2. Verifica che il criterio di rete selezioni i tuoi workload:

    kubectl describe fqdnnp

    L'output è simile al seguente:

    Name:         allow-out-fqdnnp
Labels:       <none>
Annotations:  <none>
API Version:  networking.gke.io/v1alpha1
Kind:         FQDNNetworkPolicy
Metadata:
...
Spec:
  Egress:
    Matches:
      Pattern:  *.yourdomain.com
      Name:     www.google.com
    Ports:
      Port:      443
      Protocol:  TCP
  Pod Selector:
    Match Labels:
      App: curl-client
Events:     <none>

Eliminare un FQDNNetworkPolicy

Puoi eliminare un FQDNNetworkPolicy utilizzando il comando kubectl delete fqdnnp:

kubectl delete fqdnnp FQDN_POLICY_NAME

Sostituisci FQDN_POLICY_NAME con il nome del tuo FQDNNetworkPolicy.

GKE elimina le regole dall'applicazione dei criteri, ma le connessioni esistenti rimangono attive finché non si chiudono seguendo le linee guida del protocollo standard conntrack.

Come funzionano le policy di rete FQDN

FQDNNetworkPolicies sono criteri solo in uscita che controllano a quali endpoint possono inviare traffico i pod selezionati. Analogamente a Kubernetes NetworkPolicy, un FQDNNetworkPolicy che seleziona un carico di lavoro crea una regola di negazione implicita per gli endpoint non specificati come destinazioni di uscita consentite. FQDNNetworkPolicies può essere utilizzato con Kubernetes NetworkPolicies come descritto in FQDNNetworkPolicy e NetworkPolicy.

FQDNNetworkPolicies vengono applicate a livello di indirizzo IP e porta. Non vengono applicate utilizzando informazioni di protocollo di livello 7 (ad es. Request-URI in una richiesta HTTP). I nomi di dominio specificati vengono convertiti in indirizzi IP utilizzando le informazioni DNS fornite dal provider DNS del cluster GKE.

Richieste DNS

Un FQDNNetworkPolicy attivo che seleziona i workload non influisce sulla capacità dei workload di effettuare richieste DNS. Comandi come nslookup o dig funzionano su qualsiasi dominio senza essere interessati dalle norme. Tuttavia, le richieste successive agli indirizzi IP dei domini di backup non inclusi nell'allowlist verranno eliminate.

Ad esempio, se un FQDNNetworkPolicy consente l'uscita a www.github.com, allora le richieste DNS per tutti i domini sono consentite, ma il traffico inviato a un indirizzo IP che supporta twitter.com viene eliminato.

Scadenza TTL

FQDNNetworkPolicy rispetta il TTL fornito da un record DNS. Se un pod tenta di contattare un indirizzo IP scaduto dopo il trascorrere del TTL del record DNS, le nuove connessioni vengono rifiutate. Le connessioni a lunga durata la cui durata supera il TTL del record DNS non dovrebbero subire interruzioni del traffico mentre conntrack considera la connessione ancora attiva.

FQDNNetworkPolicy e NetworkPolicy

Quando a uno stesso pod vengono applicati sia un FQDNNetworkPolicy sia un NetworkPolicy, il che significa che le etichette del pod corrispondono a quelle configurate nei criteri, il traffico di uscita è consentito purché corrisponda a uno dei criteri. Non esiste una gerarchia tra NetworkPolicies in uscita che specifica indirizzi IP o selettori di etichette e FQDNNetworkPolicies.

Endpoint con indirizzo IP condiviso (bilanciatori del carico, CDN, gateway VPN e così via)

Molti domini non hanno indirizzi IP dedicati che li supportano e vengono invece esposti utilizzando indirizzi IP condivisi. Ciò è particolarmente comune quando l'applicazione viene pubblicata da un bilanciamento del carico o da una CDN. Ad esempio, le APIGoogle Cloud (compute.googleapis.com, container.googleapis.com e così via) non hanno indirizzi IP univoci per ogni API. Invece, tutte le API vengono esposte utilizzando un intervallo condiviso.

Quando configuri FQDNNetworkPolicies, è importante considerare se i domini consentiti utilizzano indirizzi IP dedicati o condivisi. Poiché FQDNNetworkPolicies vengono applicati a livello di indirizzo IP e porta, non possono distinguere tra più domini serviti dallo stesso indirizzo IP. Se consenti l'accesso a un dominio supportato da un indirizzo IP condiviso, il tuo pod potrà comunicare con tutti gli altri domini gestiti da quell'indirizzo IP. Ad esempio, consentendo il traffico verso compute.googleapis.com, il pod potrà comunicare anche con altre API Google Cloud .

Ricerca del CNAME

Se l'oggetto FQDN in FQDNNetworkPolicy include un dominio con record CNAME nel record DNS, devi configurare FQDNNetworkPolicy con tutti i nomi di dominio che il tuo pod può interrogare direttamente, inclusi tutti i potenziali alias, per garantire un comportamento affidabile di FQDNNetworkPolicy.

Se le query del pod example.com, allora example.com è ciò che devi scrivere nella regola. Anche se ricevi una catena di alias dai server DNS upstream (ad es. da example.com a example.cdn.com a 1.2.3.4), la policy di rete FQDN consentirà comunque il passaggio del traffico.

Problemi noti

Questa sezione elenca tutti i problemi noti per i nomi di dominio completi (FQDN).

La specifica di protocol: ALL fa sì che il criterio venga ignorato

Questo problema noto è stato risolto per le versioni di GKE 1.27.10-gke.1055000+ e 1.28.3-gke.1055000+

Se crei un FQDNNetworkPolicy che specifica protocol: ALL nella sezione ports, GKE non applica la norma. Questo problema si verifica a causa di un problema di analisi delle norme. La specifica di TCP o UDP non causa questo problema.

Come soluzione alternativa, se non specifichi un protocol nella voce ports, la regola corrisponde a tutti i protocolli per impostazione predefinita. La rimozione di protocol: ALL aggira il problema di analisi e GKE applica FQDNNetworkPolicy.

In GKE 1.27.10-gke.1055000+ e 1.28.3-gke.1055000+, i criteri con protocol: ALL vengono analizzati e applicati correttamente.

La registrazione di NetworkPolicy causa log errati o mancanti

Questo problema noto è stato risolto per le versioni di GKE 1.27.10-gke.1055000+ e 1.28.2-gke.1157000+

Se il tuo cluster utilizza la registrazione dei criteri di rete e le policy di rete FQDN, esiste un bug che può causare voci di log mancanti o errate.

Quando utilizzi il logging dei criteri di rete senza delega, i log dei criteri per le connessioni DNS che escono da un workload indicano erroneamente che il traffico è stato eliminato. Il traffico stesso era consentito (in base a FQDNNetworkPolicy), ma i log erano errati.

Quando utilizzi il logging dei criteri di rete con delega, i log dei criteri non sono presenti. Il traffico in sé non è interessato.

In GKE 1.27.10-gke.105500+ e 1.28.2-gke.1157000+, questo bug è stato corretto. Le connessioni DNS verranno ora registrate correttamente come CONSENTITE, quando il traffico viene selezionato da un NetworkPolicy o un FQDNNetworkPolicy.

Passaggi successivi