Comprendere l'impatto degli errori in Google Distributed Cloud

Google Distributed Cloud limita l'ambito degli errori dei cluster dando la priorità alle funzionalità fondamentali per la continuità aziendale. Comprendere in che modo le interruzioni influiscono sull'esecuzione del workload, sulla gestione del workload e sulle operazioni del ciclo di vita ti aiuta a dare priorità alla risoluzione dei problemi e a ridurre al minimo i tempi di inattività durante un incidente.

Categorie di funzionalità di base

La funzionalità di base di Google Distributed Cloud include le seguenti categorie:

  • Esegui i workload: i workload esistenti possono continuare a essere eseguiti. Questa è la considerazione più importante per mantenere la continuità aziendale. Anche se il cluster presenta un problema, i workload esistenti potrebbero continuare a essere eseguiti senza interruzioni.
  • Gestisci i workload: puoi creare, aggiornare ed eliminare i workload. Questa è la seconda considerazione più importante per scalare i workload quando il traffico aumenta, anche se il cluster presenta un problema.
  • Gestisci i cluster utente: puoi gestire i nodi, aggiornare, eseguire l'upgrade ed eliminare i cluster utente. Questo aspetto è meno importante delle considerazioni sul ciclo di vita dell'applicazione. Se sui nodi esistenti è disponibile capacità, l'impossibilità di modificare i cluster utente non influisce sui workload degli utenti.
  • Gestisci i cluster di amministrazione: puoi aggiornare ed eseguire l'upgrade del cluster di amministrazione.
    • Per i deployment che utilizzano cluster di amministrazione e utente separati, questa è la considerazione meno importante perché il cluster di amministrazione non ospita workload utente. Se il cluster di amministrazione presenta un problema, i workload delle applicazioni su altri cluster continuano a essere eseguiti senza interruzioni.
    • Se utilizzi altri modelli di deployment, ad esempio ibrido o autonomo, il cluster di amministrazione esegue i workload delle applicazioni. Se il cluster di amministrazione presenta un problema e il control plane non è attivo, non puoi gestire i workload delle applicazioni o i componenti del cluster utente.

Le sezioni seguenti utilizzano queste categorie di funzionalità di base per descrivere l'impatto di tipi specifici di scenari di errore. Quando si verifica un'interruzione nell'ambito di uno scenario di errore, viene annotata anche la durata (ordine) dell'interruzione, ove possibile.

Errori dei nodi

Un nodo in Google Distributed Cloud potrebbe smettere di funzionare o diventare irraggiungibile sulla rete. A seconda del pool di nodi e del cluster di cui fa parte la macchina con errore, esistono diverse modalità di errore.

Nodo del control plane

La tabella seguente illustra il comportamento dei nodi che fanno parte del control plane in Google Distributed Cloud:

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Nessuna interruzione Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta)
Spiegazione — Se l'errore del nodo interessa il singolo nodo del control plane in un cluster utente non ad alta affidabilità (HA) o se interessa almeno la metà dei nodi del control plane in un cluster utente ad alta affidabilità, si verifica un'interruzione. Il quorum del control plane del cluster utente è andato perso. Se l'errore del nodo interessa il singolo nodo del control plane in un cluster di amministrazione non ad alta disponibilità o se interessa almeno la metà dei nodi del control plane in un cluster di amministrazione ad alta disponibilità, si verifica un'interruzione. Il quorum del control plane del cluster di amministrazione è andato perso. Se l'errore del nodo interessa il singolo nodo del control plane in un cluster di amministrazione non ad alta disponibilità o se interessa almeno la metà dei nodi del control plane in un cluster di amministrazione ad alta disponibilità, si verifica un'interruzione. Il quorum del control plane del cluster di amministrazione è andato perso.
Recupero — Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum. Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum. Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum.
Prevenzione — Esegui il deployment dei cluster utente in modalità ad alta affidabilità per ridurre al minimo la possibilità di interruzioni. Esegui il deployment dei cluster di amministrazione in modalità ad alta disponibilità per ridurre al minimo la possibilità di interruzioni. Esegui il deployment dei cluster di amministrazione in modalità ad alta disponibilità per ridurre al minimo la possibilità di interruzioni.

Nodo del bilanciatore del carico

La tabella seguente descrive il comportamento dei nodi che ospitano i bilanciatori del carico in Google Distributed Cloud. Queste indicazioni si applicano solo ai bilanciatori del carico in bundle con la modalità di livello 2. Per il bilanciamento manuale del carico, consulta le modalità di errore dei bilanciatori del carico esterni:

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Possibile interruzione (varia) Possibile interruzione (varia) Possibile interruzione (varia) Possibile interruzione (varia)
Spiegazione Se i workload esterni si basano sul bilanciatore del carico del piano dati per comunicare con i workload nel cluster e hai un solo nodo del bilanciatore del carico, si verifica un'interruzione. L'indirizzo IP virtuale del control plane del cluster utente si trova su un nodo del bilanciatore del carico. Se il pool di nodi del bilanciatore del carico del cluster utente non è ad alta disponibilità, si verifica un'interruzione. L'indirizzo IP virtuale del control plane del cluster di amministrazione si trova su un nodo del bilanciatore del carico. Se il pool di nodi del bilanciatore del carico del cluster di amministrazione non è ad alta disponibilità, si verifica un'interruzione. L'indirizzo IP virtuale del control plane del cluster di amministrazione si trova su un nodo del bilanciatore del carico. Se il pool di nodi del bilanciatore del carico del cluster di amministrazione non è ad alta disponibilità, si verifica un'interruzione.
Recupero

Se sono presenti più nodi del bilanciatore del carico, il failover di MetalLB avviene entro pochi secondi.

Se non è in alta affidabilità, valuta la possibilità di eseguire il deployment di nodi del bilanciatore del carico aggiuntivi.

Se è configurata l'alta affidabilità, il failover è automatico e avviene nell'ordine di secondi.

Se non è in alta affidabilità, valuta la possibilità di eseguire il deployment di nodi del bilanciatore del carico aggiuntivi

Se è configurata l'alta affidabilità, il failover è automatico e avviene nell'ordine di secondi.

Se non è in alta affidabilità, valuta la possibilità di eseguire il deployment di nodi del bilanciatore del carico aggiuntivi.

Se è configurata l'alta affidabilità, il failover è automatico e avviene nell'ordine di secondi.

Se non è in alta affidabilità, valuta la possibilità di eseguire il deployment di nodi del bilanciatore del carico aggiuntivi.

Prevenzione Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei node pool del bilanciatore del carico in modalità HA. Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei node pool del bilanciatore del carico in modalità HA. Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei node pool del bilanciatore del carico in modalità HA. Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei pool di nodi del bilanciatore del carico in modalità HA.

Nodo worker

La tabella seguente descrive il comportamento dei nodi worker in Google Distributed Cloud:

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Possibile interruzione (nell'ordine di secondi) Nessuna interruzione Nessuna interruzione Nessuna interruzione
Spiegazione

I Pods in esecuzione sul nodo in errore vengono interrotti e vengono ripianificati automaticamente su altri nodi integri con un timeout di espulsione predefinito di 5 minuti.

Se le applicazioni utente hanno una capacità di workload di riserva e sono distribuite su più nodi, l'interruzione non è osservabile dai client che implementano i nuovi tentativi.

I Pods vengono riavviati automaticamente su nodi integri.

Se il cluster non ha capacità di riserva, l'interruzione potrebbe durare fino a quando non vengono aggiunti nuovi nodi al cluster.

— — —
Recupero Se il cluster non dispone di capacità di riserva, devi eseguire il deployment di più nodi distribuiti in più zone di errore e spostare i workload con errori nei nuovi nodi. — — —
Prevenzione

Esegui il deployment di nodi distribuiti in più zone di errore.

Esegui il deployment dei workload con più repliche distribuite in più zone di errore per ridurre al minimo la possibilità di interruzioni.

— — —

Errore di archiviazione

Lo spazio di archiviazione in Google Distributed Cloud potrebbe smettere di funzionare o diventare irraggiungibile sulla rete. A seconda dello spazio di archiviazione che non funziona, esistono diverse modalità di errore.

etcd

I contenuti delle directory /var/lib/etcd e /var/lib/etcd-events potrebbero danneggiarsi in caso di spegnimento non corretto del nodo o di un errore dello spazio di archiviazione sottostante. La tabella seguente descrive il comportamento della funzionalità di base a causa di errori di etcd:

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Nessuna interruzione Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta)
Spiegazione Se i workload esistenti non si basano sul control plane di Kubernetes, continuano a funzionare senza interruzioni. Se etcd non funziona su un cluster utente con un singolo control plane o su almeno la metà dei nodi del control plane in un cluster utente ad alta disponibilità, si verifica un'interruzione. Il quorum del control plane del cluster utente è andato perso. Se etcd non riesce su un cluster di amministrazione del control plane singolo o su almeno la metà dei nodi del control plane in un cluster di amministrazione ad alta disponibilità, si verifica un'interruzione. Il quorum del control plane del cluster di amministrazione è andato perso. Se etcd non riesce su un cluster di amministrazione del control plane singolo o su almeno la metà dei nodi del control plane in un cluster di amministrazione ad alta disponibilità, si verifica un'interruzione. Il quorum del control plane del cluster di amministrazione è andato perso.
Recupero — Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum. Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum. Per saperne di più, consulta la sezione Come eseguire il recupero dalla perdita del quorum.
Prevenzione — Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei cluster utente in modalità ad alta affidabilità. Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei cluster di amministrazione in modalità ad alta disponibilità. Per ridurre al minimo la possibilità di interruzioni, esegui il deployment dei cluster di amministrazione in modalità ad alta affidabilità.

Applicazione utente PersistentVolume

La tabella seguente descrive il comportamento della funzionalità di base in caso di errore di un PersistentVolume:

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Possibile interruzione (sconosciuta) Nessuna interruzione Nessuna interruzione Nessuna interruzione
Spiegazione I workload che utilizzano l'elemento PersistentVolume are affected. non riuscito — — —
Recupero — — — —
Prevenzione Per ridurre al minimo la possibilità di interruzioni, esegui il deployment del workload utente in modalità HA. — — —

Disco Fluent Bit danneggiato

Il danneggiamento di un disco Fluent Bit non influisce sulle funzionalità di base, ma influisce sulla capacità di raccogliere e ispezionare i log su Google Cloud.

L'evento SIGSEGV a volte può essere osservato dai log di stackdriver-log-forwarder. Questo errore potrebbe essere causato da log con buffer danneggiati sul disco.

Fluent Bit dispone di un meccanismo per filtrare ed eliminare i chunk danneggiati. Questa funzionalità è disponibile nella versione di fluent-bit (v1.8.3) utilizzata in Google Distributed Cloud.

LoadBalancer IP

Se tutti gli indirizzi IP nei pool assegnati sono attualmente occupati, i servizi LoadBalancer appena creati non possono acquisire un indirizzo IP LoadBalancer. Questo scenario influisce sulla capacità dei client del servizio di comunicare con i servizi LoadBalancer.

Per risolvere questo problema di esaurimento degli indirizzi IP, assegna più indirizzi IP al pool di indirizzi modificando la risorsa personalizzata del cluster.

Scadenza del certificato

Google Distributed Cloud genera un'autorità di certificazione (CA) autofirmata durante il processo di installazione del cluster. La CA ha una scadenza di 10 anni ed è responsabile della generazione dei certificati, che scadono dopo un anno. Ruota i certificati regolarmente per evitare tempi di inattività del cluster. Puoi ruotare i certificati eseguendo l'upgrade del cluster, che è il metodo consigliato. Se non riesci a eseguire l'upgrade del cluster, puoi eseguire una rotazione delle CA on demand. Per ulteriori informazioni sui certificati del cluster, consulta Certificati e requisiti PKI nella documentazione di Kubernetes.

Se i certificati del cluster sono scaduti, devono essere rinnovati manualmente.

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Nessuna interruzione Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta)
Spiegazione Se i workload utente non comunicano con i componenti del control plane Kubernetes, non si verificheranno interruzioni. Se le autorità di certificazione per i cluster utente scadono, si verificherà un'interruzione. Se le autorità di certificazione dei cluster di amministrazione scadono, si verificherà un'interruzione. Se le autorità di certificazione per i cluster utente scadono, si verifica un'interruzione.
Recupero —

Segui i passaggi per rinnovare manualmente i certificati nel cluster utente.

Segui i passaggi per rinnovare manualmente i certificati nel cluster utente.

Segui i passaggi per rinnovare manualmente i certificati nel cluster utente.

Prevenzione Configura i monitoraggi per la scadenza dei certificati. Un esempio di metrica kubelet_certificate_manager_server_expiration_seconds è disponibile nell'elenco delle metriche.

Errori di upgrade

Esegui i workload Gestisci i workload Gestione dei cluster utente Gestione dei cluster di amministrazione
Interruzione (durata) Nessuna interruzione Nessuna interruzione Possibile interruzione (sconosciuta) Possibile interruzione (sconosciuta)
Spiegazione

Se l'upgrade non riesce sul control plane del cluster utente, NON si verifica alcuna interruzione dei workload esistenti.

Se l'upgrade non riesce su un determinato nodo worker, i workload su quel nodo verranno svuotati e spostati su altri nodi integri, se questi ultimi hanno capacità aggiuntiva.

L'upgrade verrà interrotto se l'upgrade di uno dei nodi del control plane non va a buon fine. Il cluster è ancora operativo se l'upgrade non va a buon fine se il cluster utente è ad alta disponibilità. Se l'upgrade non va a buon fine sul control plane del cluster di amministrazione, si verifica un'interruzione fino al completamento dell'upgrade. Se l'upgrade non va a buon fine sul control plane del cluster di amministrazione, si verifica un'interruzione fino al completamento dell'upgrade.
Recupero — — È possibile riprovare l'upgrade. Per saperne di più, consulta la sezione su come diagnosticare i problemi di upgrade e riprendere l'operazione. È possibile riprovare l'upgrade. Per saperne di più, consulta la sezione su come diagnosticare i problemi di upgrade e riprendere l'operazione.
Prevenzione — — Per saperne di più, scopri come creare un backup prima dell'upgrade. Per saperne di più, scopri come creare un backup prima dell'upgrade.

Passaggi successivi

Per ulteriori informazioni sui problemi noti del prodotto e sulle soluzioni alternative, consulta Problemi noti di Google Distributed Cloud.

Se hai bisogno di ulteriore assistenza, contatta l'assistenza clienti Google Cloud. Puoi anche consultare Assistenza per ulteriori informazioni sulle risorse di assistenza, tra cui:

  • Requisiti per l'apertura di una richiesta di assistenza.
  • Strumenti per aiutarti a risolvere i problemi, ad esempio la configurazione dell'ambiente, i log e le metriche.
  • Componenti supportati.