Backup e ripristino di cluster con bmctl

Questo documento descrive come utilizzare bmctl per eseguire il backup e il ripristino dei cluster creati con Google Distributed Cloud (solo software) su bare metal. Queste istruzioni si applicano a tutti i tipi di cluster.

Avviso: l'utilizzo di un file di backup per ripristinare il cluster è un'ultima risorsa. La procedura di ripristino reimposta il cluster esistente e sovrascrive le informazioni del cluster. Non è consigliabile eseguire il ripristino da un file di backup a meno che il cluster non abbia subito un errore irreversibile. Contatta l'assistenza clienti Google Cloud per ricevere aiuto nella scelta della migliore linea d'azione.

Di cosa viene eseguito il backup e di cosa no

La procedura di backup e ripristino bmctl opera a livello del piano di controllo Kubernetes ed è diversa da altre soluzioni di backup. Le soluzioni di backup non Kubernetes acquisiscono i dati dei carichi di lavoro, l'archiviazione permanente e i sistemi operativi host delle macchine fisiche. La procedura di backup e ripristino bmctl ripristina i cluster Kubernetes senza eseguire il backup di nessuno di questi altri componenti.

Stato del control plane (di cui viene eseguito il backup dalla procedura di backup bmctl)

bmctl esegue il backup dei seguenti oggetti:

• Datastore etcd. Tutte le risorse Kubernetes e gli oggetti personalizzati che definiscono la configurazione e lo stato scelto del cluster (ad esempio, specifiche dei pod, deployment, ConfigMap e secret).
• Certificati PKI. Certificati utilizzati per la comunicazione sicura all'interno del cluster.
• File di configurazione e manifest dei nodi. Configurazioni relative ai nodi del cluster.

Archiviazione dei carichi di lavoro e di VM Runtime (di cui non viene eseguito il backup dalla procedura di backup bmctl)

bmctl non esegue il backup dei seguenti dati:

• Stato di runtime dei pod e dei container live. bmctl non salva i processi attivi e i dati delle applicazioni in memoria. Dopo un ripristino, Kubernetes riavvia i pod dalle specifiche etcd. Qualsiasi stato in memoria non salvato viene perso.
• Archiviazione dei volumi permanenti. bmctl non esegue il backup dei dati archiviati nei volumi permanenti, nei volumi creati dal provisioner di volumi locali (LVP) o nei driver di archiviazione esterni.
• Dischi delle macchine virtuali. bmctl non esegue il backup dei contenuti del disco rigido virtuale della VM, come database, file o stato del sistema operativo all'interno della VM.

Devi utilizzare meccanismi di backup nativi di Kubernetes o in-guest per proteggere i dati delle applicazioni e lo stato della macchina virtuale. Se il driver di archiviazione sottostante supporta gli snapshot dei volumi CSI, utilizza gli snapshot dei volumi Kubernetes standard per creare copie point-in-time dei volumi permanenti. Per saperne di più sulla configurazione dell'archiviazione, consulta la panoramica sull'archiviazione.

Esegui gli agenti di backup all'interno del sistema operativo guest delle macchine virtuali di VM Runtime o esegui il deployment di strumenti di backup nativi delle applicazioni all'interno dei carichi di lavoro Kubernetes.

Sistemi operativi host fisici (non supportati)

Considera i sistemi operativi Linux fisici sui nodi Google Distributed Cloud come infrastruttura usa e getta. L'architettura di rete di Kubernetes non supporta il ripristino delle immagini del sistema operativo a livello di host. Pertanto, Google non supporta l'installazione di agenti di backup di terze parti a livello di host direttamente sul sistema operativo host o il ripristino dei nodi fisici da backup di immagini a livello di sistema operativo o snapshot dei dischi.

Se installi agenti di backup fisici di terze parti direttamente sul sistema operativo Linux host, puoi introdurre rischi gravi.

Molti agenti di backup installano moduli kernel proprietari o driver di filtro a livello di blocco per monitorare le modifiche e bloccare i blocchi del disco locale durante le operazioni di snapshot, il che può causare i seguenti problemi:

• Il database etcd non può essere aggiunto ai log write-ahead, i heartbeat dei nodi vanno in timeout, il consenso Raft non riesce e i cluster diventano instabili.
• I driver kernel di terze parti non supportati sono in conflitto con le routine kernel di basso livello e il runtime del container, causando il fallimento degli upgrade del cluster.
• Il ripristino di un nodo fisico da un backup di immagini o da uno snapshot del disco viola il protocollo di consenso Raft. Il database etcd non è sincronizzato con i log sui nodi del piano di controllo e si verifica un grave danneggiamento dello stato del cluster.
• I nodi worker non sono sincronizzati con l'origine attendibile del server API, gli indirizzi IP di Dataplane V2 (Cilium) sono in conflitto e il traffico viene eliminato.

Per recuperare un nodo fisico che ha subito un errore del sistema operativo o dell'hardware, non ripristinare un'immagine del sistema operativo. Rimuovi invece il nodo dal cluster, reinstalla un sistema operativo di base pulito e aggiungi di nuovo il nodo al pool di nodi. Per istruzioni di ripristino dettagliate, vedi Reimpostare un nodo non riuscito.

Se hai bisogno di ulteriore assistenza, contatta l'assistenza clienti Google Cloud. Puoi anche consultare Richiedere assistenza per ulteriori informazioni sulle risorse di assistenza, tra cui:

• Requisiti per l'apertura di una richiesta di assistenza.
• Strumenti per la risoluzione dei problemi, come la configurazione dell'ambiente, i log e le metriche.
• Componenti supportati.

Eseguire il backup di un cluster

Il comando bmctl backup cluster comprime i dati etcd e i certificati PKI del cluster in un file tar. Il database etcd è l'archivio dati centrale per tutti i dati del cluster e contiene tutti gli oggetti Kubernetes e le risorse personalizzate necessarie per gestire lo stato del cluster. I certificati PKI eseguono l'autenticazione tramite TLS. Di questi dati viene eseguito il backup dal piano di controllo del cluster o da uno dei piani di controllo per un deployment ad alta disponibilità (HA).

Il file tar di backup contiene credenziali sensibili, tra cui le chiavi del service account e la chiave SSH. Archivia i file di backup in una posizione sicura. Per evitare l'esposizione involontaria dei file, la procedura di backup di Google Distributed Cloud utilizza solo file in memoria.

Esegui regolarmente il backup dei cluster per assicurarti che i dati degli snapshot siano relativamente aggiornati. Modifica la frequenza dei backup in modo che rifletta la frequenza delle modifiche significative ai cluster.

La versione di bmctl che utilizzi per eseguire il backup di un cluster deve corrispondere alla versione del cluster di gestione.

Se hai installato Node Agent sui cluster, la directory /tmp sul nodo di amministrazione e su tutti i nodi di destinazione deve avere 12 GB di spazio libero. Se non riesci a modificare le dimensioni della directory /tmp per i nodi di destinazione, vedi Modificare la capacità di archiviazione locale per i nodi di destinazione. Se non riesci a modificare le dimensioni della directory /tmp per il nodo di amministrazione, vedi Modificare la capacità di archiviazione locale per un nodo di amministrazione.

Per eseguire il backup di un cluster:

1. Assicurati che il cluster funzioni correttamente, con credenziali funzionanti e connettività SSH a tutti i nodi.

   Lo scopo della procedura di backup è acquisire il cluster in uno stato di funzionamento noto, in modo che tu possa ripristinare l'operazione in caso di errore irreversibile.

   Utilizza il seguente comando per controllare il cluster:

   bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui prevedi di eseguire il backup.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig per il cluster di amministrazione.

2. Esegui il seguente comando per assicurarti che il cluster di destinazione non sia in uno stato di riconciliazione:

   kubectl describe cluster CLUSTER_NAME -n CLUSTER_NAMESPACE --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui eseguire il backup.
   • CLUSTER_NAMESPACE: lo spazio dei nomi per il cluster. Per impostazione predefinita, gli spazi dei nomi dei cluster per Google Distributed Cloud sono il nome del cluster preceduto da cluster-. Ad esempio, se assegni al cluster il nome test, lo spazio dei nomi ha un nome come cluster-test.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig per il cluster di amministrazione.

3. Controlla la sezione Status nell'output del comando per le Conditions di tipo Reconciling.

   Come mostrato nell'esempio seguente, uno stato False per queste Conditions indica che il cluster è stabile e pronto per il backup.

   ...
   Status:
     ...
     Cluster State:  Running
     ...
     Control Plane Node Pool Status:
       ...
       Conditions:
         Last Transition Time:  2023-11-03T16:37:15Z
         Observed Generation:   1
         Reason:                ReconciliationCompleted
         Status:                False
         Type:                  Reconciling
     ...
   

4. Esegui il seguente comando per eseguire il backup del cluster:

   bmctl backup cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui eseguire il backup.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig del cluster di amministrazione.

   Per impostazione predefinita, il file tar di backup viene salvato nella directory dell'area di lavoro (bmctl-workspace, per impostazione predefinita) sulla workstation di amministrazione. Il file tar ha il nome CLUSTER_NAME_backup_TIMESTAMP.tar.gz, dove CLUSTER_NAME è il nome del cluster di cui viene eseguito il backup e TIMESTAMP è la data e l'ora in cui è stato eseguito il backup. Ad esempio, se il nome del cluster è testuser, il file di backup ha un nome come testuser_backup_2006-01-02T150405Z0700.tar.gz.

   Per specificare un nome e una posizione diversi per il file di backup, utilizza il flag --backup-file.

Il file di backup scade dopo un anno e la procedura di ripristino del cluster non funziona con i file di backup scaduti.

Ripristinare un cluster

Il ripristino di un cluster da un backup è un'ultima risorsa e deve essere utilizzato quando un cluster ha subito un errore irreversibile e non può essere ripristinato in altro modo. Ad esempio, i dati etcd sono danneggiati o il pod etcd è in un loop di arresto anomalo.

Nota: per migliorare il rendimento del cluster, Google Distributed Cloud utilizza un'istanza etcd separata per archiviare gli oggetti Event. Questi oggetti Event hanno una durata (TTL) di un'ora. L'operazione di ripristino del cluster crea una nuova istanza etcd-events vuota, quindi perdi gli oggetti Event esistenti. Tuttavia, la perdita di oggetti Event non ha alcun impatto sul funzionamento del cluster. Gli eventi devono essere trattati solo come dati informativi, best-effort e supplementari.

Il file tar di backup contiene credenziali sensibili, tra cui le chiavi del service account e la chiave SSH. Per evitare l'esposizione involontaria dei file, la procedura di ripristino di Google Distributed Cloud utilizza solo file in memoria.

La versione di bmctl che utilizzi per ripristinare un cluster deve corrispondere alla versione del cluster di gestione.

Per ripristinare un cluster:

1. Assicurati che tutte le macchine dei nodi disponibili per il cluster al momento del backup funzionino correttamente e siano raggiungibili.

2. Assicurati che la connettività SSH tra i nodi funzioni con le chiavi SSH utilizzate al momento del backup.

   Queste chiavi SSH vengono ripristinate nell'ambito della procedura di ripristino.

3. Assicurati che le chiavi del account di servizio utilizzate al momento del backup siano ancora attive.

   Queste chiavi del account di servizio vengono ripristinate per il cluster ripristinato.

4. Per ripristinare un cluster di amministrazione, ibrido o autonomo, esegui il seguente comando:

   bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILE
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster che stai ripristinando.
   • BACKUP_FILE: il percorso e il nome del file di backup che stai utilizzando.

5. Per ripristinare un cluster utente, esegui il seguente comando:

   bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILE \
       --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster che stai ripristinando.
   • BACKUP_FILE: il percorso e il nome del file di backup che stai utilizzando.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig del cluster di amministrazione.

Al termine della procedura di ripristino, viene generato un nuovo file kubeconfig per il cluster ripristinato.

Al termine del ripristino, segui questi passaggi per verificare che sia andato a buon fine:

1. Esegui i seguenti comandi per verificare l'idoneità dei nodi e i pod di sistema in esecuzione con il file kubeconfig generato:

   Esistono due tipi di pod etcd:

   • etcd-HOST_NAME, che corrisponde al pod principale etcd
   • etcd-events-HOST_NAME, che corrisponde al pod etcd-events

   kubectl get pods -n kube-system --kubeconfig GENERATED_KUBECONFIG
   kubectl get nodes --kubeconfig GENERATED_KUBECONFIG
   

2. Per ogni pod etcd, esegui il seguente comando per verificare l'integrità di etcd:

   kubectl exec ETCD_POD_NAME -n kube-system \
       --kubeconfig GENERATED_KUBECONFIG \
       -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
       --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \
       --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'
   

   Per un membro etcd integro, la risposta dovrebbe essere simile alla seguente:

   https://127.0.0.1:2379 is healthy: successfully committed proposal: took = 11.514177ms
   

3. Per ogni pod etcd-events, esegui il seguente comando per verificare l'integrità di etcd-events:

   kubectl exec ETCD_EVENTS_POD_NAME -n kube-system \
       --kubeconfig GENERATED_KUBECONFIG \
       -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2382 \
       --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \
       --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'
   

   Per un membro etcd-events integro, la risposta dovrebbe essere simile alla seguente:

   https://127.0.0.1:2382 is healthy: successfully committed proposal: took = 14.308148ms
   

Risoluzione dei problemi

Se riscontri problemi con la procedura di backup o ripristino, le seguenti sezioni potrebbero aiutarti a risolvere il problema.

Se hai bisogno di ulteriore assistenza, contatta l'assistenza Google.

Esaurimento della memoria durante un backup o un ripristino

Durante la procedura di backup o ripristino potresti ricevere messaggi di errore non molto autoesplicativi o chiari sui passaggi successivi. Se la workstation su cui esegui il comando bmctl non ha molta RAM, potresti non avere memoria sufficiente per eseguire la procedura di backup o ripristino.

Google Distributed Cloud versione 1.13 e successive possono utilizzare il parametro --use-disk nel comando di backup. Per conservare le autorizzazioni dei file, questo parametro modifica le autorizzazioni dei file, pertanto l'utente che esegue il comando deve essere un utente root (o utilizzare sudo).

Autorizzazioni mancanti per i file durante il ripristino

Dopo un'attività di ripristino riuscita, l'eliminazione del bootstrap può non riuscire con un messaggio di errore simile al seguente esempio:

  Error: failed to restore node config files: sftp: "Failure" (SSH_FX_FAILURE)

Questo errore potrebbe significare che alcune directory richieste dal ripristino non sono scrivibili.

Google Distributed Cloud versione 1.14 e successive hanno messaggi di errore più chiari sulle directory che devono essere scrivibili. Assicurati che le directory segnalate siano scrivibili e aggiorna le autorizzazioni delle directory in base alle esigenze.

L'aggiornamento della chiave SSH dopo un backup interrompe la procedura di ripristino

Le operazioni correlate a SSH durante la procedura di ripristino potrebbero non riuscire se la chiave SSH viene aggiornata dopo l'esecuzione del backup. In questo caso, la nuova chiave SSH diventa non valida per la procedura di ripristino.

Per risolvere il problema, puoi aggiungere temporaneamente di nuovo la chiave SSH originale, quindi eseguire il ripristino. Al termine della procedura di ripristino, puoi ruotare la chiave SSH.

Impossibile creare un backup per un nodo Node Agent

Se utilizzi Node Agent e ricevi un errore che indica che la creazione del backup non riesce a creare un file di archivio, simile a questo:

  I0508 15:29:36.831790  657351 backup_cluster.go:255] Retrying backup node: 128.187.102.133, due to error: failed receive chunk data: rpc error: code = Unknown desc = archiver.CreateArchiveWithList
  failed: failed to create archive file: failed to copy data from file: var/lib/etcd-events/member/snap/db, file size: 26136576, copy bytes: 12478464,
  error: write /tmp/uploadFileTemp1561164777: no space left on device

Verifica che siano presenti 12 GB di spazio libero nella directory /tmp sul nodo di amministrazione e su tutti i nodi di destinazione. Se non riesci a modificare le dimensioni della directory /tmp per i tuoi nodi di destinazione, vedi Aumentare la capacità di archiviazione locale per i backup di Node Agent.

Dopo aver verificato che siano presenti 12 GB di spazio libero nella directory /tmp per il nodo di amministrazione e tutti i nodi di destinazione, riprova a eseguire il backup.