Backup e ripristino di cluster con bmctl

Questo documento descrive come utilizzare bmctl per eseguire il backup e il ripristino dei cluster creati con il software Distributed Cloud solo per bare metal. Queste istruzioni si applicano a tutti i tipi di cluster.

Avviso: l'utilizzo di un file di backup per ripristinare il cluster è l'ultima risorsa. Il processo di ripristino reimposta il cluster esistente e sovrascrive le informazioni del cluster. Non è consigliabile eseguire il ripristino da un file di backup a meno che il cluster non abbia subito un errore catastrofico. Contatta l'assistenza clienti Google Cloud per ricevere aiuto nella scelta della migliore linea di condotta.

Elementi di cui viene eseguito il backup e quelli di cui non viene eseguito

La procedura di backup e ripristino di bmctl opera a livello del piano di controllo Kubernetes ed è diversa dalle altre soluzioni di backup. Le soluzioni di backup non Kubernetes acquisiscono i dati dei workload, l'archiviazione permanente e i sistemi operativi host delle macchine fisiche. La procedura di backup e ripristino di bmctl ripristina i cluster Kubernetes senza eseguire il backup di nessuno di questi altri componenti.

Stato del control plane (di cui è stato eseguito il backup tramite la procedura di backup bmctl)

bmctl esegue il backup dei seguenti oggetti:

• archivio etcd. Tutte le risorse Kubernetes e gli oggetti personalizzati che definiscono la configurazione e lo stato scelto del cluster (ad esempio, specifiche dei pod, deployment, ConfigMap e secret).
• Certificati PKI. Certificati utilizzati per la comunicazione sicura all'interno del cluster.
• File di configurazione e manifest dei nodi. Configurazioni relative ai nodi del cluster.

Spazio di archiviazione del runtime di workload e VM (di cui non viene eseguito il backup dal processo di backup bmctl)

bmctl non esegue il backup dei seguenti dati:

• Stato di runtime del pod e del container live. bmctl non salva i processi attivi e i dati delle applicazioni in memoria. Dopo un ripristino, Kubernetes riavvia i pod dalle specifiche etcd. Qualsiasi stato in memoria non salvato viene perso.
• Archiviazione del volume permanente. bmctl non esegue il backup dei dati archiviati in volumi permanenti, volumi creati dal provisioner di volumi locali (LVP) o driver di archiviazione esterni.
• Dischi delle macchine virtuali. bmctl non esegue il backup dei contenuti del disco rigido virtuale della VM, come database, file o stato del sistema operativo all'interno della VM.

Per proteggere i dati delle applicazioni e lo stato della macchina virtuale, devi utilizzare meccanismi di backup nativi di Kubernetes o in-guest. Se il driver di archiviazione sottostante supporta gli snapshot dei volumi CSI, utilizza gli snapshot dei volumi Kubernetes standard per creare copie point-in-time dei volumi permanenti. Per saperne di più sulla configurazione dello spazio di archiviazione, consulta la panoramica dello spazio di archiviazione.

Esegui agenti di backup all'interno del sistema operativo guest delle macchine virtuali VM Runtime o esegui il deployment di strumenti di backup nativi dell'applicazione all'interno dei workload Kubernetes.

Sistemi operativi host fisici (non supportati)

Considera i sistemi operativi Linux fisici sui nodi Google Distributed Cloud come infrastruttura usa e getta. L'architettura di rete di Kubernetes non supporta il ripristino delle immagini del sistema operativo a livello di host. Pertanto, Google non supporta l'installazione di agenti di backup di terze parti a livello di host direttamente sul sistema operativo host o il ripristino di nodi fisici da backup di immagini a livello di sistema operativo o snapshot del disco.

Se installi agenti di backup fisici di terze parti direttamente sul sistema operativo Linux host, puoi introdurre rischi gravi.

Molti agenti di backup installano moduli del kernel proprietari o driver di filtro a livello di blocco per monitorare le modifiche e bloccare i blocchi del disco locale durante le operazioni di snapshot, il che può causare i seguenti problemi:

• Il database etcd non può essere aggiunto ai log write-ahead, i heartbeat dei nodi vanno in timeout, il consenso Raft non riesce e i cluster diventano instabili.
• I driver del kernel di terze parti non supportati sono in conflitto con le routine del kernel di basso livello e con il runtime del container, causando errori negli upgrade del cluster.
• Il ripristino di un nodo fisico da un backup dell'immagine o da uno snapshot del disco viola il protocollo di consenso Raft. Il database etcd non è più sincronizzato con i log sui nodi del control plane e si verifica un grave danneggiamento dello stato del cluster.
• I nodi worker non sono più sincronizzati con la fonte di riferimento del server API, gli indirizzi IP Dataplane V2 (Cilium) entrano in conflitto e il traffico viene eliminato.

Per recuperare un nodo fisico che ha subito un errore del sistema operativo o dell'hardware, non ripristinare un'immagine del sistema operativo. Rimuovi invece il nodo dal cluster, reinstalla un sistema operativo di base pulito e aggiungi di nuovo il nodo al pool di nodi. Per istruzioni di ripristino dettagliate, vedi Reimpostare un nodo non riuscito.

Se hai bisogno di ulteriore assistenza, contatta l'assistenza clienti Google Cloud. Puoi anche consultare la sezione Richiedere assistenza per saperne di più sulle risorse di assistenza, tra cui:

• Requisiti per l'apertura di una richiesta di assistenza.
• Strumenti per aiutarti a risolvere i problemi, ad esempio la configurazione dell'ambiente, i log e le metriche.
• Componenti supportati.

Eseguire il backup di un cluster

Il comando bmctl backup cluster comprime i dati etcd e i certificati PKI del cluster in un file tar. Il database etcd è l'archivio dati centrale per tutti i dati del cluster, contenente tutti gli oggetti Kubernetes e le risorse personalizzate necessari per gestire lo stato del cluster. I certificati PKI vengono autenticati tramite TLS. Questi dati vengono sottoposti a backup dal control plane del cluster o da uno dei control plane per un deployment ad alta disponibilità (HA).

Il file tar di backup contiene credenziali sensibili, tra cui le chiavi dell'account di servizio e la chiave SSH. Conserva i file di backup in una posizione sicura. Per evitare l'esposizione involontaria dei file, la procedura di backup di Google Distributed Cloud utilizza solo file in memoria.

Esegui regolarmente il backup dei cluster per assicurarti che i dati degli snapshot siano relativamente recenti. Modifica la frequenza dei backup in modo che rifletta la frequenza delle modifiche significative ai tuoi cluster.

La versione di bmctl utilizzata per il backup di un cluster deve corrispondere alla versione del cluster di gestione.

Se hai installato Node Agent sui tuoi cluster, la directory /tmp sul nodo di amministrazione e su tutti i nodi di destinazione deve avere 12 GB di spazio libero. Se non riesci a modificare le dimensioni della directory /tmp per i nodi di destinazione, consulta Modificare la capacità di archiviazione locale per i nodi di destinazione. Se non riesci a modificare le dimensioni della directory /tmp per il nodo di amministrazione, vedi Modificare la capacità di archiviazione locale per un nodo di amministrazione.

Per eseguire il backup di un cluster:

1. Assicurati che il cluster funzioni correttamente, con credenziali funzionanti e connettività SSH a tutti i nodi.

   Lo scopo della procedura di backup è acquisire il cluster in uno stato buono noto, in modo da poter ripristinare l'operatività in caso di errore catastrofico.

   Utilizza il seguente comando per controllare il cluster:

   bmctl check cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui prevedi di eseguire il backup.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig per il cluster di amministrazione.

2. Esegui questo comando per assicurarti che il cluster di destinazione non sia in uno stato di riconciliazione:

   kubectl describe cluster CLUSTER_NAME -n CLUSTER_NAMESPACE --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui eseguire il backup.
   • CLUSTER_NAMESPACE: lo spazio dei nomi del cluster. Per impostazione predefinita, gli spazi dei nomi del cluster per Google Distributed Cloud sono il nome del cluster preceduto da cluster-. Ad esempio, se chiami il cluster test, lo spazio dei nomi ha un nome come cluster-test.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig per il cluster di amministrazione.

3. Controlla la sezione Status nell'output comando per Conditions di tipo Reconciling.

   Come mostrato nell'esempio seguente, uno stato False per questi Conditions indica che il cluster è stabile e pronto per il backup.

   ...
   Status:
     ...
     Cluster State:  Running
     ...
     Control Plane Node Pool Status:
       ...
       Conditions:
         Last Transition Time:  2023-11-03T16:37:15Z
         Observed Generation:   1
         Reason:                ReconciliationCompleted
         Status:                False
         Type:                  Reconciling
     ...
   

4. Esegui questo comando per eseguire il backup del cluster:

   bmctl backup cluster -c CLUSTER_NAME --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster di cui eseguire il backup.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig del cluster di amministrazione.

   Per impostazione predefinita, il file tar di backup viene salvato nella directory dello spazio di lavoro (bmctl-workspace, per impostazione predefinita) sulla workstation di amministrazione. Il file tar è denominato CLUSTER_NAME_backup_TIMESTAMP.tar.gz, dove CLUSTER_NAME è il nome del cluster di cui viene eseguito il backup e TIMESTAMP è la data e l'ora in cui è stato eseguito il backup. Ad esempio, se il nome del cluster è testuser, il file di backup ha un nome come testuser_backup_2006-01-02T150405Z0700.tar.gz.

   Per specificare un nome e una posizione diversi per il file di backup, utilizza il flag --backup-file.

Il file di backup scade dopo un anno e il processo di ripristino del cluster non funziona con i file di backup scaduti.

Ripristinare un cluster

Il ripristino di un cluster da un backup è l'ultima risorsa e deve essere utilizzato quando un cluster ha subito un errore catastrofico e non può essere ripristinato in altro modo. Ad esempio, i dati etcd sono danneggiati o il pod etcd è in un ciclo di arresto anomalo.

Nota: per migliorare le prestazioni del cluster, Google Distributed Cloud utilizza un'istanza etcd separata per archiviare gli oggetti Event. Questi oggetti Event hanno una durata (TTL) di un'ora. L'operazione di ripristino del cluster crea una nuova istanza etcd-events vuota, quindi perdi gli oggetti Event esistenti. Tuttavia, la perdita di oggetti Event non influisce sul funzionamento del cluster. Gli eventi devono essere trattati come dati informativi, supplementari e ottenuti con il massimo impegno.

Il file tar di backup contiene credenziali sensibili, tra cui le chiavi dell'account di servizio e la chiave SSH. Per evitare l'esposizione involontaria dei file, la procedura di ripristino di Google Distributed Cloud utilizza solo file in memoria.

La versione di bmctl che utilizzi per ripristinare un cluster deve corrispondere alla versione del cluster di gestione.

Per ripristinare un cluster:

1. Assicurati che tutte le macchine dei nodi disponibili per il cluster al momento del backup funzionino correttamente e siano raggiungibili.

2. Assicurati che la connettività SSH tra i nodi funzioni con le chiavi SSH utilizzate al momento del backup.

   Queste chiavi SSH vengono reintegrate nell'ambito del processo di ripristino.

3. Assicurati che le chiavi del account di servizio utilizzate al momento del backup siano ancora attive.

   Queste chiavi del account di servizio vengono reintegrate per il cluster ripristinato.

4. Per ripristinare un cluster di amministrazione, ibrido o autonomo, esegui questo comando:

   bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILE
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster che stai ripristinando.
   • BACKUP_FILE: il percorso e il nome del file di backup che stai utilizzando.

5. Per ripristinare un cluster utente, esegui questo comando:

   bmctl restore cluster -c CLUSTER_NAME --backup-file BACKUP_FILE \
       --kubeconfig ADMIN_KUBECONFIG
   

   Sostituisci quanto segue:

   • CLUSTER_NAME: il nome del cluster che stai ripristinando.
   • BACKUP_FILE: il percorso e il nome del file di backup che stai utilizzando.
   • ADMIN_KUBECONFIG: il percorso del file kubeconfig del cluster di amministrazione.

Al termine del processo di ripristino, viene generato un nuovo file kubeconfig per il cluster ripristinato.

Al termine del ripristino, segui questi passaggi per verificare che sia andato a buon fine:

1. Esegui questi comandi per verificare l'idoneità del nodo e i pod di sistema in esecuzione con il file kubeconfig generato:

   Esistono due tipi di pod etcd:

   • etcd-HOST_NAME, che corrisponde al pod etcd principale
   • etcd-events-HOST_NAME, che corrisponde al pod etcd-events

   kubectl get pods -n kube-system --kubeconfig GENERATED_KUBECONFIG
   kubectl get nodes --kubeconfig GENERATED_KUBECONFIG
   

2. Per ogni pod etcd, esegui il seguente comando per verificare l'integrità di etcd:

   kubectl exec ETCD_POD_NAME -n kube-system \
       --kubeconfig GENERATED_KUBECONFIG \
       -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
       --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \
       --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'
   

   Per un membro etcd integro, la risposta dovrebbe essere simile alla seguente:

   https://127.0.0.1:2379 is healthy: successfully committed proposal: took = 11.514177ms
   

3. Per ogni pod etcd-events, esegui questo comando per verificare l'integrità di etcd-events:

   kubectl exec ETCD_EVENTS_POD_NAME -n kube-system \
       --kubeconfig GENERATED_KUBECONFIG \
       -- /bin/sh -c 'ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2382 \
       --cacert=/etc/kubernetes/pki/etcd/ca.crt --key=/etc/kubernetes/pki/etcd/peer.key \
       --cert=/etc/kubernetes/pki/etcd/peer.crt endpoint health'
   

   Per un membro etcd-events integro, la risposta dovrebbe essere simile alla seguente:

   https://127.0.0.1:2382 is healthy: successfully committed proposal: took = 14.308148ms
   

Risoluzione dei problemi

Se riscontri problemi con la procedura di backup o ripristino, le sezioni seguenti potrebbero aiutarti a risolvere il problema.

Se hai bisogno di ulteriore assistenza, contatta l'Assistenza Google.

Esaurimento della memoria durante un backup o un ripristino

Potresti ricevere messaggi di errore durante il processo di backup o ripristino che non sono molto autoesplicativi o chiari sui passaggi successivi. Se la workstation in cui esegui il comando bmctl non ha molta RAM, potresti avere memoria insufficiente per eseguire il processo di backup o ripristino.

Google Distributed Cloud versione 1.13 e successive possono utilizzare il parametro --use-disk nel comando di backup. Per preservare le autorizzazioni dei file, questo parametro modifica le autorizzazioni dei file, pertanto richiede che l'utente che esegue il comando sia un utente root (o utilizzi sudo).

Autorizzazioni mancanti per i file durante il ripristino

Dopo un'operazione di ripristino riuscita, l'eliminazione del bootstrap potrebbe non riuscire e restituire un messaggio di errore simile al seguente esempio:

  Error: failed to restore node config files: sftp: "Failure" (SSH_FX_FAILURE)

Questo errore potrebbe significare che alcune directory richieste dal ripristino non sono scrivibili.

Google Distributed Cloud versione 1.14 e successive hanno messaggi di errore più chiari sulle directory che devono essere scrivibili. Assicurati che le directory segnalate siano scrivibili e aggiorna le autorizzazioni sulle directory in base alle necessità.

L'aggiornamento della chiave SSH dopo un backup interrompe il processo di ripristino

Le operazioni correlate a SSH durante la procedura di ripristino potrebbero non riuscire se la chiave SSH viene aggiornata dopo l'esecuzione del backup. In questo caso, la nuova chiave SSH non è valida per la procedura di ripristino.

Per risolvere il problema, puoi aggiungere temporaneamente di nuovo la chiave SSH originale, quindi eseguire il ripristino. Al termine del processo di ripristino, puoi ruotare la chiave SSH.

Impossibile creare un backup per un nodo Node Agent

Se utilizzi Node Agent e ricevi un errore che indica che la creazione del backup non riesce a creare un file di archivio, simile a questo:

  I0508 15:29:36.831790  657351 backup_cluster.go:255] Retrying backup node: 128.187.102.133, due to error: failed receive chunk data: rpc error: code = Unknown desc = archiver.CreateArchiveWithList
  failed: failed to create archive file: failed to copy data from file: var/lib/etcd-events/member/snap/db, file size: 26136576, copy bytes: 12478464,
  error: write /tmp/uploadFileTemp1561164777: no space left on device

Verifica che ci siano 12 GB di spazio libero nella directory /tmp sul nodo di amministrazione e su tutti i nodi di destinazione. Se non riesci a modificare le dimensioni della directory /tmp per i nodi di destinazione, consulta Aumentare la capacità di archiviazione locale per i backup di Node Agent.

Dopo aver verificato che nella directory /tmp sono disponibili 12 GB di spazio libero per il nodo amministratore e tutti i nodi di destinazione, riprova a eseguire il backup.