La replica tra regioni e il ripristino di emergenza per il catalogo del runtime Lakehouse proteggono dalle interruzioni a livello regionale. Nell'ambito di Lakehouse for Apache Iceberg, questa funzionalità consente il failover per le tabelle che utilizzano l'endpoint del catalogo REST Apache Iceberg.
Quando gestisci i failover, puoi scegliere tra failover soft per test pianificati o failover hard per ripristinare rapidamente il servizio.
Come funziona
Il catalogo runtime Lakehouse seleziona automaticamente le regioni principale e secondaria per i metadati del catalogo. La regione principale elabora tutti i metadati di commit delle tabelle e li replica nella regione secondaria per il backup.
In qualsiasi momento, soprattutto durante un disastro, puoi scambiare le regioni primaria e secondaria per il catalogo utilizzando l'operazione di failover. Questa azione cambia il primario per il catalogo e tutti gli spazi dei nomi e le tabelle contenuti.
Replica tra regioni
La replica tra regioni prevede due componenti principali: la replica dei dati e la replica del metastore. La funzionalità di ripristino di emergenza si basa sulla replica tra regioni per consentire il failover.
Replica dei dati: Cloud Storage replica automaticamente i dati del catalogo in più regioni quando utilizzi un bucket a due regioni o multiregionale. Se si verifica un'interruzione regionale, i tuoi dati rimangono accessibili senza modifiche ai percorsi di archiviazione.
Replica del metastore: per gli endpoint del catalogo Iceberg REST, il catalogo del runtime Lakehouse replica automaticamente il metastore quando utilizzi un bucket a due regioni (o a due regioni personalizzato). La replica del metastore inizia quando crei il catalogo. Il catalogo del runtime Lakehouse seleziona una regione primaria e una secondaria tra quelle definite nella configurazione di Cloud Storage. La regione principale gestisce tutti i metadati di commit delle tabelle e li replica nella regione secondaria per il backup.
Disaster recovery con failover
La funzionalità di ripristino di emergenza consente di scambiare le regioni primaria e secondaria per un catalogo. L'operazione di failover cambia la regione principale per il catalogo e tutti i relativi spazi dei nomi e tabelle. I failover hanno due modalità: soft failover e hard failover.
Failover soft: un failover soft impedisce la perdita di dati. In questa modalità, la nuova regione primaria inizia ad accettare scritture solo dopo che tutti i dati precedenti vengono sincronizzati dalla regione primaria precedente. Utilizza un failover controllato per test di ripristino di emergenza o altri scenari pianificati.
Failover rigido: un failover rigido dà la priorità alla disponibilità rispetto alla coerenza dei dati ed è progettato per ripristinare il servizio. In questa modalità, la regione primaria assume sempre il controllo e accetta il traffico di scrittura, indipendentemente dallo stato attuale della regione primaria. Ad esempio, quando utilizzi un failover rigido, la nuova regione primaria può subentrare anche se la precedente regione primaria è irraggiungibile.
Limitazioni
Mentre questa funzionalità è in anteprima, REPLICATION_TIMESTAMP tiene traccia solo dei metadati del catalogo, non dei file Cloud Storage. Per evitare la perdita di dati con un limite inferiore, consulta la documentazione di Cloud Storage Disponibilità e durabilità dei dati.
Passaggi successivi
- Utilizza la replica tra regioni e il disaster recovery con l'endpoint del catalogo Lakehouse Runtime.