A replicação do catálogo do ambiente de execução do Lakehouse em várias regiões permite fazer backup dos metadados do catálogo e proteger suas cargas de trabalho contra interrupções regionais. Como parte do Lakehouse sem fronteiras, é possível usar a recuperação de desastres para fazer failover de tabelas que usam o endpoint do catálogo REST do Apache Iceberg.
Ao gerenciar failovers, é possível escolher entre failovers suaves para testes planejados ou failovers rígidos para restaurar o serviço.
Como funciona
O catálogo do ambiente de execução do Lakehouse seleciona automaticamente as regiões primária e secundária para os metadados do catálogo. A região principal processa todos os metadados de commit da tabela e os replica para a região secundária para backup.
A qualquer momento, especialmente durante um desastre, é possível alternar as regiões primária e secundária do catálogo usando a operação de failover. Essa ação alterna o principal do catálogo e todos os namespaces e tabelas contidos.
Replicação entre regiões
A replicação entre regiões envolve dois componentes principais: replicação de dados e replicação de metastore. O recurso de recuperação de desastres se baseia na replicação entre regiões para permitir o failover.
Replicação de dados: o Cloud Storage replica automaticamente os dados do catálogo em várias regiões quando você usa um bucket birregional ou multirregional. Se ocorrer uma interrupção regional, seus dados vão continuar acessíveis sem mudanças nos caminhos de armazenamento.
Replicação do metastore: para endpoints do catálogo REST do Iceberg, o catálogo do ambiente de execução do Lakehouse replica automaticamente seu metastore quando você usa um bucket birregional (ou birregional personalizado). A replicação do metastore começa quando você cria o catálogo. O catálogo do ambiente de execução do Lakehouse seleciona uma região principal e uma secundária entre as regiões definidas na configuração do Cloud Storage. A região principal exibe todos os metadados de commit da tabela e os replica para a região secundária para backup.
Recuperação de desastres com failover
O recurso de recuperação de desastres permite alternar as regiões primária e secundária de um catálogo. A operação de failover troca a região principal do catálogo e todos os namespaces e tabelas dele. Os failovers têm dois modos: failover suave e failover forçado.
Failover suave: evita a perda de dados. Nesse modo, a nova região principal começa a aceitar gravações somente depois que todos os dados anteriores são sincronizados da região principal anterior. Use um failover suave para testes de recuperação de desastres ou outros cenários planejados.
Failover rígido: prioriza a disponibilidade em detrimento da consistência de dados e foi projetado para restaurar o serviço. Nesse modo, a região principal sempre assume o controle e aceita o tráfego de gravação, independentemente do estado atual da região principal. Por exemplo, ao usar um failover forçado, a nova região principal pode assumir o controle mesmo que a principal anterior esteja inacessível.
Limitações
Enquanto esse recurso estiver em pré-lançamento, o REPLICATION_TIMESTAMP vai rastrear apenas
os metadados do catálogo, e não os arquivos do Cloud Storage. Para manter a perda de dados com um limite inferior, consulte a documentação de disponibilidade e durabilidade de dados do Cloud Storage.
A seguir
- Use a replicação entre regiões e a recuperação de desastres com o endpoint do catálogo do ambiente de execução do Lakehouse.