Acerca de la replicación entre regiones y la recuperación ante desastres

BigLake Metastore ofrece replicación entre regiones y recuperación ante desastres para mejorar la disponibilidad y la resiliencia de tu catálogo.

Esta función mejora la disponibilidad y la capacidad de recuperación de tu catálogo, ya que garantiza el acceso continuo, protege contra las interrupciones regionales, evita la pérdida de datos y habilita la conmutación por error para las tablas de Apache Iceberg que usan un catálogo REST de Iceberg.

Cómo funciona

BigLake Metastore selecciona automáticamente las regiones principal y secundaria para los metadatos del catálogo. La región principal procesa todos los metadatos de confirmación de la tabla y, luego, los replica en la región secundaria para realizar una copia de seguridad.

En cualquier momento, especialmente durante un desastre, puedes cambiar las regiones principal y secundaria del catálogo con la operación de conmutación por error. Esta acción cambia la clave principal del catálogo y de todos los espacios de nombres y tablas que contiene.

Replicación entre regiones

La replicación entre regiones incluye dos componentes principales: la replicación de datos y la replicación del metastore. La función de recuperación ante desastres se basa en la replicación entre regiones para habilitar la conmutación por error.

  • Replicación de datos: Cloud Storage replica automáticamente los datos de tu catálogo en varias regiones cuando usas un bucket birregional o multirregional. Si se produce una interrupción regional, tus datos seguirán siendo accesibles sin que se modifiquen las rutas de almacenamiento.

  • Replicación de Metastore: En el caso de los catálogos de Iceberg REST, BigLake Metastore replica automáticamente tu metastore cuando usas un bucket birregional (o birregional personalizado). La replicación del metastore comienza cuando creas el catálogo. El metastore de BigLake selecciona una región principal y una secundaria de las regiones definidas en tu configuración de Cloud Storage. La región principal entrega todos los metadatos de confirmación de la tabla y los replica en la región secundaria para realizar copias de seguridad.

Recuperación ante desastres con conmutación por error

La función de recuperación ante desastres te permite cambiar las regiones principal y secundaria de un catálogo. La operación de conmutación por error cambia la región principal del catálogo y todos sus espacios de nombres y tablas. Las conmutaciones por error tienen dos modos: conmutación por error leve y conmutación por error grave.

  • Conmutación por error parcial: Una conmutación por error parcial evita la pérdida de datos. En este modo, la nueva región principal comienza a aceptar escrituras solo después de que se sincronizan todos los datos anteriores desde la región principal anterior. Usa una conmutación por error parcial para las pruebas de recuperación ante desastres o para otros casos planificados.

  • Conmutación por error forzada: Una conmutación por error forzada prioriza la disponibilidad por sobre la coherencia de los datos y está diseñada para restablecer el servicio. En este modo, la región principal siempre toma el control y acepta el tráfico de escritura, independientemente del estado actual de la región principal. Por ejemplo, cuando se usa una conmutación por error forzada, la nueva región principal puede tomar el control incluso si no se puede acceder a la región principal anterior.

Limitaciones

Mientras esta función esté en versión preliminar, el REPLICATION_TIMESTAMP solo hará un seguimiento de los metadatos del catálogo, no de los archivos de Cloud Storage. Para mantener la pérdida de datos con un límite inferior, consulta la documentación de Cloud Storage sobre Disponibilidad y durabilidad de los datos.

¿Qué sigue?