La réplication interrégionale et la reprise après sinistre pour le catalogue d'exécution Lakehouse protègent contre les pannes régionales. Dans le cadre de Lakehouse sans limites, cette fonctionnalité permet le basculement des tables qui utilisent le point de terminaison du catalogue REST Apache Iceberg.
Lorsque vous gérez les basculements, vous pouvez choisir entre des basculements logiciels pour les tests planifiés ou des basculements matériels pour restaurer rapidement le service.
Fonctionnement
Le catalogue d'exécution Lakehouse sélectionne automatiquement les régions principale et secondaire pour les métadonnées du catalogue. La région principale traite toutes les métadonnées de validation de la table, puis les réplique dans la région secondaire pour la sauvegarde.
À tout moment, en particulier en cas de sinistre, vous pouvez permuter les régions principale et secondaire du catalogue à l'aide de l'opération de basculement. Cette action permute la région principale du catalogue, ainsi que tous les espaces de noms et toutes les tables qu'il contient.
Réplication interrégionale
La réplication interrégionale implique deux composants principaux : la réplication des données et la réplication du metastore. La fonctionnalité de reprise après sinistre s'appuie sur la réplication interrégionale pour permettre le basculement.
Réplication des données : Cloud Storage réplique automatiquement les données de votre catalogue dans plusieurs régions lorsque vous utilisez un bucket birégional ou multirégional. En cas de panne régionale, vos données restent accessibles sans modification des chemins de stockage.
Réplication du metastore : pour les points de terminaison du catalogue REST Iceberg, le catalogue d’exécution Lakehouse réplique automatiquement votre metastore lorsque vous utilisez un bucket birégional (ou birégional personnalisé). La réplication du metastore commence lorsque vous créez le catalogue. Le catalogue d'exécution Lakehouse sélectionne une région principale et une région secondaire parmi celles définies dans votre configuration Cloud Storage. La région principale diffuse toutes les métadonnées de validation de la table et les réplique dans la région secondaire pour la sauvegarde.
Reprise après sinistre avec basculement
La fonctionnalité de reprise après sinistre vous permet de permuter les régions principale et secondaire d'un catalogue. L'opération de basculement permute la région principale du catalogue, ainsi que tous ses espaces de noms et toutes ses tables. Les basculements ont deux modes : le basculement logiciel et le basculement matériel.
Basculement logiciel : un basculement logiciel empêche la perte de données. Dans ce mode, la nouvelle région principale commence à accepter les écritures uniquement une fois que toutes les données précédentes ont été synchronisées à partir de la région principale précédente. Utilisez un basculement logiciel pour tester la reprise après sinistre ou pour d'autres scénarios planifiés.
Basculement matériel : un basculement matériel privilégie la disponibilité par rapport à la cohérence des données et est conçu pour restaurer le service. Dans ce mode, la région principale prend toujours le relais et accepte le trafic d'écriture, quel que soit son état actuel. Par exemple, lorsque vous utilisez un basculement matériel, la nouvelle région principale peut prendre le relais même si la région principale précédente est inaccessible.
Limites
Pendant la version Preview de cette fonctionnalité, REPLICATION_TIMESTAMP ne suit que les métadonnées du catalogue, et non les fichiers Cloud Storage. Pour limiter la perte de données, consultez la documentation Cloud Storage Disponibilité et durabilité des données.
Étape suivante
- Utilisez la réplication interrégionale et la reprise après sinistre avec le point de terminaison du catalogue d'exécution Lakehouse.