La réplication interrégionale et la reprise après sinistre pour le catalogue d'exécution Lakehouse protègent contre les pannes régionales. Dans le cadre de Lakehouse for Apache Iceberg, cette fonctionnalité permet le basculement des tables qui utilisent le point de terminaison du catalogue REST Apache Iceberg.
Lorsque vous gérez les basculements, vous pouvez choisir entre des basculements temporaires pour les tests planifiés ou des basculements permanents pour restaurer rapidement le service.
Fonctionnement
Le catalogue d'exécution Lakehouse sélectionne automatiquement les régions principale et secondaire pour les métadonnées du catalogue. La région principale traite toutes les métadonnées de validation de la table, puis les réplique dans la région secondaire à des fins de sauvegarde.
À tout moment, en particulier en cas de sinistre, vous pouvez permuter les régions principale et secondaire du catalogue à l'aide de l'opération de basculement. Cette action permute la région principale du catalogue, ainsi que tous les espaces de noms et toutes les tables qu'il contient.
Réplication interrégionale
La réplication interrégionale implique deux composants principaux : la réplication des données et la réplication du metastore. La fonctionnalité de reprise après sinistre s'appuie sur la réplication interrégionale pour permettre le basculement.
Réplication des données : Cloud Storage réplique automatiquement les données de votre catalogue dans plusieurs régions lorsque vous utilisez un bucket birégional ou multirégional. En cas de panne régionale, vos données restent accessibles sans modification des chemins de stockage.
Réplication du metastore : pour les points de terminaison du catalogue REST Iceberg, le catalogue d’exécution Lakehouse réplique automatiquement votre metastore lorsque vous utilisez un bucket birégional (ou birégional personnalisé). La réplication du metastore commence lorsque vous créez le catalogue. Le catalogue d'exécution Lakehouse sélectionne une région principale et une région secondaire parmi celles définies dans votre configuration Cloud Storage. La région principale diffuse toutes les métadonnées de validation de la table et les réplique dans la région secondaire à des fins de sauvegarde.
Reprise après sinistre avec basculement
La fonctionnalité de reprise après sinistre vous permet de permuter les régions principale et secondaire d'un catalogue. L'opération de basculement permute la région principale du catalogue, ainsi que tous ses espaces de noms et toutes ses tables. Les basculements ont deux modes : basculement temporaire et basculement permanent.
Basculement temporaire : un basculement temporaire empêche la perte de données. Dans ce mode, la nouvelle région principale commence à accepter les écritures uniquement une fois que toutes les données précédentes ont été synchronisées à partir de la région principale précédente. Utilisez un basculement temporaire pour tester la reprise après sinistre ou pour d'autres scénarios planifiés.
Basculement permanent : un basculement permanent privilégie la disponibilité par rapport à la cohérence des données et est conçu pour restaurer le service. Dans ce mode, la région principale prend toujours le relais et accepte le trafic d'écriture, quel que soit l'état actuel de la région principale. Par exemple, lors d'un basculement permanent, la nouvelle région principale peut prendre le relais même si la région principale précédente est inaccessible.
Limites
Tant que cette fonctionnalité est en version Preview, le REPLICATION_TIMESTAMP ne suit que les métadonnées du catalogue, et non les fichiers Cloud Storage. Pour limiter la perte de données, consultez la documentation Cloud Storage Disponibilité et durabilité des données.
Étape suivante
- Utilisez la réplication interrégionale et la reprise après sinistre avec le point de terminaison du catalogue d'exécution Lakehouse.