La réplication du catalogue d'environnements d'exécution Lakehouse dans plusieurs régions vous permet de sauvegarder les métadonnées du catalogue et de protéger vos charges de travail contre les pannes régionales. Dans le cadre du lakehouse sans frontières, vous pouvez utiliser la reprise après sinistre pour basculer les tables qui utilisent le point de terminaison du catalogue REST Apache Iceberg.
Lorsque vous gérez les basculements, vous pouvez choisir entre des basculements progressifs pour les tests planifiés ou des basculements forcés pour restaurer le service.
Fonctionnement
Le catalogue d'environnements d'exécution Lakehouse sélectionne automatiquement les régions principale et secondaire pour les métadonnées du catalogue. La région principale traite toutes les métadonnées de commit de table, puis les réplique dans la région secondaire pour la sauvegarde.
À tout moment, en particulier lors d'un sinistre, vous pouvez changer les régions principale et secondaire du catalogue à l'aide de l'opération de basculement. Cette action change l'instance principale pour le catalogue et tous les espaces de noms et tables qu'il contient.
Réplication interrégionale
La réplication interrégionale implique deux composants principaux : la réplication des données et la réplication du metastore. La fonctionnalité de reprise après sinistre s'appuie sur la réplication interrégionale pour permettre le basculement.
Réplication des données : Cloud Storage réplique automatiquement les données de votre catalogue dans plusieurs régions lorsque vous utilisez un bucket birégional ou multirégional. En cas de panne régionale, vos données restent accessibles sans modification des chemins de stockage.
Réplication du metastore : pour les points de terminaison du catalogue REST Iceberg, le catalogue d'exécution Lakehouse réplique automatiquement votre metastore lorsque vous utilisez un bucket birégional (ou birégional personnalisé). La réplication du metastore commence lorsque vous créez le catalogue. Le catalogue d'environnements d'exécution Lakehouse sélectionne une région principale et une région secondaire parmi les régions définies dans votre configuration Cloud Storage. La région principale diffuse toutes les métadonnées de commit de la table et les réplique dans la région secondaire pour la sauvegarde.
Reprise après sinistre avec basculement
La fonctionnalité de reprise après sinistre vous permet de changer les régions principale et secondaire d'un catalogue. L'opération de basculement change la région principale du catalogue, ainsi que tous ses espaces de noms et tables. Il existe deux modes de basculement : le basculement progressif et le basculement forcé.
Basculement progressif : un basculement progressif évite la perte de données. Dans ce mode, la nouvelle région principale ne commence à accepter les écritures qu'une fois que toutes les données précédentes ont été synchronisées à partir de la région principale précédente. Utilisez un basculement progressif pour tester la reprise après sinistre ou d'autres scénarios planifiés.
Basculement dur : un basculement dur donne la priorité à la disponibilité par rapport à la cohérence des données et est conçu pour restaurer le service. Dans ce mode, la région principale prend toujours le relais et accepte le trafic d'écriture, quel que soit l'état actuel de la région principale. Par exemple, lors d'un basculement forcé, la nouvelle région principale peut prendre le relais même si la région principale précédente est inaccessible.
Limites
Pendant que cette fonctionnalité est en version preview, REPLICATION_TIMESTAMP ne suit que les métadonnées du catalogue, et non les fichiers Cloud Storage. Pour limiter la perte de données, consultez la documentation Cloud Storage sur la disponibilité et la durabilité des données.
Étapes suivantes
- Utilisez la réplication interrégionale et la reprise après sinistre avec le point de terminaison du catalogue d'environnements d'exécution Lakehouse.