BigLake Metastore offre une réplication et une reprise après sinistre multirégionales pour améliorer la disponibilité et la résilience de votre catalogue.
Cette fonctionnalité améliore la disponibilité et la résilience de votre catalogue en assurant un accès continu, en protégeant contre les pannes régionales, en évitant la perte de données et en permettant le basculement pour les tables Apache Iceberg qui utilisent un catalogue Iceberg REST.
Fonctionnement
BigLake Metastore sélectionne automatiquement les régions principale et secondaire pour les métadonnées du catalogue. La région principale traite toutes les métadonnées de validation des tables, puis les réplique dans la région secondaire pour la sauvegarde.
À tout moment, en particulier en cas de sinistre, vous pouvez inverser les régions principale et secondaire du catalogue à l'aide de l'opération de basculement. Cette action bascule le primaire pour le catalogue et tous les espaces de noms et tables qu'il contient.
Réplication interrégionale
La réplication multirégionale implique deux composants principaux : la réplication des données et la réplication du metastore. La fonctionnalité de reprise après sinistre s'appuie sur la réplication interrégionale pour permettre le basculement.
Réplication des données : Cloud Storage réplique automatiquement les données de votre catalogue dans plusieurs régions lorsque vous utilisez un bucket birégional ou multirégional. En cas de panne régionale, vos données restent accessibles sans que les chemins de stockage soient modifiés.
Réplication du metastore : pour les catalogues REST Iceberg, le metastore BigLake réplique automatiquement votre metastore lorsque vous utilisez un bucket birégional (ou birégional personnalisé). La réplication du metastore commence lorsque vous créez le catalogue. Le metastore BigLake sélectionne une région principale et une région secondaire parmi celles définies dans votre configuration Cloud Storage. La région principale diffuse toutes les métadonnées de validation des tables et les réplique dans la région secondaire pour la sauvegarde.
Reprise après sinistre avec basculement
La fonctionnalité de reprise après sinistre vous permet d'inverser les régions principale et secondaire d'un catalogue. L'opération de basculement change la région principale du catalogue, ainsi que de tous ses espaces de noms et tables. Il existe deux modes de basculement : le basculement temporaire et le basculement permanent.
Basculement progressif : un basculement progressif empêche la perte de données. Dans ce mode, la nouvelle région principale ne commence à accepter les écritures qu'une fois que toutes les données précédentes ont été synchronisées à partir de l'ancienne région principale. Utilisez un basculement progressif pour tester la reprise après sinistre ou d'autres scénarios planifiés.
Basculement forcé : un basculement forcé privilégie la disponibilité par rapport à la cohérence des données et est conçu pour restaurer le service. Dans ce mode, la région principale prend toujours le relais et accepte le trafic d'écriture, quel que soit l'état actuel de la région principale. Par exemple, lors d'un basculement forcé, la nouvelle région principale peut prendre le relais même si l'ancienne région principale est inaccessible.
Limites
Tant que cette fonctionnalité est en version Preview, REPLICATION_TIMESTAMP ne suit que les métadonnées du catalogue, et non les fichiers Cloud Storage. Pour limiter la perte de données, consultez la documentation Cloud Storage sur la disponibilité et la durabilité des données.
Étapes suivantes
- Utilisez la réplication interrégionale et la reprise après sinistre avec le metastore BigLake.