Regionenübergreifende Replikation und Notfallwiederherstellung

BigLake Metastore bietet regionenübergreifende Replikation und Notfallwiederherstellung, um die Verfügbarkeit und Ausfallsicherheit Ihres Katalogs zu verbessern.

Dieses Feature verbessert die Verfügbarkeit und Stabilität Ihres Katalogs, indem es für kontinuierlichen Zugriff sorgt, vor regionalen Ausfällen schützt, Datenverlust verhindert und Failover für Apache Iceberg-Tabellen ermöglicht, die einen Iceberg REST-Katalog verwenden.

Funktionsweise

Im BigLake Metastore werden automatisch primäre und sekundäre Regionen für Katalogmetadaten ausgewählt. In der primären Region werden alle Metadaten für Tabellenzusicherungen verarbeitet und dann zur Sicherung in die sekundäre Region repliziert.

Sie können die primäre und die sekundäre Region für den Katalog jederzeit, insbesondere bei einer Katastrophe, mit dem Failover-Vorgang tauschen. Bei dieser Aktion wird der primäre Katalog für den Katalog und alle darin enthaltenen Namespaces und Tabellen gewechselt.

Regionsübergreifende Replikation

Die regionenübergreifende Replikation umfasst zwei Hauptkomponenten: Datenreplikation und Metastore-Replikation. Die Notfallwiederherstellungsfunktion basiert auf der regionsübergreifenden Replikation, um Failover zu ermöglichen.

  • Datenreplikation: Cloud Storage repliziert Ihre Katalogdaten automatisch in mehreren Regionen, wenn Sie einen Bucket mit zwei oder mehreren Regionen verwenden. Bei einem regionalen Ausfall bleiben Ihre Daten ohne Änderungen an den Speicherpfaden zugänglich.

  • Metastore-Replikation: Bei Iceberg REST Catalogs repliziert BigLake Metastore Ihren Metastore automatisch, wenn Sie einen biregionalen Bucket (oder einen benutzerdefinierten biregionalen Bucket) verwenden. Die Metastore-Replikation beginnt, wenn Sie den Katalog erstellen. BigLake Metastore wählt eine primäre und eine sekundäre Region aus den Regionen aus, die in Ihrer Cloud Storage-Konfiguration definiert sind. In der primären Region werden alle Commit-Metadaten der Tabelle bereitgestellt und zur Sicherung in die sekundäre Region repliziert.

Notfallwiederherstellung mit Failover

Mit der Notfallwiederherstellungsfunktion können Sie die primäre und sekundäre Region für einen Katalog wechseln. Beim Failover wird die primäre Region für den Katalog und alle zugehörigen Namespaces und Tabellen umgeschaltet. Es gibt zwei Arten von Failover: Soft Failover und Hard Failover.

  • Soft Failover: Ein Soft Failover verhindert Datenverlust. In diesem Modus beginnt die neue primäre Region erst dann mit dem Akzeptieren von Schreibvorgängen, wenn alle vorherigen Daten aus der vorherigen primären Region synchronisiert wurden. Verwenden Sie ein Soft-Failover für Tests zur Notfallwiederherstellung oder andere geplante Szenarien.

  • Harter Failover: Bei einem harten Failover wird die Verfügbarkeit über die Datenkonsistenz priorisiert. Er soll den Dienst wiederherstellen. In diesem Modus übernimmt immer die primäre Region und akzeptiert Schreibvorgänge, unabhängig vom aktuellen Status der primären Region. Bei einem harten Failover kann die neue primäre Region beispielsweise die Funktion übernehmen, auch wenn die vorherige primäre Region nicht erreichbar ist.

Beschränkungen

Während sich diese Funktion in der Vorschauphase befindet, werden im REPLICATION_TIMESTAMP nur die Katalogmetadaten und nicht die Cloud Storage-Dateien erfasst. Informationen dazu, wie Sie Datenverlusten vorbeugen können, finden Sie in der Cloud Storage-Dokumentation unter Datenverfügbarkeit und ‑beständigkeit.

Nächste Schritte