Regionenübergreifende Replikation und Notfallwiederherstellung

Die regionsübergreifende Replikation und Notfallwiederherstellung für den Lakehouse-Laufzeitkatalog schützt vor regionalen Ausfällen. Als Teil von borderless Lakehouse ermöglicht diese Funktion Failover für Tabellen, die den Apache Iceberg REST-Katalog Endpunkt verwenden.

Bei der Verwaltung von Failovern können Sie zwischen Soft-Failovern für geplante Tests oder Hard-Failovern wählen, um den Dienst schnell wiederherzustellen.

Funktionsweise

Der Lakehouse-Laufzeitkatalog wählt automatisch primäre und sekundäre Regionen für Katalogmetadaten aus. Die primäre Region verarbeitet alle Metadaten für den Tabellen-Commit und repliziert sie dann zur Sicherung in die sekundäre Region.

Sie können die primäre und sekundäre Region für den Katalog jederzeit, insbesondere bei einem Notfall, mit dem Failover-Vorgang wechseln. Dadurch wird die primäre Region für den Katalog und alle darin enthaltenen Namespaces und Tabellen gewechselt.

Regionsübergreifende Replikation

Die regionsübergreifende Replikation umfasst zwei Hauptkomponenten: Datenreplikation und Metastore-Replikation. Die Funktion zur Notfallwiederherstellung basiert auf der regionsübergreifenden Replikation, um Failover zu ermöglichen.

  • Datenreplikation: Cloud Storage repliziert Ihre Katalog daten automatisch in mehreren Regionen, wenn Sie einen Bucket für eine Dual-Region oder eine Multi-Region verwenden. Bei einem regionalen Ausfall bleiben Ihre Daten ohne Änderungen an den Speicherpfaden zugänglich.

  • Metastore-Replikation: Für Iceberg REST-Katalogendpunkte repliziert der Lakehouse-Laufzeitkatalog Ihren Metastore automatisch, wenn Sie einen Bucket für eine Dual-Region (oder eine benutzerdefinierte Dual-Region) verwenden. Die Metastore-Replikation beginnt, wenn Sie den Katalog erstellen. Der Lakehouse-Laufzeitkatalog wählt eine primäre und eine sekundäre Region aus den Regionen aus, die in Ihrer Cloud Storage-Konfiguration definiert sind. Die primäre Region stellt alle Metadaten für den Tabellen-Commit bereit und repliziert sie zur Sicherung in die sekundäre Region.

Notfallwiederherstellung mit Failover

Mit der Funktion zur Notfallwiederherstellung können Sie die primäre und sekundäre Region für einen Katalog wechseln. Der Failover-Vorgang wechselt die primäre Region für den Katalog und alle zugehörigen Namespaces und Tabellen. Failover haben zwei Modi: Soft-Failover und Hard-Failover.

  • Soft-Failover: Ein Soft-Failover verhindert Datenverlust. In diesem Modus akzeptiert die neue primäre Region erst Schreibvorgänge, nachdem alle vorherigen Daten aus der vorherigen primären Region synchronisiert wurden. Verwenden Sie ein Soft-Failover für Tests zur Notfallwiederherstellung oder andere geplante Szenarien.

  • Hard-Failover: Bei einem Hard-Failover hat die Verfügbarkeit Vorrang vor der Daten konsistenz. Es wurde entwickelt, um den Dienst wiederherzustellen. In diesem Modus übernimmt die primäre Region immer die Kontrolle und akzeptiert Schreibtraffic, unabhängig vom aktuellen Status der primären Region. Bei einem Hard-Failover kann die neue primäre Region beispielsweise die Kontrolle übernehmen, auch wenn die vorherige primäre Region nicht erreichbar ist.

Beschränkungen

Während sich diese Funktion in der Preview-Phase befindet, verfolgt die REPLICATION_TIMESTAMP nur die Katalogmetadaten und nicht die Cloud Storage-Dateien. Informationen zum Minimieren von Daten verlusten finden Sie in der Dokumentation zur Datenverfügbarkeit und ‑beständigkeit in Cloud Storage.

Nächste Schritte