Borderless Lakehouse unterstützt die regionenübergreifende Replikation und Notfallwiederherstellung für Katalogmetadaten.
Für diese Konfiguration sind Kataloge erforderlich, die von Dual-Region- oder multiregionalen Cloud Storage-Buckets unterstützt werden.
Hinweis
-
Prüfen Sie, ob die Abrechnung für Ihr Google Cloud -Projekt aktiviert ist.
-
Aktivieren Sie die BigLake API, falls sie noch nicht aktiviert ist.
Erforderliche Rollen zum Aktivieren von APIs
Zum Aktivieren von APIs benötigen Sie die Berechtigung
serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung des Iceberg REST-Katalogendpunkts im Lakehouse-Laufzeitkatalog benötigen:
-
Führen Sie administrative Aufgaben aus, z. B. die Verwaltung des Katalogzugriffs für Nutzer, des Speicherzugriffs und des Modus für die Bereitstellung von Anmeldedaten des Katalogs:
- BigLake-Administrator (
roles/biglake.admin) für das Projekt - Storage-Administrator (
roles/storage.admin) für den Cloud Storage-Bucket
- BigLake-Administrator (
-
Tabellendaten im Modus für die Bereitstellung von Anmeldedaten lesen: BigLake-Betrachter (
roles/biglake.viewer) für das Projekt -
Tabellendaten im Modus für die Bereitstellung von Anmeldedaten schreiben:
BigLake-Bearbeiter (
roles/biglake.editor) für das Projekt -
Katalogressourcen und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten lesen:
- BigLake-Betrachter (
roles/biglake.viewer) für das Projekt - Storage-Objekt-Betrachter (
roles/storage.objectViewer) für den Cloud Storage-Bucket
- BigLake-Betrachter (
-
Katalogressourcen verwalten und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten schreiben:
- BigLake Editor (
roles/biglake.editor) für das Projekt - Storage-Objekt-Nutzer (
roles/storage.objectUser) für den Cloud Storage-Bucket
- BigLake Editor (
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Workflow für Replikation und Notfallwiederherstellung
So verwenden Sie die regionenübergreifende Replikation und Notfallwiederherstellung:
- Replikationsstatus ansehen: Ermitteln Sie Ihre aktuellen primären und sekundären Regionen, um die Zielregion für das Failover zu bestimmen.
- Synchronisierungsstatus prüfen: Prüfen Sie den aktuellen Status Ihrer primären und sekundären Regionen, um sicherzustellen, dass sie für eine Umstellung bereit sind.
- Failover-Modus auswählen: Entscheiden Sie sich zwischen einem Soft-Failover (am besten für geplante Wartungsarbeiten) oder einem Hard-Failover (am besten für die Notfallwiederherstellung).
- Failover initiieren: Führen Sie den Befehl für den ausgewählten Modus aus, um die primäre und sekundäre Region zu wechseln.
Failover vorbereiten
Ermitteln Sie Ihre aktuelle primäre Region und prüfen Sie den Synchronisierungsstatus Ihrer sekundären Region. Leiten Sie dann das Failover ein.
Replikationsstatus ansehen
Führen Sie den folgenden gcloud biglake iceberg catalogs describe-Befehl aus, um die Regionen zu ermitteln, in denen Ihr Katalog repliziert wird.
gcloud biglake iceberg catalogs describe CATALOG_NAME
Ersetzen Sie CATALOG_NAME durch den Namen Ihres Katalogs.
Synchronisierungsstatus prüfen
Prüfen Sie vor dem Initiieren eines Failovers den Synchronisierungsstatus Ihres sekundären Replikats mit dem Befehl gcloud biglake iceberg catalogs failover:
gcloud biglake iceberg catalogs failover CATALOG_NAME \
--validate_only \
--primary-replica PRIMARY_REPLICA_REGION
Ersetzen Sie Folgendes:
CATALOG_NAME: der Name Ihres Katalogs.PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.
Failover auslösen
Die Notfallwiederherstellung verwendet die Metastore-Replikation, um primäre und sekundäre Regionen festzulegen. Alle Tabellen-Commit-Metadaten werden aus der primären Region bereitgestellt und in die sekundäre Region repliziert. Sie können die primäre und sekundäre Region für den Katalog mithilfe des Failover-Vorgangs wechseln.
Weicher Failover
Führen Sie den folgenden gcloud biglake iceberg catalogs failover-Befehl aus, um ein Soft Failover zu initiieren:
gcloud biglake iceberg catalogs failover CATALOG_NAME \
--primary-replica PRIMARY_REPLICA_REGION
Ersetzen Sie Folgendes:
CATALOG_NAME: der Name Ihres Katalogs.PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.
Harter Failover
Führen Sie den folgenden gcloud biglake iceberg catalogs failover-Befehl aus, um ein Hard Failover zu initiieren:
gcloud biglake iceberg catalogs failover CATALOG_NAME \
--primary-replica PRIMARY_REPLICA_REGION \
--conditional-failover-replication-time=REPLICATION_TIMESTAMP
Ersetzen Sie Folgendes:
CATALOG_NAME: der Name Ihres Katalogs.PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.REPLICATION_TIMESTAMP: ein RFC 3339-Zeitstempel, der als Prüfpunkt für die Replikation dient. Beim Replikationsprozess wird geprüft, ob das Replikat alle bis zu diesem Zeitpunkt festgeschriebenen Daten enthält. Wenn das Replikat nicht alle Daten enthält, die vor diesem Zeitstempel festgeschrieben wurden, schlägt der Befehl fehl. Wenn Sie den Failover-Prozess unabhängig von einer Replikationsverzögerung erzwingen möchten, legen Sie diesen Zeitstempel auf ein Datum weit in der Vergangenheit fest. Hinweis: Während sich dieses Feature in der Vorabversion befindet, werden mitREPLICATION_TIMESTAMPnur die Katalogmetadaten und nicht die Cloud Storage-Dateien verfolgt. Informationen dazu, wie Sie den Datenverlust mit einer Untergrenze begrenzen können, finden Sie in der Cloud Storage-Dokumentation unter Datenverfügbarkeit und -haltbarkeit.