Regionsübergreifende Replikation und Notfallwiederherstellung verwenden

Borderless Lakehouse unterstützt die regionenübergreifende Replikation und Notfallwiederherstellung für Katalogmetadaten.

Für diese Konfiguration sind Kataloge erforderlich, die von Dual-Region- oder multiregionalen Cloud Storage-Buckets unterstützt werden.

Hinweis

  1. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud -Projekt aktiviert ist.

  2. Aktivieren Sie die BigLake API, falls sie noch nicht aktiviert ist.

    Erforderliche Rollen zum Aktivieren von APIs

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung des Iceberg REST-Katalogendpunkts im Lakehouse-Laufzeitkatalog benötigen:

  • Führen Sie administrative Aufgaben aus, z. B. die Verwaltung des Katalogzugriffs für Nutzer, des Speicherzugriffs und des Modus für die Bereitstellung von Anmeldedaten des Katalogs:
  • Tabellendaten im Modus für die Bereitstellung von Anmeldedaten lesen: BigLake-Betrachter (roles/biglake.viewer) für das Projekt
  • Tabellendaten im Modus für die Bereitstellung von Anmeldedaten schreiben: BigLake-Bearbeiter (roles/biglake.editor) für das Projekt
  • Katalogressourcen und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten lesen:
  • Katalogressourcen verwalten und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten schreiben:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Workflow für Replikation und Notfallwiederherstellung

So verwenden Sie die regionenübergreifende Replikation und Notfallwiederherstellung:

  1. Replikationsstatus ansehen: Ermitteln Sie Ihre aktuellen primären und sekundären Regionen, um die Zielregion für das Failover zu bestimmen.
  2. Synchronisierungsstatus prüfen: Prüfen Sie den aktuellen Status Ihrer primären und sekundären Regionen, um sicherzustellen, dass sie für eine Umstellung bereit sind.
  3. Failover-Modus auswählen: Entscheiden Sie sich zwischen einem Soft-Failover (am besten für geplante Wartungsarbeiten) oder einem Hard-Failover (am besten für die Notfallwiederherstellung).
  4. Failover initiieren: Führen Sie den Befehl für den ausgewählten Modus aus, um die primäre und sekundäre Region zu wechseln.

Failover vorbereiten

Ermitteln Sie Ihre aktuelle primäre Region und prüfen Sie den Synchronisierungsstatus Ihrer sekundären Region. Leiten Sie dann das Failover ein.

Replikationsstatus ansehen

Führen Sie den folgenden gcloud biglake iceberg catalogs describe-Befehl aus, um die Regionen zu ermitteln, in denen Ihr Katalog repliziert wird.

gcloud biglake iceberg catalogs describe CATALOG_NAME

Ersetzen Sie CATALOG_NAME durch den Namen Ihres Katalogs.

Synchronisierungsstatus prüfen

Prüfen Sie vor dem Initiieren eines Failovers den Synchronisierungsstatus Ihres sekundären Replikats mit dem Befehl gcloud biglake iceberg catalogs failover:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --validate_only \
    --primary-replica PRIMARY_REPLICA_REGION

Ersetzen Sie Folgendes:

  • CATALOG_NAME: der Name Ihres Katalogs.
  • PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.

Failover auslösen

Die Notfallwiederherstellung verwendet die Metastore-Replikation, um primäre und sekundäre Regionen festzulegen. Alle Tabellen-Commit-Metadaten werden aus der primären Region bereitgestellt und in die sekundäre Region repliziert. Sie können die primäre und sekundäre Region für den Katalog mithilfe des Failover-Vorgangs wechseln.

Weicher Failover

Führen Sie den folgenden gcloud biglake iceberg catalogs failover-Befehl aus, um ein Soft Failover zu initiieren:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --primary-replica PRIMARY_REPLICA_REGION

Ersetzen Sie Folgendes:

  • CATALOG_NAME: der Name Ihres Katalogs.
  • PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.

Harter Failover

Führen Sie den folgenden gcloud biglake iceberg catalogs failover-Befehl aus, um ein Hard Failover zu initiieren:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --primary-replica PRIMARY_REPLICA_REGION \
    --conditional-failover-replication-time=REPLICATION_TIMESTAMP

Ersetzen Sie Folgendes:

  • CATALOG_NAME: der Name Ihres Katalogs.
  • PRIMARY_REPLICA_REGION: die Region, die als neues primäres Replikat festgelegt werden soll.
  • REPLICATION_TIMESTAMP: ein RFC 3339-Zeitstempel, der als Prüfpunkt für die Replikation dient. Beim Replikationsprozess wird geprüft, ob das Replikat alle bis zu diesem Zeitpunkt festgeschriebenen Daten enthält. Wenn das Replikat nicht alle Daten enthält, die vor diesem Zeitstempel festgeschrieben wurden, schlägt der Befehl fehl. Wenn Sie den Failover-Prozess unabhängig von einer Replikationsverzögerung erzwingen möchten, legen Sie diesen Zeitstempel auf ein Datum weit in der Vergangenheit fest. Hinweis: Während sich dieses Feature in der Vorabversion befindet, werden mit REPLICATION_TIMESTAMP nur die Katalogmetadaten und nicht die Cloud Storage-Dateien verfolgt. Informationen dazu, wie Sie den Datenverlust mit einer Untergrenze begrenzen können, finden Sie in der Cloud Storage-Dokumentation unter Datenverfügbarkeit und -haltbarkeit.

Nächste Schritte