AlloyDB-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie mit dem automatisierten Einrichtungsablauf einen AlloyDB for PostgreSQL-Stream erstellen.

Hinweis: Wenn Sie den automatisierten Stream-Einrichtungsablauf bei der Replikation aus einem AlloyDB for PostgreSQL-Cluster verwenden möchten, muss für Ihre primäre Instanz der Zugriff auf private Dienste aktiviert sein und der Verbindungstyp „Private Service Connect-Schnittstellen“ verwendet werden.

Die automatisierte Stream-Einrichtung vereinfacht das Verschieben von Daten aus AlloyDB for PostgreSQL-Clustern nach BigQuery, indem die Anzahl der erforderlichen Schritte reduziert wird. Mit dem Ablauf können Sie einen Stream direkt auf der Übersichtsseite Ihres AlloyDB for PostgreSQL-Clusters erstellen.

Eine AlloyDB for PostgreSQL-Bereitstellung besteht aus einem primären Cluster, der eine primäre Instanz enthält. Sie kann auch sekundäre Cluster und sekundäre Instanzen enthalten. Datastream erstellt den Stream immer aus der primären Instanz im primären Cluster.

Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und dem Quellcluster sowie die Erstellung von Datenbankkonfigurationen und Stream-Verbindungsressourcen.

Kostenlose Stufe

Mit Datastream können Sie über die kostenlose Stufe Daten von AlloyDB for PostgreSQL nach BigQuery streamen. Dabei erhalten Sie jeden Monat bis zu 100 GiB an Change Data Capture-Daten kostenlos. Weitere Informationen finden Sie unter Datastream-Preise.

Hinweis

1. Aktivieren Sie die Datastream API, die Network Connectivity API und die Compute Engine API.
2. Prüfen Sie, ob Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management) zum Erstellen und Verwalten von Datastream-Ressourcen haben. Weitere Informationen finden Sie im folgenden Abschnitt , der folgt.
3. Erstellen und konfigurieren Sie einen AlloyDB for PostgreSQL-Quellcluster für die Replikation. Weitere Informationen finden Sie unter AlloyDB for PostgreSQL-Datenbank für CDC konfigurieren.

4. Wir empfehlen, die logische Replikation für Ihren Cluster zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream aktiviert, wodurch Ihre Quellinstanz neu gestartet wird.

   Informationen zum Aktivieren der logischen Replikation für einen AlloyDB for PostgreSQL-Cluster finden Sie unter AlloyDB for PostgreSQL-Datenbank für CDC konfigurieren.

5. Achten Sie darauf, dass Ihr Quellcluster für den Zugriff auf private Dienste konfiguriert ist.

Erforderliche Berechtigungen

Für die Verwendung des automatisierten Stream-Erstellungsablaufs benötigen Sie die folgenden IAM-Rollen oder -Berechtigungen (Identity and Access Management):

• serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und Ausführen von Aufgaben zur Netzwerkkonfiguration.
• alloydb.admin für Aufgaben zur Cluster- und Instanzkonfiguration.
• datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Wenn Sie die Streameinstellungen anpassen möchten, benötigt Ihr Datenbankadministrator auch GRANT-Berechtigungen für das Schema, das Sie replizieren möchten, sowie einige zusätzliche Berechtigungen für Verwaltungs- und Strukturaufgaben in der Quelldatenbank. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Hinweis: Die Rolle alloydbsuperuser ist erforderlich, damit Datastream die Publikation für alle Tabellen in Ihrer Datenbankinstanz erstellen kann.

Zukünftige Tabellen

Zukünftige Tabellen werden dem Stream nur dann automatisch hinzugefügt, wenn sie von dem Nutzer erstellt werden, dessen Kontodetails Sie zur Authentifizierung während des automatisierten Ablaufs angeben. Wenn eine zukünftige Tabelle von einem anderen Nutzer erstellt wird, muss dieser Nutzer dem Datastream-Lesenutzer explizit die Berechtigung SELECT für die Tabelle gewähren.

Stream erstellen und starten

So erstellen und starten Sie einen Stream:

Console

1. Rufen Sie die Übersichtsseite Ihrer AlloyDB for PostgreSQL-Quellcluster auf.

   Zu AlloyDB for PostgreSQL

2. Klicken Sie auf den primären Cluster, aus dem Sie Daten streamen möchten.

3. Erstellen und starten Sie Ihren Stream automatisch auf eine der folgenden Arten:

   1. Klicken Sie auf der Seite Clusterdetails unter Datenreplikation auf Stream starten.
   2. Klicken Sie im Bereich Integrationen unter Daten nach BigQuery replizieren auf Stream starten.
   3. Klicken Sie auf dem Tab Launchpad unter Nahtlose Integration mit anderen Google Cloud Produkten auf Daten nach BigQuery replizieren.

4. Der Bereich Stream zum Replizieren von Daten starten wird geöffnet.

5. Sehen Sie sich unter Streameinstellungen die Standardeinstellungen für den Stream an, den Sie erstellen.

   Hinweis: Wenn das Flag alloydb.logical_decoding nicht aktiviert ist, wird oben im Bereich eine entsprechende Benachrichtigung angezeigt.

6. Sie können die Quelldatenbank ändern, indem Sie das entsprechende Drop-down-Menü maximieren und einen anderen Wert auswählen.

7. Wenn Sie bereit sind, Ihren Stream zu erstellen und zu starten, klicken Sie auf Stream starten.

   Hinweis: Wenn Sie die Einstellungen nicht anpassen müssen, verwendet Datastream die Anmeldedaten des angemeldeten Nutzers für alle Datenbankkonfigurationen. Sie müssen keine weiteren Details zur IAM- oder integrierten Datenbankauthentifizierung angeben. Bei Verwendung dieses Ablaufs erstellt Datastream einen Datenbanknutzer mit den Rollen alloydbsuperuser und postgres.

Wenn Sie die Streameinstellungen ändern müssen, klicken Sie auf Anpassen.

Stream-Einstellungen anpassen

Wenn Sie auf Anpassen klicken, wird die Seite Streameinstellungen anpassen angezeigt. Achten Sie darauf, dass Sie die erforderlichen Berechtigungen zum Anpassen der Stream einstellungen haben.

Jetzt starten

1. Geben Sie auf der Seite Jetzt starten im Feld Streamname den Namen für Ihren Stream an. Das Feld Stream-ID wird automatisch ausgefüllt.

2. Wählen Sie im Bereich Details zum Nutzerkonto der Instanz angeben die Authentifizierungsmethode aus:

   • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar, wenn Ihrem Nutzer die IAM-Hauptkontoidentität (Identity and Access Management) zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle alloydbsuperuser und die Berechtigung CREATEROLE manuell gewähren:

     1. Rufen Sie in der Google Cloud Console die Seite AlloyDB for PostgreSQL-Cluster auf.

     Zu AlloyDB for PostgreSQL

     1. Wählen Sie Ihren AlloyDB for PostgreSQL-Cluster aus.
     2. Klicken Sie im Navigationsmenü auf AlloyDB for PostgreSQL Studio und melden Sie sich an.
     3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der alloydbsuperuser Rolle an. Wenn Ihr Nutzer nicht die Rolle alloydbsuperuser hat, folgen Sie der Anleitung im Abschnitt IAM-Datenbankauthentifizierung, um sie manuell zu gewähren. Wenn Sie die integrierte Datenbankauthentifizierung auswählen, achten Sie auch darauf, dass der Nutzer GRANT-Berechtigungen für die Tabellen hat, die er replizieren möchte.

3. Sehen Sie sich weitere Streamdetails wie Region, Verschlüsselung und Labels an. Maximieren Sie den Bereich Zusätzliche Streamdetails, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Quelle konfigurieren

1. Wählen Sie auf der Seite Quelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.

   Hinweis: Datastream zeigt nur die Datenbanken an, für die Ihr Nutzer die erforderlichen Berechtigungen hat. Wenn Sie eine Datenbank, die Sie verwenden möchten, nicht sehen können, fehlen Ihrem Nutzer möglicherweise Berechtigungen. Außerdem werden in Datastream keine Systemtabellen angezeigt, da die Replikation aus Systemtabellen nicht unterstützt wird.

2. In der Liste Ausgewählte Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.

3. Sehen Sie sich die erweiterten Streamkonfigurationen an, z. B. den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Bereich Erweiterte Streamkonfigurationen, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Ziel konfigurieren

1. Passen Sie auf der Seite Ziel konfigurieren bei Bedarf die BigQuery-Zieleinstellungen an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

1. Klicken Sie auf Erstellen und starten , um Ihren Stream zu erstellen und zu starten, oder auf Erstellen, ohne zu starten , um Ihren Stream zu erstellen und ihn später in Datastream zu starten.

   Wichtig: Wenn Sie auf Erstellen und starten klicken, wird Ihre AlloyDB for PostgreSQL-Instanz neu gestartet. Wenn die logische Decodierung für Ihre Instanz nicht aktiviert ist, wird sie von Datastream aktiviert.

2. Sie werden über die Aufgaben benachrichtigt, die automatisch für Sie ausgeführt werden:

   • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen, z. B. einen internen IP-Adressbereich, ein Subnetz und einen Netzwerk-Anhang.
   • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
   • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

3. Bestätigen Sie, dass Sie Ihren Stream erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Streamdetails auf der Übersichtsseite Ihrer Quellinstanz in der Google Cloud Console überwachen. Auf der Seite werden Informationen wie Streamstatus, Streamname, BigQuery-Ziel-Dataset und Zielprojekt-ID angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten oder Anhalten des Streams ausführen. Für detailliertere Monitoring-Informationen klicken Sie auf den Streamnamen, um zu Datastream zu wechseln.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

• Die Publikation. Die Publikation wird mit dem Datenbankadministrator erstellt und kann nur vom Inhaber gelöscht werden, also standardmäßig von dem Nutzer, der sie erstellt hat.
• Der Datastream-Lesenutzer.
• Die Datastream-Quell- und -Zielverbindungsprofile.
• Die Ressourcen für private Verbindungen.
• Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetz und der Netzwerk-Anhang.

Nächste Schritte

• Stream manuell erstellen
• AlloyDB for PostgreSQL-Quelle konfigurieren
• Erfahren Sie mehr über die Überwachung von Streams.