AlloyDB-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen AlloyDB for PostgreSQL-Stream mit dem automatischen Einrichtungsablauf erstellen.

Hinweis :Wenn Sie den automatisierten Stream-Einrichtungsablauf für die Replikation aus einem AlloyDB for PostgreSQL-Cluster verwenden möchten, muss für Ihre primäre Instanz Zugriff auf private Dienste aktiviert sein und der Verbindungstyp Private Service Connect-Schnittstellen verwendet werden.

Die automatische Einrichtung von Streams vereinfacht die Übertragung von Daten aus AlloyDB for PostgreSQL-Clustern zu BigQuery, da weniger Schritte erforderlich sind. Mit diesem Ablauf können Sie einen Stream direkt auf der Übersichtsseite Ihres AlloyDB for PostgreSQL-Clusters erstellen.

Eine AlloyDB for PostgreSQL-Bereitstellung besteht aus einem primären Cluster, der eine primäre Instanz enthält. Sie kann auch sekundäre Cluster und sekundäre Instanzen umfassen. Datastream erstellt den Stream immer aus der primären Instanz im primären Cluster.

Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und dem Quellcluster und erstellt Datenbankkonfigurationen und Streamverbindungsressourcen.

Hinweis

1. Aktivieren Sie die Datastream API, die Network Connectivity API und die Compute Engine API.
2. Sie benötigen die erforderlichen IAM-Berechtigungen (Identity and Access Management), um Datastream-Ressourcen zu erstellen und zu verwalten. Weitere Informationen finden Sie im nächsten Abschnitt.
3. Erstellen und konfigurieren Sie einen AlloyDB for PostgreSQL-Quellcluster für die Replikation. Weitere Informationen finden Sie unter AlloyDB for PostgreSQL-Datenbank für CDC konfigurieren.

4. Wir empfehlen, die logische Replikation für Ihren Cluster zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream aktiviert. Dadurch wird Ihre Quellinstanz neu gestartet.

   Informationen zum Aktivieren der logischen Replikation für einen AlloyDB for PostgreSQL-Cluster finden Sie unter AlloyDB for PostgreSQL-Datenbank für CDC konfigurieren.

5. Achten Sie darauf, dass Ihr Quellcluster für die Verwendung des Zugriffs auf private Dienste konfiguriert ist.

Erforderliche Berechtigungen

Für den automatisierten Streamerstellungsprozess benötigen Sie die folgenden IAM-Rollen (Identity and Access Management) oder Berechtigungen:

• serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und zum Ausführen von Aufgaben zur Netzwerkkonfiguration.
• alloydb.admin für Cluster- und Instanzkonfigurationsaufgaben.
• datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Wenn Sie die Stream-Einstellungen anpassen möchten, benötigt Ihr Datenbankadministrator auch GRANT-Berechtigungen für das Schema, das Sie replizieren möchten, sowie einige zusätzliche Berechtigungen für administrative und strukturelle Aufgaben in der Quelldatenbank. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Hinweis :Die alloydbsuperuser Rolle ist erforderlich, damit Datastream die Publikation für alle Tabellen in Ihrer Datenbankinstanz erstellen kann.

Zukünftige Tabellen

Zukünftige Tabellen werden dem Stream nur dann automatisch hinzugefügt, wenn sie von dem Nutzer erstellt werden, dessen Kontodetails Sie zur Authentifizierung während des automatisierten Ablaufs angeben. Wenn eine zukünftige Tabelle von einem anderen Nutzer erstellt wird, muss dieser Nutzer dem Datastream-Lesenutzer explizit die Berechtigung SELECT für die Tabelle erteilen.

Stream erstellen und starten

So erstellst du einen Stream und startest ihn:

Console

1. Rufen Sie die Übersichtsseite für Ihre AlloyDB for PostgreSQL-Quellcluster auf.

   Zu AlloyDB for PostgreSQL

2. Klicken Sie auf den primären Cluster, aus dem Sie Daten streamen möchten.

3. Du hast folgende Möglichkeiten, einen Stream automatisch zu erstellen und zu starten:

   1. Klicken Sie auf der Seite Clusterdetails unter Datenreplikation auf Stream starten.
   2. Klicken Sie im Bereich Integrationen unter Daten in BigQuery replizieren auf Stream starten.
   3. Klicken Sie auf dem Tab Launchpad unter Nahtlose Integration in andereGoogle Cloud -Produkte auf Daten in BigQuery replizieren.

4. Der Bereich Stream zum Replizieren von Daten starten wird geöffnet.

5. Sehen Sie sich unter Stream-Einstellungen die Standardeinstellungen für den Stream an, den Sie erstellen.

   Hinweis :Wenn das Flag alloydb.logical_decoding nicht aktiviert ist, wird oben im Bereich eine entsprechende Benachrichtigung angezeigt.

6. Sie können die Quelldatenbank ändern, indem Sie das entsprechende Drop-down-Menü maximieren und einen anderen Wert auswählen.

7. Wenn du bereit bist, deinen Stream zu erstellen und zu starten, klicke auf Stream starten.

   Hinweis :Wenn Sie die Einstellungen nicht anpassen müssen, verwendet Datastream die Anmeldedaten des angemeldeten Nutzers für alle Datenbankkonfigurationen. Sie müssen keine weiteren IAM- oder integrierten Datenbankauthentifizierungsdetails angeben. Bei diesem Ablauf erstellt Datastream einen Datenbanknutzer mit den Rollen alloydbsuperuser und postgres.

Wenn du die Streameinstellungen ändern möchtest, klicke auf Anpassen.

Stream-Einstellungen anpassen

Wenn du auf Anpassen klickst, wird die Seite Stream-Einstellungen anpassen angezeigt. Prüfen Sie, ob Sie die erforderlichen Berechtigungen zum Anpassen der Stream-Einstellungen haben.

Jetzt starten

1. Geben Sie auf der Seite Erste Schritte im Feld Stream-Name den Namen für den Stream ein. Das Feld Stream-ID wird automatisch ausgefüllt.

2. Wählen Sie im Abschnitt Details zu einem Instanznutzerkonto angeben die Authentifizierungsmethode aus:

   • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar, wenn Ihrem Nutzer die IAM-Principal-Identität zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle alloydbsuperuser und die Berechtigung CREATEROLE manuell zuweisen:

     1. Rufen Sie in der Google Cloud Console die Seite AlloyDB for PostgreSQL-Cluster auf.

     Zu AlloyDB for PostgreSQL

     1. Wählen Sie Ihren AlloyDB for PostgreSQL-Cluster aus.
     2. Klicken Sie im Navigationsmenü auf AlloyDB for PostgreSQL Studio und melden Sie sich an.
     3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der Rolle alloydbsuperuser an. Wenn Ihr Nutzer nicht die Rolle alloydbsuperuser hat, folgen Sie der Anleitung im Abschnitt zur IAM-Datenbankauthentifizierung, um sie manuell zu gewähren. Wenn Sie die integrierte Datenbankauthentifizierung auswählen, muss der Nutzer auch die Berechtigung GRANT für die Tabellen haben, die er replizieren möchte.

3. Sehen Sie sich zusätzliche Streamdetails wie Region, Verschlüsselung und Labels an. Maximieren Sie den Bereich Zusätzliche Streamdetails, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Quelle konfigurieren

1. Wählen Sie auf der Seite Quelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.

   Hinweis :In Datastream werden nur die Datenbanken angezeigt, für die Ihr Nutzer die erforderlichen Berechtigungen hat. Wenn Sie eine Datenbank, die Sie verwenden möchten, nicht sehen, fehlen Ihrem Nutzer möglicherweise Berechtigungen. Außerdem werden in Datastream keine Systemtabellen angezeigt, da die Replikation aus Systemtabellen nicht unterstützt wird.

2. In der Liste Ausgewählte Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.

3. Überprüfen Sie die erweiterten Streamkonfigurationen, z. B. den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Abschnitt Erweiterte Streamkonfigurationen, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Ziel konfigurieren

1. Passen Sie auf der Seite Ziel konfigurieren die BigQuery-Zieleinstellungen nach Bedarf an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

1. Klicken Sie auf Erstellen und starten, um den Stream zu erstellen und zu starten, oder auf Erstellen, ohne zu starten, um den Stream zu erstellen und später in Datastream zu starten.

   Wichtig :Wenn Sie auf Erstellen und starten klicken, wird Ihre AlloyDB for PostgreSQL-Instanz neu gestartet. Wenn die logische Dekodierung für Ihre Instanz nicht aktiviert ist, wird sie von Datastream aktiviert.

2. Sie werden über die Aufgaben benachrichtigt, die automatisch für Sie ausgeführt werden:

   • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen, z. B. einen internen IP-Adressbereich, ein Subnetzwerk und einen Netzwerkanhang.
   • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
   • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

3. Bestätigen Sie, dass Sie den Stream erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Streamdetails auf der Übersichtsseite der Quellinstanz in der Google Cloud -Konsole überwachen. Auf der Seite werden Informationen wie der Streamstatus, der Streamname, das BigQuery-Zieldataset und die Kennung des Zielprojekts angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten oder Pausieren des Streams ausführen. Wenn Sie detailliertere Informationen zum Monitoring benötigen, klicken Sie auf den Streamnamen, um zu Datastream zu gelangen.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

• Die Publikation. Die Publikation wird mit dem Datenbankadministratornutzer erstellt und kann nur von ihrem Inhaber, also standardmäßig vom Nutzer, der sie erstellt hat, gelöscht werden.
• Der Datastream Reader-Nutzer.
• Die Quell- und Zielverbindungsprofile des Datastreams
• Die Ressourcen für private Verbindungen.
• Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetzwerk und die Netzwerkverbindung.

Nächste Schritte

• Informationen zum manuellen Erstellen eines Streams
• AlloyDB for PostgreSQL-Quelle konfigurieren
• Weitere Informationen zum Monitoring von Streams