Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen Stream mit dem automatischen Einrichtungsablauf erstellen.

Hinweis :Der automatisierte Stream-Einrichtungsprozess ist verfügbar, wenn Daten aus Google Cloud verwalteten Cloud SQL for PostgreSQL-Quellen nach BigQuery repliziert werden. Für die Instanzen muss der Zugriff auf private Dienste aktiviert sein und sie müssen den Verbindungstyp Private Service Connect-Schnittstellen verwenden.

Die automatische Einrichtung von Streams vereinfacht das Übertragen von Daten aus verwalteten Cloud SQL for PostgreSQL-Datenbanken zu BigQuery, da weniger Schritte erforderlich sind. Mit dem Ablauf können Sie einen Stream direkt über die Übersichtsseite Ihrer Cloud SQL for PostgreSQL-Instanz erstellen. Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und der Quelldatenbank und erstellt Datenbankkonfigurationen und Streamverbindungsressourcen.

Hinweise

1. Aktivieren Sie die Datastream API, die Network Connectivity API und die Compute Engine API.
2. Sie benötigen die erforderlichen IAM-Berechtigungen (Identity and Access Management), um Datastream-Ressourcen zu erstellen und zu verwalten. Weitere Informationen finden Sie im nächsten Abschnitt.
3. Erstellen und konfigurieren Sie eine Cloud SQL for PostgreSQL-Quelldatenbank für die Replikation. Weitere Informationen finden Sie unter Cloud SQL for PostgreSQL-Datenbank für CDC konfigurieren.

4. Wir empfehlen, die logische Replikation für Ihre Instanz zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream aktiviert. Dadurch wird Ihre Quellinstanz neu gestartet.

   Informationen zum Aktivieren der logischen Replikation für eine Cloud SQL for PostgreSQL-Instanz finden Sie unter Cloud SQL for PostgreSQL-Datenbank für CDC konfigurieren.

5. Achten Sie darauf, dass Ihre Quelldatenbank für die Verwendung des Zugriffs auf private Dienste konfiguriert ist.

Erforderliche Berechtigungen

Wenn Sie den automatisierten Streamerstellungsprozess verwenden möchten, benötigen Sie die folgenden IAM-Rollen (Identity and Access Management) oder Berechtigungen:

• serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und zum Ausführen von Aufgaben zur Netzwerkkonfiguration.
• cloudsql.admin für Instanzkonfigurationsaufgaben.
• datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Ihr Datenbankadministratorbenutzer benötigt außerdem GRANT-Berechtigungen für das Schema, das Sie replizieren möchten. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  

Hinweis :Sie benötigen die Rolle cloudsqlsuperuser, um die Publikation für alle Tabellen in Ihrer Datenbankinstanz zu erstellen.

Stream erstellen und starten

So erstellen und starten Sie einen Stream:

Console

Jetzt starten

1. Rufen Sie die Übersichtsseite Ihrer Cloud SQL for PostgreSQL-Quelldatenbankinstanz auf.

   Cloud SQL-Instanzen aufrufen

2. Klicken Sie im Abschnitt Daten in BigQuery streamen auf Stream erstellen.

3. Geben Sie auf der Seite Erste Schritte im Feld Stream-Name den Namen für den Stream ein. Eine eindeutige Kennung wird automatisch eingefügt.

4. Wählen Sie im Abschnitt Details zum Instanznutzerkonto angeben die Authentifizierungsmethode aus:

   • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar, wenn Ihrem Nutzer die IAM-Hauptidentität (Identity and Access Management) zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle cloudsqlsuperuser und die Berechtigung CREATEROLE manuell zuweisen:

     1. Wechseln Sie in der Google Cloud Console zur Seite Cloud SQL-Instanzen.

     Cloud SQL-Instanzen aufrufen

     1. Wählen Sie Ihre Cloud SQL-Instanz aus.
     2. Klicken Sie im Navigationsmenü auf Cloud SQL Studio und melden Sie sich an.
     3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der Rolle cloudsqlsuperuser an. Wenn Sie diese Option auswählen, muss der Nutzer die Berechtigungen GRANT für die Tabellen haben, die er replizieren möchte.

5. Sehen Sie sich zusätzliche Streamdetails wie Region, Verschlüsselung und Labels an. Maximieren Sie den Bereich Zusätzliche Streamdetails, um bei Bedarf Änderungen vorzunehmen.

6. Klicken Sie auf Weiter.

Quelle konfigurieren

1. Wählen Sie auf der Seite Streamquelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.
2. In der Liste Einzuschließende Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.
3. Überprüfen Sie erweiterte Streamkonfigurationen wie den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Abschnitt Erweiterte Streamkonfigurationen, um bei Bedarf Änderungen vorzunehmen.
4. Klicken Sie auf Weiter.

Ziel konfigurieren

1. Passen Sie auf der Seite Ziel konfigurieren die BigQuery-Zieleinstellungen nach Bedarf an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

1. Klicken Sie auf Erstellen und später starten, um den Stream zu erstellen und später in Datastream zu starten, oder auf Starten, um den Stream sofort zu erstellen und zu starten.

   Wichtig :Wenn Sie auf Starten klicken, wird Ihre Cloud SQL for PostgreSQL-Instanz neu gestartet. Wenn die logische Decodierung für Ihre Instanz nicht aktiviert ist, wird sie von Datastream aktiviert.

2. Sie werden über die Aufgaben benachrichtigt, die automatisch für Sie ausgeführt werden:

   • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen wie den internen IP-Adressbereich, das Subnetzwerk und den Netzwerkanhang.
   • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
   • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

3. Bestätigen Sie, dass Sie den Stream erstellen oder erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Streamdetails auf der Übersichtsseite der Quellinstanz in der Google Cloud Console überwachen. Auf der Seite werden Informationen wie der Streamstatus, der Streamname, das BigQuery-Zieldataset und die Kennung des Zielprojekts angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten, Beenden oder Pausieren des Streams ausführen. Wenn Sie detailliertere Informationen zum Monitoring benötigen, klicken Sie auf den Streamnamen, um zu Datastream zu gelangen.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

• Die Publikation. Die Publikation wird mit dem Datenbankadministratornutzer erstellt und kann nur von ihrem Inhaber gelöscht werden, also standardmäßig von dem Nutzer, der sie erstellt hat.
• Der Datastream Reader-Nutzer.
• Die Datastream-Verbindungsprofile für Quelle und Ziel
• Die Ressourcen für private Verbindungen.
• Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetz und die Netzwerkverbindung.

Nächste Schritte

• Stream manuell erstellen
• Weitere Informationen zum Monitoring von Streams