Cloud SQL-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen Stream mit dem automatischen Einrichtungsablauf erstellen.

Hinweis :Der automatisierte Stream-Einrichtungsprozess ist verfügbar, wenn Sie Daten aus verwalteten Cloud SQL-Quellen wie Cloud SQL for PostgreSQL, Cloud SQL for MySQL und Cloud SQL for SQL Server in BigQuery replizieren. Google Cloud Für die Instanzen muss der Zugriff auf private Dienste aktiviert sein und sie müssen den Verbindungstyp Private Service Connect-Schnittstellen verwenden. Weitere Informationen zu den Anforderungen an die Quelle finden Sie unter Vorbereitung.

Die automatische Einrichtung von Streams vereinfacht die Übertragung von Daten ausGoogle Cloud -verwalteten Datenbanken zu BigQuery, da weniger Schritte erforderlich sind. Mit dem Ablauf können Sie einen Stream direkt über die Übersichtsseite Ihrer Cloud SQL-Instanzen erstellen. Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und der Quelldatenbank und erstellt Datenbankkonfigurationen und Streamverbindungsressourcen.

Hinweis

1. Aktivieren Sie die Datastream API, die Network Connectivity API und die Compute Engine API.
2. Sie benötigen die erforderlichen IAM-Berechtigungen (Identity and Access Management), um Datastream-Ressourcen zu erstellen und zu verwalten. Weitere Informationen finden Sie im nächsten Abschnitt.
3. Erstellen und konfigurieren Sie eine Cloud SQL-Quelldatenbank für die Replikation. Weitere Informationen finden Sie unter Quellen konfigurieren.
4. Achten Sie darauf, dass Ihre Quelldatenbank für die Verwendung des Zugriffs auf private Dienste konfiguriert ist.

5. Für Cloud SQL for PostgreSQL-Instanzen: Wir empfehlen, die logische Replikation für Ihre Instanz zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream für Sie aktiviert, wodurch Ihre Quellinstanz neu gestartet wird.

   Hinweis :Informationen zum Aktivieren der logischen Replikation für eine Cloud SQL for PostgreSQL-Instanz finden Sie unter Cloud SQL for PostgreSQL-Datenbank für CDC konfigurieren.

6. Für Cloud SQL for MySQL-Instanzen: Aktivieren Sie die Wiederherstellung zu einem bestimmten Zeitpunkt für Ihre Cloud SQL for MySQL-Instanz und achten Sie darauf, dass Ihre Datenbankversion 8.0.14 oder höher ist. Datastream unterstützt die Aktivierung der Wiederherstellung zu einem bestimmten Zeitpunkt nur in der Standard-Backupebene, wenn die automatisierte Streameinrichtung verwendet wird.

   Hinweis :Datastream verwendet die GTID-basierte Replikation, wenn der automatisierte Stream-Einrichtungsablauf verwendet wird.

7. Cloud SQL for SQL Server-Instanzen: Prüfen Sie, ob Datastream die SQL Server-Version unterstützt, die von Ihrer Instanz verwendet wird.

Erforderliche Berechtigungen

Für den automatisierten Streamerstellungsprozess benötigen Sie die folgenden IAM-Rollen (Identity and Access Management) oder Berechtigungen:

• serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und zum Ausführen von Aufgaben zur Netzwerkkonfiguration.
• cloudsql.admin für Instanzkonfigurationsaufgaben.
• datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Zusätzliche Berechtigungen für Cloud SQL for PostgreSQL erforderlich

• Achten Sie darauf, dass Sie der Rolle postgres oder cloudsqlsuperuser Zugriff auf alle Schemas und Tabellen in der ausgewählten Datenbank gewährt haben. Da der automatisierte Ablauf standardmäßig alle Schemas und Tabellen in der Datenbank umfasst, schlägt die Streamerstellung fehl, wenn dem automatisch erstellten Datenbanknutzer Berechtigungen für ein Schema oder eine Tabelle fehlen.

• Wenn Sie die Stream-Einstellungen anpassen möchten, benötigt Ihr Datenbankadministratornutzer auch GRANT-Berechtigungen für das Schema, das Sie replizieren möchten, sowie einige zusätzliche Berechtigungen für administrative und strukturelle Aufgaben in der Quelldatenbank. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  Hinweis :Die Rolle cloudsqlsuperuser ist erforderlich, damit Datastream die Publikation für alle Tabellen in Ihrer Datenbankinstanz erstellen kann.

• Zukünftige Tabellen werden dem Stream nur dann automatisch hinzugefügt, wenn sie von dem Nutzer erstellt werden, dessen Kontodetails Sie zur Authentifizierung während des automatisierten Ablaufs angeben. Wenn eine zukünftige Tabelle von einem anderen Nutzer erstellt wird, muss dieser Nutzer dem Datastream-Lesenutzer explizit die Berechtigung SELECT für die Tabelle erteilen.

Stream erstellen und starten

So erstellst du einen Stream und startest ihn:

Console

Jetzt starten

1. Rufen Sie die Übersichtsseite der Cloud SQL-Quelldatenbankinstanz auf.

   Cloud SQL-Instanzen aufrufen

2. Klicken Sie im Abschnitt Daten in BigQuery streamen auf Stream erstellen.

3. Geben Sie auf der Seite Erste Schritte im Feld Stream-Name den Namen für Ihren Stream ein. Eine eindeutige Kennung wird automatisch eingefügt.

4. Wählen Sie im Abschnitt Details zu einem Instanznutzerkonto angeben die Authentifizierungsmethode aus:

   • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar, wenn Ihrem Nutzer die IAM-Hauptidentität (Identity and Access Management) zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle cloudsqlsuperuser und die Berechtigung CREATEROLE manuell zuweisen:

     1. Wechseln Sie in der Google Cloud Console zur Seite Cloud SQL-Instanzen.

     Cloud SQL-Instanzen aufrufen

     1. Wählen Sie Ihre Cloud SQL-Instanz aus.
     2. Klicken Sie im Navigationsmenü auf Cloud SQL Studio und melden Sie sich an.
     3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der Rolle cloudsqlsuperuser an. Wenn Sie diese Option auswählen, muss der Nutzer die Berechtigungen GRANT für die Tabellen haben, die er replizieren möchte.

5. Sehen Sie sich zusätzliche Streamdetails wie Region, Verschlüsselung und Labels an. Maximieren Sie den Bereich Zusätzliche Streamdetails, um bei Bedarf Änderungen vorzunehmen.

6. Klicken Sie auf Weiter.

Quelle konfigurieren

1. Wählen Sie auf der Seite Streamquelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.

   Hinweis :In Datastream werden nur die Datenbanken angezeigt, für die Ihr Nutzer die erforderlichen Berechtigungen hat. Wenn Sie eine Datenbank, die Sie verwenden möchten, nicht sehen, fehlen Ihrem Nutzer möglicherweise Berechtigungen.

2. In der Liste Einzuschließende Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.

3. Sehen Sie sich die erweiterten Streamkonfigurationen an, z. B. den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Abschnitt Erweiterte Streamkonfigurationen, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Ziel konfigurieren

1. Passen Sie auf der Seite Ziel konfigurieren die BigQuery-Zieleinstellungen nach Bedarf an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

1. Klicken Sie auf Erstellen und später starten, um den Stream zu erstellen und später in Datastream zu starten, oder auf Starten, um den Stream sofort zu erstellen und zu starten.

   Wichtig :Wenn Sie auf Starten klicken, wird Ihre Cloud SQL for PostgreSQL-Instanz neu gestartet. Wenn die logische Decodierung für Ihre Instanz nicht aktiviert ist, wird sie von Datastream aktiviert.

2. Sie werden über die Aufgaben benachrichtigt, die automatisch für Sie ausgeführt werden:

   • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen wie den internen IP-Adressbereich, das Subnetzwerk und den Netzwerkanhang.
   • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
   • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

3. Bestätigen Sie, dass Sie den Stream erstellen oder erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Streamdetails auf der Übersichtsseite der Quellinstanz in der Google Cloud -Konsole überwachen. Auf der Seite werden Informationen wie Streamstatus, Streamname, BigQuery-Zieldataset und Kennung des Zielprojekts angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten oder Pausieren des Streams ausführen. Wenn Sie detailliertere Informationen zum Monitoring aufrufen möchten, klicken Sie auf den Streamnamen, um zu Datastream zu gelangen.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

• Die Publikation. Die Publikation wird mit dem Datenbankadministratornutzer erstellt und kann nur von ihrem Inhaber gelöscht werden, also standardmäßig von dem Nutzer, der sie erstellt hat.
• Der Datastream Reader-Nutzer.
• Die Quell- und Zielverbindungsprofile des Datastreams
• Die Ressourcen für private Verbindungen.
• Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetzwerk und die Netzwerkverbindung.

Nächste Schritte

• Stream manuell erstellen
• Weitere Informationen zum Monitoring von Streams