Cloud SQL-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen Stream mit dem automatisierten Einrichtungsablauf erstellen.

Hinweis: Der automatisierte Stream-Einrichtungsablauf ist verfügbar, wenn Sie Daten aus verwalteten Cloud SQL-Quellen wie Google Cloud Cloud SQL for PostgreSQL, Cloud SQL for MySQL und Cloud SQL for SQL Server in BigQuery replizieren. Für die Instanzen muss der Zugriff auf private Dienste aktiviert sein und der Verbindungstyp „Private Service Connect-Schnittstellen“ verwendet werden. Weitere Informationen zu den Anforderungen an die Quelle finden Sie unter Hinweis.

Die automatisierte Stream-Einrichtung vereinfacht die Übertragung von Daten aus Google Cloud verwalteten Datenbanken nach BigQuery, da die Anzahl der erforderlichen Schritte reduziert wird. Mit dem Ablauf können Sie einen Stream direkt auf der Übersichtsseite Ihrer Cloud SQL-Instanzen erstellen. Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und der Quelldatenbank sowie die Erstellung von Datenbankkonfigurationen und Stream-Verbindungsressourcen.

Hinweis

1. Aktivieren Sie die Datastream API, die Network Connectivity API und die Compute Engine API.
2. Prüfen Sie, ob Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management) zum Erstellen und Verwalten von Datastream-Ressourcen haben. Weitere Informationen finden Sie im folgenden Abschnitt , der folgt.
3. Erstellen und konfigurieren Sie eine Cloud SQL-Quelldatenbank für die Replikation. Weitere Informationen finden Sie unter Quellen konfigurieren.
4. Achten Sie darauf, dass Ihre Quelldatenbank für den Zugriff auf private Dienste konfiguriert ist.

5. Für Cloud SQL for PostgreSQL-Instanzen: Wir empfehlen, die logische Replikation für Ihre Instanz zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream für Sie aktiviert, wodurch Ihre Quellinstanz neu gestartet wird.

   **Hinweis**: Informationen zum Aktivieren der logischen Replikation für eine Cloud SQL for PostgreSQL-Instanz finden Sie unter Cloud SQL for PostgreSQL-Datenbank für CDC konfigurieren.

6. Für Cloud SQL for MySQL-Instanzen: Aktivieren Sie die Wiederherstellung zu einem bestimmten Zeitpunkt für Ihre Cloud SQL for MySQL-Instanz und prüfen Sie, ob Ihre Datenbankversion 8.0.14 oder höher ist. Bei der automatisierten Stream-Einrichtung unterstützt Datastream nur die Aktivierung der Wiederherstellung zu einem bestimmten Zeitpunkt in der Standard -Backupebene.

   **Hinweis**: Bei der automatisierten Stream-Einrichtung verwendet Datastream die GTID-basierte Replikation.

7. Für Cloud SQL for SQL Server-Instanzen: Prüfen Sie, ob Datastream die SQL Server-Version unterstützt, die von Ihrer Instanz verwendet wird.

Erforderliche Berechtigungen

Für die automatisierte Stream-Erstellung benötigen Sie die folgenden IAM-Rollen oder ‑Berechtigungen (Identity and Access Management):

• serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und Ausführen von Netzwerkkonfigurationsaufgaben.
• cloudsql.admin für Instanzkonfigurationsaufgaben.
• datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Zusätzliche Berechtigungen für Cloud SQL for PostgreSQL

• Für Cloud SQL for PostgreSQL-Instanzen benötigt der Datenbankadministratornutzer auch GRANT-Berechtigungen für das Schema, das Sie replizieren möchten, sowie einige zusätzliche Berechtigungen für Verwaltungs- und Strukturaufgaben in der Quelldatenbank. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  Hinweis: Die cloudsqlsuperuser Rolle ist erforderlich, damit Datastream die Publikation für alle Tabellen in Ihrer Datenbankinstanz erstellen kann.

• Zukünftige Tabellen werden nur dann automatisch dem Stream hinzugefügt, wenn sie von dem Nutzer erstellt werden, dessen Kontodetails Sie zur Authentifizierung während des automatisierten Ablaufs angeben. Wenn eine zukünftige Tabelle von einem anderen Nutzer erstellt wird, muss dieser Nutzer dem Datastream-Lesenutzer explizit die Berechtigung SELECT für die Tabelle gewähren.

Stream erstellen und starten

So erstellen und starten Sie einen Stream:

Console

Jetzt starten

1. Rufen Sie die Übersichtsseite Ihrer Cloud SQL-Quelldatenbankinstanz auf.

   Cloud SQL-Instanzen aufrufen

2. Klicken Sie im Bereich Daten in BigQuery streamen auf Stream erstellen.

3. Geben Sie auf der Seite Jetzt starten im Feld Stream-Name den Namen für Ihren Stream ein. Eine eindeutige ID wird automatisch eingefügt.

4. Wählen Sie im Bereich Details zum Instanznutzerkonto angeben die Authentifizierungsmethode aus:

   • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar wenn Ihrem Nutzer die IAM-Hauptkontoidentität (Identity and Access Management) zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle cloudsqlsuperuser und die Berechtigung CREATEROLE manuell gewähren:

     1. Öffnen Sie in der Google Cloud Console die Seite Cloud SQL-Instanzen.

     Cloud SQL-Instanzen aufrufen

     1. Wählen Sie Ihre Cloud SQL-Instanz aus.
     2. Klicken Sie im Navigationsmenü auf Cloud SQL Studio und melden Sie sich an.
     3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der cloudsqlsuperuser Rolle an. Wenn Sie diese Option auswählen, muss der Nutzer GRANT-Berechtigungen für die Tabellen haben, die er replizieren möchte.

5. Prüfen Sie weitere Streamdetails wie Region, Verschlüsselung und Labels. Maximieren Sie den Bereich Zusätzliche Streamdetails, um bei Bedarf Änderungen vorzunehmen.

6. Klicken Sie auf Weiter.

Quelle konfigurieren

1. Wählen Sie auf der Seite Streamquelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.

   Hinweis: Datastream zeigt nur die Datenbanken an, für die Ihr Nutzer die erforderlichen Berechtigungen hat. Wenn Sie eine Datenbank, die Sie verwenden möchten, nicht sehen können, fehlen Ihrem Nutzer möglicherweise Berechtigungen.

2. In der Liste Einzuschließende Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.

3. Prüfen Sie die erweiterten Streamkonfigurationen wie den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Bereich Erweiterte Streamkonfigurationen, um bei Bedarf Änderungen vorzunehmen.

4. Klicken Sie auf Weiter.

Ziel konfigurieren

1. Passen Sie auf der Seite Ziel konfigurieren bei Bedarf die BigQuery-Zieleinstellungen an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

1. Klicken Sie auf Erstellen und später starten , um den Stream zu erstellen und später in Datastream zu starten, oder auf Starten , um den Stream sofort zu erstellen und zu starten.

   Wichtig: Wenn Sie auf Starten klicken, wird Ihre Cloud SQL for PostgreSQL-Instanz neu gestartet. Wenn die logische Decodierung für Ihre Instanz nicht aktiviert ist, wird sie von Datastream für Sie aktiviert.

2. Sie werden über die Aufgaben informiert, die automatisch für Sie ausgeführt werden:

   • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen wie den Adressbereich der internen IP-Adressen, das Subnetz und die Netzwerkverbindung.
   • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
   • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

3. Bestätigen Sie, dass Sie den Stream erstellen oder erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Streamdetails auf der Übersichtsseite Ihrer Quellinstanz in der Google Cloud Console überwachen. Auf der Seite werden Informationen wie Streamstatus, Streamname, BigQuery-Ziel-Dataset und Zielprojekt-ID angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten oder Anhalten des Streams ausführen. Für detailliertere Überwachungsinformationen klicken Sie auf den Streamnamen, um zu Datastream zu wechseln.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

• Die Publikation. Die Publikation wird mit dem Datenbankadministratornutzer erstellt und kann nur von ihrem Inhaber gelöscht werden, also standardmäßig von dem Nutzer, der sie erstellt hat.
• Der Datastream-Lesenutzer.
• Die Datastream-Quell- und ‑Zielverbindungsprofile.
• Die Ressourcen für private Verbindungen.
• Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetz und die Netzwerkverbindung.

Nächste Schritte

• Stream manuell erstellen
• Streams überwachen