Cloud SQL-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen Stream mit dem automatisierten Einrichtungsablauf erstellen.

Die automatisierte Stream-Einrichtung vereinfacht die Übertragung von Daten aus Google Cloud verwalteten Datenbanken nach BigQuery, da die Anzahl der erforderlichen Schritte reduziert wird. Mit dem Ablauf können Sie einen Stream direkt auf der Übersichtsseite Ihrer Cloud SQL-Instanzen erstellen. Datastream automatisiert die Sicherung der VPC-Verbindung zwischen dem Stream und der Quelldatenbank sowie die Erstellung von Datenbankkonfigurationen und Stream-Verbindungsressourcen.

Hinweis

  1. Aktivieren Sie die Datastream, Network Connectivity und Compute Engine APIs.
  2. Prüfen Sie, ob Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management) zum Erstellen und Verwalten von Datastream-Ressourcen haben. Weitere Informationen finden Sie im folgenden Abschnitt , der folgt.
  3. Erstellen und konfigurieren Sie eine Cloud SQL-Quelldatenbank für die Replikation. Weitere Informationen finden Sie unter Quellen konfigurieren.
  4. Achten Sie darauf, dass Ihre Quelldatenbank für den Zugriff auf private Dienste konfiguriert ist.

  5. Für Cloud SQL for PostgreSQL-Instanzen: Wir empfehlen, die logische Replikation für Ihre Instanz zu aktivieren, bevor Sie den Stream erstellen. Wenn Sie die logische Replikation nicht aktivieren, wird sie von Datastream aktiviert, wodurch Ihre Quellinstanz neu gestartet wird.

  6. Für Cloud SQL for MySQL-Instanzen: Aktivieren Sie die Wiederherstellung zu einem bestimmten Zeitpunkt für Ihre Cloud SQL for MySQL-Instanz und prüfen Sie, ob Ihre Datenbankversion 8.0.14 oder höher ist. Bei der automatisierten Stream-Einrichtung unterstützt Datastream die Aktivierung der Wiederherstellung zu einem bestimmten Zeitpunkt nur in der Sicherungsstufe Standard.

  7. Für Cloud SQL for SQL Server-Instanzen: Prüfen Sie, ob Datastream die SQL Server-Version unterstützt, die von Ihrer Instanz verwendet wird.

Erforderliche Berechtigungen

Für die automatisierte Stream-Erstellung benötigen Sie die folgenden IAM-Rollen oder -Berechtigungen (Identity and Access Management):

  • serviceusage.services.enable, compute.networkAdmin zum Aktivieren der erforderlichen APIs und Ausführen von Aufgaben zur Netzwerkkonfiguration.
  • cloudsql.admin für Aufgaben zur Instanzkonfiguration.
  • datastream.admin für Verwaltungsaufgaben, die Datastream in Ihrem Namen ausführt.

Zusätzliche Berechtigungen für Cloud SQL for PostgreSQL

  • Achten Sie darauf, dass Sie der Rolle postgres oder cloudsqlsuperuser Zugriff auf alle Schemas und Tabellen in der ausgewählten Datenbank gewährt haben. Da der automatisierte Ablauf standardmäßig alle Schemas und Tabellen in der Datenbank umfasst, schlägt die Stream-Erstellung fehl, wenn der automatisch erstellte Datenbanknutzer keine Berechtigungen für ein Schema oder eine Tabelle hat.

  • Wenn Sie die Stream-Einstellungen anpassen möchten, benötigt Ihr Datenbankadministratornutzer auch GRANT-Berechtigungen für das Schema, das Sie replizieren möchten, sowie einige zusätzliche Berechtigungen für Verwaltungs- und Strukturaufgaben in der Quelldatenbank. Stellen Sie eine Verbindung zu Ihrer Quelldatenbank her und führen Sie Folgendes aus:

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • Zukünftige Tabellen werden dem Stream nur dann automatisch hinzugefügt, wenn sie von dem Nutzer erstellt werden, dessen Kontodetails Sie zur Authentifizierung während des automatisierten Ablaufs angeben. Wenn eine zukünftige Tabelle von einem anderen Nutzer erstellt wird, muss dieser Nutzer dem Datastream-Lesenutzer explizit die Berechtigung SELECT für die Tabelle gewähren.

Stream erstellen und starten

So erstellen und starten Sie einen Stream:

Console

  1. Rufen Sie die Übersichtsseite Ihrer Cloud SQL-Quelldatenbankinstanz auf.

    Cloud SQL-Instanzen aufrufen

  2. Wählen Sie die Instanz aus, aus der Sie Daten streamen möchten.

  3. Klicken Sie im Bereich Daten nach BigQuery replizieren auf Stream starten.

  4. Der Bereich Stream zum Replizieren von Daten starten wird geöffnet.

  5. Prüfen Sie für Cloud SQL for PostgreSQL- und Cloud SQL for MySQL-Quellen unter Stream-Einstellungen die Standardeinstellungen für den Stream, den Sie erstellen. Fahren Sie für Cloud SQL for SQL Server-Quellen mit dem Abschnitt Stream-Einstellungen anpassen fort.

  6. Wenn Sie bereit sind, Ihren Stream zu erstellen und zu starten, klicken Sie auf Stream starten.

Wenn Sie die Stream-Einstellungen ändern müssen, klicken Sie auf Anpassen.

Stream-Einstellungen anpassen

Wenn Sie auf Anpassen klicken, wird die Seite Stream-Einstellungen anpassen angezeigt. Achten Sie darauf, dass Sie die erforderlichen Berechtigungen zum Anpassen der Stream Einstellungen haben.

Jetzt starten

  1. Geben Sie auf der Seite Jetzt starten im Feld Stream-Name den Namen für Ihren Stream ein. Eine eindeutige ID wird automatisch eingefügt.

  2. Wählen Sie im Bereich Details zum Instanznutzerkonto angeben die Authentifizierungsmethode aus:

    • IAM-Datenbankauthentifizierung: Diese Option ist verfügbar wenn Ihrem Nutzer die IAM-Hauptkontoidentität (Identity and Access Management) zugewiesen ist. Weitere Informationen finden Sie unter IAM-Hauptkonten. Wenn Sie diese Option auswählen, müssen Sie Ihrem Nutzer die Rolle cloudsqlsuperuser und die Berechtigung CREATEROLE manuell gewähren:

      1. Öffnen Sie in der Google Cloud Console die Seite Cloud SQL-Instanzen.

      Cloud SQL-Instanzen aufrufen

      1. Wählen Sie Ihre Cloud SQL-Instanz aus.
      2. Klicken Sie im Navigationsmenü auf Cloud SQL Studio und melden Sie sich an.
      3. Führen Sie im Bereich Explorer die folgende Abfrage für Ihren Nutzer aus:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Integrierte Datenbankauthentifizierung: Geben Sie den Nutzernamen und das Passwort eines Nutzers mit der cloudsqlsuperuser Rolle an. Wenn Sie diese Option auswählen, achten Sie darauf, dass der Nutzer GRANT-Berechtigungen für die Tabellen hat, die er replizieren möchte.

  3. Prüfen Sie weitere Stream-Details wie Region, Verschlüsselung und Labels. Maximieren Sie den Bereich Zusätzliche Stream-Details, um bei Bedarf Änderungen vorzunehmen.

  4. Klicken Sie auf Weiter.

Quelle konfigurieren

  1. Wählen Sie auf der Seite Stream-Quelle konfigurieren die Datenbank aus, aus der Sie Daten replizieren möchten.

  2. In der Liste Einzuschließende Objekte sind standardmäßig alle verfügbaren Objekte ausgewählt. Die Objekte in der Liste sind die Objekte, für die Sie die erforderlichen Berechtigungen zum Streamen haben. Wenn Sie die ausgewählten Objekte ändern möchten, passen Sie die Auswahl in der Liste an.

  3. Prüfen Sie erweiterte Stream-Konfigurationen wie den Backfill-Modus und die maximale Anzahl gleichzeitiger Backfill-Verbindungen. Maximieren Sie den Bereich Erweiterte Stream-Konfigurationen, um bei Bedarf Änderungen vorzunehmen.

  4. Klicken Sie auf Weiter.

Ziel konfigurieren

  1. Passen Sie auf der Seite Ziel konfigurieren bei Bedarf die BigQuery-Zieleinstellungen an. Weitere Informationen finden Sie unter Informationen zum Ziel für den Stream konfigurieren.

Stream erstellen und starten

  1. Klicken Sie auf Später erstellen und starten , um Ihren Stream zu erstellen und später in Datastream zu starten, oder auf Starten , um Ihren Stream sofort zu erstellen und zu starten.

  2. Sie werden über die Aufgaben informiert, die automatisch für Sie ausgeführt werden:

    • Datastream erstellt die erforderlichen Virtual Private Cloud-Ressourcen wie den Adressbereich der internen IP-Adressen, das Subnetz und die Netzwerkanbindung.
    • Datastream konfiguriert Tabellen für CDC, richtet Replikationsslots ein, richtet eine Publikation für alle Tabellen in der Datenbank ein und erstellt einen dedizierten Datastream-Nutzer.
    • Datastream erstellt eine Konfiguration für private Verbindungen sowie Quell- und Zielverbindungsprofile.

  3. Bestätigen Sie, dass Sie Ihren Stream erstellen oder erstellen und starten möchten.

Stream überwachen

Sie können grundlegende Stream-Details auf der Übersichtsseite Ihrer Quellinstanz in der Google Cloud Console überwachen. Auf der Seite werden Informationen wie Stream-Status, Stream-Name, BigQuery-Ziel-Dataset und Zielprojekt-ID angezeigt.

Auf der Übersichtsseite können Sie auch Aktionen wie das Starten oder Anhalten des Streams ausführen. Für detailliertere Überwachungsinformationen klicken Sie auf den Stream-Namen, um zu Datastream zu wechseln.

Stream löschen

Wenn Sie einen Stream löschen, den Sie mit dem automatisierten Ablauf erstellt haben, werden einige Ressourcen wie der PostgreSQL-Replikationsslot automatisch gelöscht. Es gibt jedoch Ressourcen, die Sie manuell löschen müssen:

  • Die Publikation. Die Publikation wird mit dem Datenbankadministratornutzer erstellt und kann nur von ihrem Eigentümer gelöscht werden, also standardmäßig von dem Nutzer, der sie erstellt hat.
  • Der Datastream-Lesenutzer.
  • Die Datastream-Quell- und -Zielverbindungsprofile.
  • Die Ressourcen für private Verbindungen.
  • Alle Netzwerkressourcen, die während des automatisierten Ablaufs erstellt wurden, z. B. das Subnetz und die Netzwerkanbindung.

Nächste Schritte

Sofern nicht anders angegeben, sind die Inhalte dieser Seite unter der Creative Commons Attribution 4.0 License und Codebeispiele unter der Apache 2.0 License lizenziert. Weitere Informationen finden Sie in den Websiterichtlinien von Google Developers. Java ist eine eingetragene Marke von Oracle und/oder seinen Partnern.

Zuletzt aktualisiert: 2026-08-31 (UTC).