Spanner-Stream mit dem automatisierten Ablauf erstellen

Auf dieser Seite wird beschrieben, wie Sie einen Spanner-Stream mit dem automatisierten Einrichtungsablauf erstellen.

Die automatisierte Stream-Einrichtung vereinfacht den Prozess des Verschiebens von Daten aus Spanner-Datenbanken zu Zielen wie BigQuery, indem die Anzahl der erforderlichen Schritte reduziert wird. Mit dem Ablauf können Sie einen Stream direkt auf der Übersichtsseite Ihrer Spanner-Instanz oder ‑Datenbank erstellen. Datastream automatisiert die Sicherung der Verbindung zwischen dem Stream und der Quelldatenbank sowie die Erstellung von Datenbankkonfigurationen und Stream-Verbindungsressourcen.

Kostenlose Stufe

Mit Datastream können Sie Daten aus Spanner zu BigQuery streamen. Dabei stehen Ihnen über die Kostenlose Stufe jeden Monat bis zu 100 GiB an Change Data Capture-Daten kostenlos zur Verfügung. Weitere Informationen finden Sie unter Datastream Preise.

Hinweis

Bevor Sie einen Datastream-Stream für Spanner konfigurieren, prüfen Sie, ob Ihre Umgebung die folgenden Voraussetzungen erfüllt:

  1. Aktivieren Sie die erforderlichen APIs in Ihrem Google Cloud Projekt:
    • Datastream API (datastream.googleapis.com)
    • Cloud Spanner API (spanner.googleapis.com)
    • BigQuery API (bigquery.googleapis.com).
  2. Prüfen Sie, ob Sie die erforderlichen IAM-Berechtigungen (Identity and Access Management) zum Erstellen und Verwalten von Datastream-Ressourcen haben. Weitere Informationen finden Sie unter Erforderliche Berechtigungen.

  3. Prüfen Sie die Einschränkungen für Spanner-Quellen:

    • Spalten mit dem Datentyp PROTO und ENUM werden nicht unterstützt.
    • Arrays mit den Datentypen DATE oder TIMESTAMP werden nicht unterstützt.
    • Prüfen Sie, ob Sie das Aufbewahrungsfenster für Änderungsstreams richtig konfiguriert haben. Wenn Datastream hinter dem Aufbewahrungsfenster zurückbleibt, können Daten verloren gehen und der Stream kann fehlschlagen.

Erforderliche Berechtigungen

Damit Sie den automatisierten Ablauf zur Stream-Erstellung verwenden können, muss der Nutzer oder das Dienstkonto, das den Stream konfiguriert, die folgenden IAM-Rollen oder ‑Berechtigungen haben:

  • Datastream-Administrator (roles/datastream.admin) oder Datastream-Bearbeiter (roles/datastream.editor) zum Erstellen und Verwalten des Streams und der Verbindungsprofile.
  • Spanner-Datenbankleser (roles/spanner.databaseReader) oder Spanner-Administrator (roles/spanner.admin) für die Quelldatenbank, um auf Daten zuzugreifen und Änderungen zu verfolgen.
  • BigQuery Data Editor für das Ziel-Dataset.

Stream erstellen und starten

So erstellen und starten Sie einen Stream mit dem automatisierten Ablauf:

Console

  1. Rufen Sie in der Google Cloud Console die Seite **Spanner-Instanzen** auf.

Spanner-Instanzen aufrufen

  1. Wählen Sie die Spanner-Instanz und ‑Datenbank aus, aus der Sie Daten streamen möchten.

  2. Erstellen und starten Sie Ihren Stream automatisch auf eine der folgenden Arten:

    • Klicken Sie auf der Seite mit der Instanzübersicht unter Datenreplikation zu BigQuery auf Stream starten.
    • Klicken Sie auf der Datenbankübersichtsseite auf dem Tab Integrationen unter Daten zu BigQuery replizieren auf Stream erstellen.

  3. Der Bereich Stream zum Replizieren von Daten starten wird geöffnet.

  4. Sehen Sie sich unter Stream-Einstellungen die Standardeinstellungen für den Stream an, den Sie erstellen.

  5. Wenn Sie Ihren Stream auf der Seite mit der Instanzübersicht erstellen, können Sie die Quelldatenbank ändern. Maximieren Sie dazu das entsprechende Drop-down-Menü und wählen Sie einen anderen Wert aus.

  6. Sie können einen Stream ändern, indem Sie das Drop-down-Menü Stream ändern maximieren und einen anderen Wert auswählen.

  7. Wenn Sie bereit sind, Ihren Stream zu erstellen und zu starten, klicken Sie auf Stream starten.

Stream überwachen

Wenn Sie grundlegende Stream-Details auf der Übersichtsseite Ihrer Spanner-Quelldatenbank in der Google Cloud Console aufrufen möchten, klicken Sie auf den Tab Änderungsstreams, und dann auf den Stream, den Sie sich ansehen möchten.

Stream löschen

Wenn Sie einen Stream löschen, der mit dem automatisierten Ablauf erstellt wurde, löscht Datastream das Stream-Objekt und die zugehörigen Verbindungsprofile, die für den Stream erstellt wurden.

Sie müssen jedoch alle Spanner-Änderungsstreams oder Zielressourcen, die unabhängig erstellt wurden, manuell löschen, wenn sie nicht mehr benötigt werden.

Nächste Schritte