Vorlage „Bigtable-Änderungsstream zu BigQuery“ verwenden

Vorlage „Bigtable-Änderungsstream zu BigQuery“ verwenden

In dieser Kurzanleitung erfahren Sie, wie Sie eine Bigtable-Tabelle mit aktiviertem Änderungsstream einrichten, eine Änderungsstreampipeline ausführen, Änderungen an Ihrer Tabelle vornehmen und sich dann die gestreamten Änderungen ansehen.

Hinweis

1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Projekt aus oder erstellen Sie eines Google Cloud .

   Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

   • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können ein beliebiges Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
   • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die resourcemanager.projects.create Berechtigung enthält. Informationen zum Zuweisen von Rollen.

   Zur Projektauswahl

2. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud Projekt aktiviert ist.

3. Aktivieren Sie die Dataflow API, die Cloud Bigtable API, die Cloud Bigtable Admin API und die BigQuery API.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen.

   APIs aktivieren

4. Aktivieren Sie Cloud Shell in der Google Cloud Console.

   Cloud Shell aktivieren

BigQuery-Dataset erstellen

Erstellen Sie mit der Google Cloud Console ein Dataset, in dem die Daten gespeichert werden.

1. Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.

   BigQuery aufrufen

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Maximieren Sie die Option Aktionen und klicken Sie auf Dataset erstellen.

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   1. Geben Sie unter Dataset-ID bigtable_bigquery_quickstart ein.
   2. Übernehmen Sie die verbleibenden Standardeinstellungen und klicken Sie auf Dataset erstellen.

Tabelle mit aktiviertem Änderungsstream erstellen

1. Rufen Sie in der Google Cloud Console die Bigtable-Seite Instanzen auf.

   Zur Seite „VM-Instanzen“

2. Klicken Sie auf die ID der Instanz, die Sie für diese Kurzanleitung verwenden.

   Wenn keine Instanz verfügbar ist, erstellen Sie eine Instanz mit den Standard konfigurationen in einer Region in Ihrer Nähe.

3. Klicken Sie im linken Navigationsbereich auf Tabellen.

4. Klicken Sie auf Tabelle erstellen.

5. Geben Sie der Tabelle den Namen bigquery-changestream-quickstart.

6. Fügen Sie eine Spaltenfamilie mit dem Namen cf hinzu.

7. Wählen Sie Änderungsstream aktivieren aus.

8. Klicken Sie auf Erstellen.

9. Suchen Sie auf der Bigtable-Seite Tabellen nach der Tabelle bigquery-changestream-quickstart.

10. Klicken Sie in der Spalte Änderungsstream auf Verbinden.

11. Wählen Sie im Dialogfeld BigQuery aus.

12. Klicken Sie auf Dataflow-Job erstellen.

13. Geben Sie Ihre Parameterwerte in die Parameterfelder ein. Sie müssen keine optionalen Parameter angeben.

    1. Legen Sie die Bigtable-Anwendungsprofil-ID auf default fest.
    2. Legen Sie das BigQuery-Dataset auf bigtable_bigquery_quickstart fest.

14. Klicken Sie auf Job ausführen.

15. Warten Sie, bis der Jobstatus Wird gestartet oder Wird ausgeführt lautet, bevor Sie fortfahren. Sobald der Job in die Warteschlange gestellt wurde, dauert es etwa fünf Minuten.

16. Lassen Sie den Job auf einem Tab geöffnet, damit Sie ihn beim Bereinigen Ihrer Ressourcen beenden können.

Daten in Bigtable schreiben

1. Schreiben Sie in der Cloud Shell einige Zeilen in Bigtable, damit das Änderungsprotokoll einige Daten in BigQuery schreiben kann. Solange Sie die Daten nach dem Erstellen des Jobs schreiben, werden die Änderungen angezeigt. Sie müssen nicht warten, bis der Jobstatus running lautet.

   **Hinweis**: Informationen zum Installieren der cbt CLI, falls sie noch nicht installiert ist, finden Sie unter cbt CLI installieren.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user789 cf:col1=ghi
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Projekts, das Sie verwenden
   • BIGTABLE_INSTANCE_ID: die ID der Instanz, die die Tabelle bigquery-changestream-quickstart enthält

Änderungsprotokolle in BigQuery ansehen

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Maximieren Sie im Bereich Explorer Ihr Projekt und das Dataset bigtable_bigquery_quickstart.

3. Klicken Sie auf die Tabelle bigquery-changestream-quickstart_changelog.

4. Klicken Sie auf Vorschau, um das Änderungsprotokoll zu sehen.

   

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

1. Deaktivieren Sie den Änderungsstream in der Tabelle:

   gcloud bigtable instances tables update bigquery-changestream-quickstart \
   --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
   --clear-change-stream-retention-period
   

2. Löschen Sie die Tabelle bigquery-changestream-quickstart:

   cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart
   

3. Beenden Sie die Änderungsstreampipeline:

   1. Rufen Sie in der Google Cloud Console die Dataflow-Seite **Jobs** auf.

      Zu den Jobs

   2. Wählen Sie den Streaming-Job aus der Jobliste aus.

   3. Klicken Sie im Navigationsbereich auf Beenden.

   4. Wählen Sie im Dialogfeld Job beenden die Option Abbrechen aus und klicken Sie dann auf Job beenden.

4. Löschen Sie das BigQuery-Dataset:

   1. Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.

      BigQuery aufrufen

   2. Suchen Sie im Bereich Explorer nach dem Dataset bigtable_bigquery_quickstart und klicken Sie darauf.

   3. Klicken Sie auf Löschen, geben Sie delete ein und klicken Sie dann auf Löschen, um den Vorgang zu bestätigen.

5. Optional: Löschen Sie die Instanz, wenn Sie für diese Kurzanleitung eine neue Instanz erstellt haben:

   cbt deleteinstance BIGTABLE_INSTANCE_ID
   

Nächste Schritte

• Informationen zum Schreiben von Abfragen für das Änderungsprotokoll
• Referenzseite zur Vorlage „Bigtable-Änderungsstream zu BigQuery“