Aus einer Pub/Sub-Streamingquelle lesen

Cloud Data Fusion unterstützt Pub/Sub-Quellen in Streaming-Datenpipelines.

Hinweis

Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die Pub/Sub-Bearbeiter (roles/pubsub.editor) IAM-Rolle für das Dienstkonto zuzuweisen, das für den Zugriff auf das Pub/Sub-Abo verwendet wird, um die erforderlichen Berechtigungen zum Lesen aus einer Pub/Sub-Streamingquelle zu erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um aus einer Pub/Sub-Streamingquelle zu lesen:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Sie weisen die Rolle für das Dienstkonto zu, das Sie in den Plug-in-Eigenschaften für den Zugriff auf Pub/Sub angegeben haben. Wenn keines angegeben ist, weisen Sie die Rolle für das Dienstkonto von Managed Service for Apache Spark zu.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Streaming-Datenpipeline eine Pub/Sub-Quelle hinzufügen

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie in der Cloud Data Fusion-Weboberfläche auf Studio.

  3. Wählen Sie Datenpipeline – Echtzeit aus.

  4. Wählen Sie im Menü Quelle die Option Pub/Sub aus. In der Pipeline wird ein Pub/Sub-Streamingquellenknoten angezeigt.

  5. Klicken Sie auf dem Pub/Sub-Knoten auf Eigenschaften, um die Quelle zu konfigurieren. Weitere Informationen finden Sie unter Pub/Sub-Streamingquelle.

Unterstützung für eine einzelne Pub/Sub-Quelle ohne Windower-Plug-ins

Cloud Data Fusion Version 6.9.1 unterstützt Echtzeitpipelines mit einer einzelnen Pub/Sub-Streamingquelle und ohne Windower-Plug-ins.

  • Die Pub/Sub-Streamingquelle bietet integrierte Unterstützung und Daten werden mindestens einmal verarbeitet. Die Aktivierung der Spark-Checkpointing-Funktion ist nicht erforderlich.
  • Die Pub/Sub-Streamingquelle erstellt zu Beginn jeder Batch einen Pub/Sub-Snapshot und entfernt ihn am Ende jeder Batch.
  • Das Erstellen von Pub/Sub-Snapshots ist mit Kosten verbunden. Weitere Informationen finden Sie unter Preise für Cloud Pub/Sub.
  • Sie können die Snapshot-Erstellung in Cloud-Audit-Logs beobachten.

Pipeline mit einer Pub/Sub-Streamingquelle aktualisieren

Cloud Data Fusion unterstützt direkte Anwendungsupgrades für Streamingpipelines mit einer Pub/Sub-Streamingquelle, die in Version 6.9.1 oder höher erstellt wurde.

Cloud Data Fusion unterstützt keine Upgrades für Datenpipelines mit einer Pub/Sub-Streamingquelle in Version 6.9.0 oder niedriger. Aktualisieren Sie diese Pipelines stattdessen auf Version 6.9.1:

  1. Beenden Sie die Veröffentlichung der Daten im Thema, wenn das Instanzupgrade geplant ist.
  2. Warten Sie, bis die Pipeline die veröffentlichten Daten verarbeitet hat.
  3. Beenden Sie die Pipeline, nachdem die Daten vollständig verarbeitet wurden.
  4. Aktualisieren Sie die Instanz.
  5. Duplizieren Sie die vorhandene Pipeline und aktualisieren Sie sie auf die neuesten Plug-ins.
  6. Stellen Sie die Pipeline bereit.

  7. Führen Sie die neue Pipeline aus, um Daten zu lesen.

    In der neuen Version wird automatisch ein Snapshot anstelle von Spark-Checkpointing verwendet.

  8. Löschen Sie die alte Pipeline.

Nächste Schritte