Mit Pub/Sub-Quellen in Cloud Data Fusion können Sie Echtzeit-Nachrichtenstreams in Ihre Streaming-Datenpipelines aufnehmen. Anschließend können Sie Ereignisdaten mit minimaler Latenz transformieren, anreichern und in nachgelagerte Speicher- und Analyseziele schreiben.
Hinweis
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Pub/Sub-Bearbeiter (roles/pubsub.editor) für das Dienstkonto zuzuweisen, das für den Zugriff auf das Pub/Sub-Abo verwendet wird, um die Berechtigungen zu erhalten, die Sie zum Lesen aus einer Pub/Sub-Streamingquelle benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind zum Lesen aus einer Pub/Sub-Streamingquelle erforderlich:
-
pubsub.snapshots.create -
pubsub.snapshots.delete -
pubsub.snapshots.seek -
pubsub.subscriptions.consume -
pubsub.topics.attachSubscription
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Sie weisen die Rolle dem Dienstkonto zu, das Sie in den Plug-in-Eigenschaften für den Zugriff auf Pub/Sub angegeben haben. Wenn keine angegeben ist, weisen Sie die Rolle dem Dienstkonto des verwalteten Dienstes für Apache Spark zu.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Streaming-Datenpipeline eine Pub/Sub-Quelle hinzufügen
Rufen Sie Ihre Instanz auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.
Klicken Sie in der Cloud Data Fusion-Weboberfläche auf Studio.
Wählen Sie Datenpipeline – Echtzeit aus.
Wählen Sie im Menü Quelle die Option Pub/Sub aus. In der Pipeline wird ein Pub/Sub-Streamingquellenknoten angezeigt.
Klicken Sie auf dem Pub/Sub-Knoten auf Eigenschaften, um die Quelle zu konfigurieren. Weitere Informationen finden Sie unter Pub/Sub-Streamingquelle.
Unterstützung für eine einzelne Pub/Sub-Quelle ohne Windower-Plug-ins
Cloud Data Fusion Version 6.9.1 unterstützt Echtzeitpipelines mit einer einzelnen Pub/Sub-Streamingquelle und ohne Windower-Plug-ins.
- Die Pub/Sub-Streamingquelle bietet integrierte Unterstützung und Daten werden mindestens einmal verarbeitet. Die Aktivierung der Spark-Checkpointing ist nicht erforderlich.
- Die Pub/Sub-Streamingquelle erstellt am Anfang jeder Batch einen Pub/Sub-Snapshot und entfernt ihn am Ende jeder Batch.
- Das Erstellen von Pub/Sub-Snapshots ist mit Kosten verbunden. Weitere Informationen finden Sie unter Preise für Cloud Pub/Sub.
- Sie können die Snapshot-Erstellung in Cloud-Audit-Logs beobachten.
Pipeline mit einer Pub/Sub-Streamingquelle aktualisieren
Cloud Data Fusion unterstützt direkte Anwendungs-Upgrades für Streamingpipelines mit einer Pub/Sub-Streamingquelle, die in Version 6.9.1 oder höher erstellt wurde.
Cloud Data Fusion unterstützt keine Upgrades für Datenpipelines mit einer Pub/Sub-Streamingquelle in Version 6.9.0 oder niedriger. Aktualisieren Sie stattdessen diese Pipelines auf Version 6.9.1:
- Beenden Sie die Veröffentlichung der Daten im Thema, wenn das Instanz-Upgrade geplant ist.
- Warten Sie, bis die Pipeline die veröffentlichten Daten verarbeitet hat.
- Beenden Sie die Pipeline, nachdem die Daten vollständig verarbeitet wurden.
- Führen Sie ein Upgrade der Instanz durch.
- Duplizieren Sie die vorhandene Pipeline und aktualisieren Sie sie auf die neuesten Plug-ins.
- Stellen Sie die Pipeline bereit.
Führen Sie die neue Pipeline aus, um Daten zu lesen.
Die neue Version verwendet automatisch Snapshots anstelle von Spark-Checkpointing.
Löschen Sie die alte Pipeline.
Nächste Schritte
- Weitere Informationen finden Sie unter CDAP Pub/Sub Streaming Source.