Pub/Sub-Senken-Connectors streamen Nachrichten aus Kafka-Themen in Pub/Sub-Themen. So können Sie Ihre Kafka-basierten Anwendungen in Pub/Sub einbinden.
Anwendungsfälle für Pub/Sub-Senken-Connectors:
Ereignisgesteuerte Architekturen Pub/Sub-Verarbeitung über Nachrichten auslösen, die in Kafka veröffentlicht wurden.
Dienstintegration. Daten von Kafka an andere Google Cloud -Dienste oder -Anwendungen senden, die Daten aus Pub/Sub nutzen.
Benachrichtigungen oder Aktionen in Echtzeit basierend auf verarbeiteten Daten auslösen.
Hinweis
Bevor Sie einen Pub/Sub-Senken-Connector erstellen, benötigen Sie Folgendes:
Erstellen Sie einen Managed Service for Apache Kafka-Cluster für Ihren Connect-Cluster. Dies ist der primäre Kafka-Cluster, der mit dem Connect-Cluster verknüpft ist. Dies ist auch der Quellcluster, der ein Ende der Connector-Pipeline bildet.
Erstellen Sie einen Connect-Cluster, um Ihren Pub/Sub-Senken-Connector zu hosten.
Erstellen und konfigurieren Sie ein Kafka-Thema im Quellcluster. Daten werden von diesem Kafka-Thema zum Pub/Sub-Zielthema verschoben.
Erforderliche Rollen und Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Connector Editor (roles/managedkafka.connectorEditor) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Connectors benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen eines Connectors erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind zum Erstellen eines Connectors erforderlich:
-
Connector erstellen:
managedkafka.connectors.create
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Berechtigungen zum Veröffentlichen im Pub/Sub-Thema gewähren
Der Managed Kafka-Dienst-Agent muss die Berechtigung haben, Nachrichten im Pub/Sub-Thema zu veröffentlichen.
Weisen Sie dem Dienst-Agent die Rolle „Pub/Sub-Publisher“ (roles/pubsub.publisher) für das Projekt zu, das das Pub/Sub-Thema enthält.
Wenn sich Ihr Connect-Cluster in einem anderen Projekt als Ihr Managed Service for Apache Kafka-Cluster befindet, lesen Sie den Abschnitt Connect-Cluster in einem anderen Projekt erstellen.
Funktionsweise eines Pub/Sub-Senken-Connectors
Ein Pub/Sub-Senken-Connector ruft Nachrichten aus einem oder mehreren Kafka-Themen ab und veröffentlicht sie in einem Pub/Sub-Thema.
Hier finden Sie eine detaillierte Aufschlüsselung, wie der Pub/Sub-Senken-Connector Daten kopiert:
Der Connector konsumiert Nachrichten aus einem oder mehreren Kafka-Themen im Quellcluster.
Der Connector schreibt Nachrichten in die Ziel-Pub/Sub-Themen-ID, die mit dem Konfigurationsattribut
cps.topicangegeben wird. Dies ist ein erforderliches Attribut.Der Connector erfordert außerdem, dass das Google Cloud -Projekt, das das Pub/Sub-Thema enthält, mit dem Konfigurationsattribut
cps.projectangegeben wird. Dies ist ein erforderliches Attribut.Der Connector kann optional auch einen benutzerdefinierten Pub/Sub-Endpunkt verwenden, der mit dem Attribut
cps.endpointangegeben wird. Der Standardendpunkt ist"pubsub.googleapis.com:443".Zur Leistungsoptimierung puffert der Connector Nachrichten, bevor sie in Pub/Sub veröffentlicht werden. Sie können
maxBufferSize,maxBufferBytes,maxDelayThresholdMs,maxOutstandingRequestBytesundmaxOutstandingMessageskonfigurieren, um die Zwischenspeicherung zu steuern.Ein Kafka-Datensatz besteht aus drei Komponenten: Headern, Schlüsseln und Werten. Der Connector verwendet Schlüssel- und Wertkonverter, um die Kafka-Nachrichtendaten in das von Pub/Sub erwartete Format zu transformieren. Wenn Sie Struct- oder Map-Wertschemas verwenden, gibt das Attribut
messageBodyNamedas Feld oder den Schlüssel an, das bzw. der als Pub/Sub-Nachrichtentext verwendet werden soll.Der Connector kann das Kafka-Thema, die Partition, den Offset und den Zeitstempel als Nachrichtenattribute enthalten, wenn das Attribut
metadata.publishauftruegesetzt ist.Der Connector kann Kafka-Nachrichtenheader als Pub/Sub-Nachrichtenattribute einfügen, wenn das Attribut
headers.publishauftruegesetzt ist.Der Connector kann mithilfe des Attributs
orderingKeySourceeinen Sortierschlüssel für Pub/Sub-Nachrichten enthalten. Mögliche Werte sind"none"(Standard),"key"und"partition".Mit dem Attribut
tasks.maxwird der Grad der Parallelität für den Connector gesteuert. Durch Erhöhen vontasks.maxkann der Durchsatz verbessert werden. Die tatsächliche Parallelität ist jedoch durch die Anzahl der Partitionen in den Kafka-Themen begrenzt.
Attribute eines Pub/Sub-Senken-Connectors
Beim Erstellen eines Pub/Sub-Senken-Connectors müssen Sie die folgenden Attribute angeben.
Connector-Name
Ein eindeutiger Name für den Connector innerhalb des Connect-Clusters. Richtlinien zum Benennen von Ressourcen finden Sie unter Richtlinien zum Benennen von Managed Service for Apache Kafka-Ressourcen.
Connector-Plug-in-Typ
Wählen Sie Pub/Sub-Senke als Connector-Plug-in-Typ aus. Dadurch wird die Richtung des Datenflusses bestimmt, der von Kafka zu Pub/Sub verläuft, sowie die verwendete Connector-Implementierung. Wenn Sie die Benutzeroberfläche nicht zum Konfigurieren des Connectors verwenden, müssen Sie auch die Connector-Klasse angeben.
Kafka-Themen
Die Kafka-Themen, aus denen der Connector Nachrichten abruft.
Sie können ein oder mehrere Themen angeben oder einen regulären Ausdruck verwenden, um mehrere Themen abzugleichen. Beispiel: topic.*, um alle Themen abzugleichen, die mit „topic“ beginnen. Diese Themen müssen im Managed Service for Apache Kafka-Cluster vorhanden sein, der mit Ihrem Connect-Cluster verknüpft ist.
Pub/Sub-Thema
Das vorhandene Pub/Sub-Thema, in dem der Connector Nachrichten veröffentlicht. Achten Sie darauf, dass das Connect-Clusterdienstkonto die Rolle roles/pubsub.publisher für das Projekt des Themas hat, wie unter Vorbereitung beschrieben.
Konfiguration
In diesem Abschnitt können Sie zusätzliche, Connectorspezifische Konfigurationseigenschaften angeben.
Da Daten in Kafka-Themen in verschiedenen Formaten wie Avro, JSON oder Rohbytes vorliegen können, ist die Angabe von Konvertern ein wichtiger Teil der Konfiguration. Konverter übersetzen Daten aus dem Format, das in Ihren Kafka-Themen verwendet wird, in das standardisierte, interne Format von Kafka Connect. Der Pub/Sub-Senken-Connector nimmt dann diese internen Daten und wandelt sie in das von Pub/Sub erforderliche Format um, bevor er sie schreibt.
Allgemeine Informationen zur Rolle von Konvertern in Kafka Connect, zu unterstützten Konvertertypen und zu gängigen Konfigurationsoptionen finden Sie unter Konverter.
Hier sind einige Konfigurationen, die für den Pub/Sub-Senken-Connector spezifisch sind:
cps.project: Gibt die Google Cloud Projekt-ID an, die das Pub/Sub-Thema enthält.cps.topic: Gibt das Pub/Sub-Thema an, in dem Daten veröffentlicht werden.cps.endpoint: Gibt den zu verwendenden Pub/Sub-Endpunkt an.
Eine Liste der verfügbaren Konfigurationsattribute für diesen Connector finden Sie unter Pub/Sub-Senken-Connector-Konfigurationen.
Pub/Sub-Senken-Connector erstellen
So erstellen Sie einen Pub/Sub-Senken-Connector:
Console
Rufen Sie in der Google Cloud Console die Seite Cluster verbinden auf.
Klicken Sie auf den Connect-Cluster, in dem Sie den Connector erstellen möchten.
Klicken Sie auf Connector erstellen.
Geben Sie im Feld Connector-Name einen Namen für den Connector ein.
Wählen Sie in der Liste Connector-Plug-in die Option Pub/Sub-Senke aus.
Geben Sie im Abschnitt Themen an, aus welchen Kafka-Themen der Connector liest. Sie können einzelne Themen auswählen oder einen regulären Ausdruck verwenden.
-
So wählen Sie einzelne Themen aus:
- Klicken Sie auf Liste mit Kafka-Themen auswählen.
- Wählen Sie ein oder mehrere Themen aus.
- Klicken Sie auf OK.
-
So verwenden Sie einen regulären Ausdruck:
- Klicken Sie auf Thema-Regex verwenden.
- Geben Sie im Feld Regulärer Ausdruck für Thema einen regulären Ausdruck ein. Der Connector liest aus jedem Thema, das mit dem Ausdruck übereinstimmt.
-
Wählen Sie in der Liste Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema aus, in dem der Connector Nachrichten veröffentlicht.
Optional: Fügen Sie im Feld Konfigurationen Konfigurationsattribute hinzu oder bearbeiten Sie die Standardattribute. Weitere Informationen finden Sie unter Connector konfigurieren.
Optional: Wählen Sie unter Richtlinie für Task-Neustart die Richtlinie für den Task-Neustart des Connectors aus. Weitere Informationen finden Sie unter Richtlinie für den Neustart von Aufgaben.
Klicken Sie auf Erstellen.
gcloud
Führen Sie den Befehl gcloud
managed-kafka connectors create aus:
gcloud managed-kafka connectors create CONNECTOR_ID \
--connect-cluster=CONNECT_CLUSTER_ID \
--location=LOCATION \
--config-file=CONFIG_FILE
Ersetzen Sie Folgendes:
CONNECTOR_ID: Die ID oder der Name des Connectors.CONNECT_CLUSTER_ID: Die ID des Connect-Clusters, in dem der Connector erstellt wird.LOCATION: Der Standort des Connect-Clusters.CONFIG_FILE: Der Pfad zu einer lokalen YAML- oder JSON-Konfigurationsdatei.
Hier sehen Sie ein Beispiel für eine Konfigurationsdatei für den Pub/Sub-Senken-Connector:
connector.class: "com.google.pubsub.kafka.sink.CloudPubSubSinkConnector"
name: "CPS_SINK_CONNECTOR_ID"
tasks.max: "1"
topics: "GMK_TOPIC_ID"
value.converter: "org.apache.kafka.connect.storage.StringConverter"
key.converter: "org.apache.kafka.connect.storage.StringConverter"
cps.topic: "CPS_TOPIC_ID"
cps.project: "GCP_PROJECT_ID"
Ersetzen Sie Folgendes:
CPS_SINK_CONNECTOR_ID: Die ID oder der Name des Pub/Sub-Senken-Connectors. Tipps zum Benennen von Connectors finden Sie in den Richtlinien zum Benennen von Managed Service for Apache Kafka-Ressourcen. Der Name eines Connectors kann nicht geändert werden.
GMK_TOPIC_ID: Die ID des Managed Service for Apache Kafka-Themas, aus dem Daten vom Pub/Sub-Senken-Connector gelesen werden.
CPS_TOPIC_ID: Die ID des Pub/Sub-Themas, in dem Daten veröffentlicht werden.
GCP_PROJECT_ID: Die ID des Google Cloud-Projekts, in dem sich Ihr Pub/Sub-Thema befindet.
Terraform
Sie können eine Terraform-Ressource verwenden, um einen Connector zu erstellen.
Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.
Go
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Go API-Referenzdokumentation für Managed Service for Apache Kafka.
Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Java
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung zur Einrichtung von Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Java API.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter Standardanmeldedaten für Anwendungen für eine lokale Entwicklungsumgebung einrichten.
Python
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Python unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Python API.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Nachdem Sie einen Connector erstellt haben, können Sie ihn bearbeiten, löschen, pausieren, beenden oder neu starten.