Apache Kafka-Trigger

Der Apache Kafka-Trigger ist ein Connector-Ereignistrigger, mit dem Sie eine Integration basierend auf den Apache Kafka-Ereignissen aufrufen können, die Sie in Ihrer Apache Kafka-Verbindung abonniert haben.

Hinweis

Wenn Sie eine neue Verbindung für den Apache Kafka-Trigger erstellen oder konfigurieren möchten, benötigen Sie die folgende Rolle der Identitäts- und Zugriffsverwaltung (Identity and Access Management, IAM) für das Projekt:

Connector-Administrator (roles/connectors.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Weisen Sie dem Dienstkonto, das Sie für den Apache Kafka-Trigger verwenden möchten, die folgenden IAM-Rollen zu:

Application Integration Invoker (roles/integrations.integrationInvoker)

Informationen zum Zuweisen von Rollen zu einem Dienstkonto finden Sie unter Zugriff auf Dienstkonten verwalten.

Apache Kafka-Trigger hinzufügen

So fügen Sie Ihrer Integration einen Apache Kafka-Trigger hinzu:

Rufen Sie in der Google Cloud Console die Seite Application Integration auf.
Zu Application Integration
Klicken Sie im Navigationsmenü auf Integrationen.
Die Seite Integrationsliste wird angezeigt und enthält alle Integrationen, die im Google Cloud-Projekt verfügbar sind.
Wählen Sie eine vorhandene Integration aus oder klicken Sie auf Integration erstellen , um eine neue zu erstellen.
Wenn Sie eine neue Integration erstellen, gehen Sie so vor:
1. Geben Sie im Bereich Integration erstellen einen Namen und eine Beschreibung ein.
2. Wählen Sie eine Region für die Integration aus.
  Hinweis: Im Drop-down-Menü Regionen werden nur die in Ihrem Google Cloud-Projekt bereitgestellten Regionen aufgeführt. Klicken Sie zum Bereitstellen einer neuen Region auf Region aktivieren. Weitere Informationen finden Sie unter Neue Region aktivieren.
3. Wählen Sie ein Dienstkonto für die Integration aus. Sie können die Dienstkontodetails einer Integration jederzeit im Bereich Integrationsübersicht in der Symbolleiste der Integration ändern oder aktualisieren.
  Hinweis:Die Option zum Auswählen eines Dienstkontos wird nur angezeigt, wenn Sie die Integrationsverwaltung für die ausgewählte Region aktiviert haben.
4. Klicken Sie auf Erstellen.
Die neu erstellte Integration wird im Integrationseditor geöffnet.
Klicken Sie in der Navigationsleiste des Integrationseditors auf Trigger, um die Liste der verfügbaren Trigger aufzurufen.
Klicken Sie auf das Element Apache Kafka-Trigger und platzieren Sie es im Integrationseditor.

Zum Konfigurieren des Apache Kafka-Triggers können Sie entweder eine vorhandene Apache Kafka-Verbindung in Integration Connectors verwenden oder eine neue Apache Kafka-Verbindung mit der Option zur Inline-Verbindungserstellung erstellen.

Apache Kafka-Trigger mit einer vorhandenen Verbindung konfigurieren

Sie können den Apache Kafka-Trigger mit einer vorhandenen Apache Kafka-Verbindung in Integration Connectors konfigurieren. Beachten Sie, dass der Apache Kafka-Trigger ein Connector-Ereignistrigger ist. Daher können Sie nur eine Apache Kafka-Verbindung mit aktivierter Ereignisbenachrichtigung verwenden, um den Trigger zu konfigurieren.

Informationen zum Konfigurieren eines Apache Kafka-Triggers mit einer neuen Apache Kafka-Verbindung finden Sie unter Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren.

So konfigurieren Sie einen Apache Kafka-Trigger mit einer vorhandenen Apache Kafka-Verbindung:

Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger , um den Bereich für die Triggerkonfiguration zu öffnen.
Klicken Sie auf Trigger konfigurieren.
Geben Sie auf der Seite Connector-Ereignistrigger-Editor die folgenden Konfigurationsdetails an:
1. Region:Wählen Sie die Region Ihrer Apache Kafka-Verbindung aus.
2. Verbindung:Wählen Sie die Apache Kafka-Verbindung aus, die Sie verwenden möchten.
  In Application Integration werden nur die Apache Kafka-Verbindungen angezeigt, die aktiv sind und für die eine Ereignisbenachrichtigung aktiviert ist.
3. Themenname: Geben Sie den Namen des Themas ein. Hinweis: Gemäß der Apache Kafka-Dokumentation darf ein Themenname maximal 249 Zeichen lang sein.
4. Consumer-Gruppen-ID: Geben Sie optional die Consumer-Gruppen-ID ein, die den Namen der Consumer-Gruppe angibt, zu der der Kafka-Consumer gehört. Die maximale Länge einer Consumer-Gruppen-ID beträgt in der Regel 255 Zeichen.
5. Partition: Geben Sie die Partition ein, wenn Sie eine bestimmte Partition abonnieren möchten. Partitionen sind eine Möglichkeit, ein Thema in mehrere Teile aufzuteilen und jeden Teil auf einem anderen Knoten im Cluster zu speichern.
6. Anfänglicher Offset: Wählen Sie die Strategie zum Zurücksetzen des Offsets:
  - Wenn Sie earliest auswählen, werden mit Ihrer Verbindung nicht verbrauchte Nachrichten verwendet, einschließlich aller Nachrichten, die vor der Lebensdauer der Consumer-Gruppe erstellt wurden.
  - Wenn Sie latest auswählen, werden mit Ihrer Verbindung Nachrichten verwendet, die nach der Erstellung der Consumer-Gruppe erstellt wurden.
7. Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für den Apache Kafka-Trigger aus.
Klicken Sie auf Fertig.

Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren

So konfigurieren Sie den Apache Kafka-Trigger mit einer neuen Apache Kafka-Verbindung:

Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger , um den Bereich für die Triggerkonfiguration zu öffnen.
Klicken Sie auf Apache Kafka-Trigger konfigurieren.
Überspringen Sie das Feld Region.
Klicken Sie auf Verbindung und wählen Sie in der Liste die Option Verbindung erstellen aus. Der Bereich Verbindung erstellen wird angezeigt.
Wählen Sie im Schritt Standort den Standort für die neue Apache Kafka-Verbindung aus:
1. Region:Wählen Sie eine Region aus der Liste aus.
2. Klicken Sie auf Weiter.
Geben Sie im Schritt Verbindungsdetails Details zur neuen Apache Kafka-Verbindung an:
1. Connector-Version:Wählen Sie in der Liste eine verfügbare Version des Apache Kafka-Connectors aus.
2. Verbindungsname:Geben Sie einen Namen für die Apache Kafka-Verbindung ein.
  Hinweis:Verbindungsnamen müssen die folgenden Kriterien erfüllen:
  - Verbindungsnamen können Buchstaben, Ziffern oder Bindestriche enthalten.
  - Buchstaben müssen Kleinbuchstaben sein.
  - Verbindungsnamen müssen mit einem Buchstaben beginnen und mit einem Buchstaben oder einer Ziffer enden.
  - Verbindungsnamen dürfen maximal 49 Zeichen haben.
  - Bei Connectors, die die Ereignisbenachrichtigung unterstützen, dürfen Verbindungsnamen nicht mit dem Präfix „goog“ beginnen.
3. Optional: Beschreibung: Geben Sie eine Beschreibung für die Verbindung ein.
4. Optional: Cloud Logging aktivieren : Wählen Sie dieses Kästchen aus, um alle Logdaten der Verbindung zu speichern.
5. Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für die Apache Kafka-Verbindung aus.
6. Die Option Ereignisbenachrichtigung, Entität und Aktionen aktivieren ist für die Apache Kafka-Verbindung standardmäßig ausgewählt.
  Hinweis: Dieser Connector unterstützt die Option Enable only event subscription nicht.
7. Schema zur Typerkennung: Wählen Sie MessageOnly aus.
8. Registry-Dienst: Der Schema Registry-Dienst, der zum Arbeiten mit Themenschemas verwendet wird.
9. Registry-Typ: Typ des Schemas, das für ein bestimmtes Thema angegeben wurde.
10. Registry-Version: Version des Schemas, das aus RegistryUrl für das angegebene Thema gelesen wurde.
11. Registry-Nutzer: Nutzername oder Zugriffsschlüsselwert zur Autorisierung beim Server, der in RegistryUrl angegeben ist.
12. Registry-Passwort: Secret Manager-Secret, das den Passwort-/Secret-Schlüsselwert zur Autorisierung beim Server enthält, der in RegistryUrl angegeben ist.
13. Konfigurieren Sie optional die Verbindungsknoteneinstellungen:
  - Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
  - Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.
  Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.
14. Klicken Sie optional auf + LABEL HINZUFÜGEN, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
15. SSL aktivieren: Dieses Feld legt fest, ob SSL aktiviert ist.
16. Klicken Sie auf Weiter.
Geben Sie im Abschnitt Ziele die Details des Kafka-Bootstrap-Servers ein, zu dem Sie eine Verbindung herstellen möchten.
1. Zieltyp: Wählen Sie einen Zieltyp aus.
  - Wenn Sie den Zielhostnamen oder die Ziel-IP-Adresse angeben möchten, wählen Sie Hostadresse aus und geben Sie die Adresse in das Feld Host 1 ein.
  - Wenn Sie eine private Verbindung herstellen möchten, wählen Sie Hostadresse aus und fügen Sie den für das SAP-Gateway erstellten Endpunktanhang mit dem HTTPS-Protokoll hinzu.
  Wenn Sie eine öffentliche Verbindung zu Ihren Back-End-Systemen mit zusätzlicher Sicherheit herstellen möchten, können Sie statische ausgehende IP-Adressen für Ihre Verbindungen konfigurieren und dann Ihre Firewallregeln konfigurieren, um nur bestimmte statische IP-Adressen zuzulassen.
  
  Wenn Sie weitere Kafka-Bootstrap-Server angeben möchten, klicken Sie auf + ZIEL HINZUFÜGEN.
2. Klicken Sie auf Weiter.
Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.
  Die folgenden Authentifizierungstypen werden von der Apache Kafka-Verbindung unterstützt:
  - Nutzername und Passwort
    - Nutzername: Der Apache Kafka-Nutzername für die Verbindung.
    - Passwort: Secret Manager-Secret, das das mit dem Apache Kafka-Nutzernamen verknüpfte Passwort enthält.
    - Auth-Schema: Das Schema, das für die Authentifizierung verwendet wird.
      Die folgenden Auth-Schemata werden von der Apache Kafka-Verbindung unterstützt:
      - Plain
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Nicht verfügbar
    Wenn Sie die anonyme Anmeldung verwenden möchten, wählen Sie Nicht verfügbar aus.
2. Klicken Sie auf Weiter.
Geben Sie die Konfiguration für die Warteschlange für unzustellbare Nachrichten ein. Wenn Sie die Warteschlange für unzustellbare Nachrichten konfigurieren, schreibt die Verbindung die nicht verarbeiteten Ereignisse in das angegebene Pub/Sub-Thema. Geben Sie die folgenden Details ein:
1. Projekt-ID für die Warteschlange für unzustellbare Nachrichten : Die Google Cloud-Projekt-ID, in der Sie das Pub/Sub-Thema für die Warteschlange für unzustellbare Nachrichten konfiguriert haben.
2. Thema für die Warteschlange für unzustellbare Nachrichten : Das Pub/Sub-Thema, in das Sie die Details des nicht verarbeiteten Ereignisses schreiben möchten.
Klicken Sie auf Weiter.
Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
Klicken Sie auf Erstellen.

Trigger-Ausgabe

Die Konfiguration der Ereignisbenachrichtigung für den Apache Kafka-Trigger dauert einige Minuten. Den Status Ihrer Ereignisbenachrichtigung können Sie im Bereich für die Triggerkonfiguration unter Details zur Ereignisbenachrichtigung aufrufen.

Der Apache Kafka-Trigger gibt den Status einer Ereignisbenachrichtigung mit den folgenden Status an:

Creating (Erstellen): Gibt an, dass der Trigger die Ereignisbenachrichtigung abonniert.
Active (Aktiv): Gibt an, dass der Trigger die Ereignisbenachrichtigung erfolgreich abonniert hat.
Error (Fehler): Gibt an, dass ein Problem mit der konfigurierten Ereignisbenachrichtigung vorliegt.

Neben dem Status der Ereignisbenachrichtigung werden im Bereich Details zur Ereignisbenachrichtigung auch andere Details wie die Verbindungsregion, der Verbindungsname und der Name der Ereignisbenachrichtigung angezeigt.

Ausgabevariable des Triggers

Für jedes Ereignis generiert der Apache Kafka-Trigger eine ConnectorEventPayload Ausgabevariable (im JSON-Format), die Sie in nachgelagerten Aufgaben verwenden können. Die Ausgabevariable enthält die Nutzlast aus Ihrem Apache Kafka-Ereignis. Beispiel:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ereignisbenachrichtigungen ansehen

So rufen Sie alle Ereignisbenachrichtigungen auf, die mit einer Verbindung in Integration Connectors verknüpft sind, und verwalten sie:

Rufen Sie die Seite Integration Connectors > Verbindungen auf.
Zur Seite „Verbindungen“
Klicken Sie auf die Verbindung, für die Sie die Abos aufrufen möchten.
Klicken Sie auf den Tab Ereignisbenachrichtigungen.
Hier werden alle Ereignisbenachrichtigungen für die Verbindung angezeigt.

Apache Kafka-Trigger bearbeiten

Sie können einen Apache Kafka-Trigger bearbeiten, um die Verbindungskonfiguration und die Details zur Ereignisbenachrichtigung zu ändern oder zu aktualisieren.

So bearbeiten Sie einen Apache Kafka-Trigger:

Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger , um den Bereich für die Triggerkonfiguration zu öffnen.
Klicken Sie auf Apache Kafka-Trigger konfigurieren.
Führen Sie auf der Seite Connector-Ereignistrigger-Editor folgende Schritte aus:
1. Wenn Sie die zuvor konfigurierte Ereignisbenachrichtigung beibehalten möchten, klicken Sie auf Beibehalten, andernfalls auf Löschen.
  Warnung:Das Löschen einer Ereignisbenachrichtigung wirkt sich auf alle veröffentlichten Integrationen aus, die diese Ereignisbenachrichtigung verwenden. Diese Aufgabe kann nicht rückgängig gemacht werden.
2. Aktualisieren Sie die Verbindungskonfiguration und die Details zur Ereignisbenachrichtigung nach Bedarf.
3. Klicken Sie auf Fertig.

Die aktualisierten Verbindungs- und Ereignisbenachrichtigungsdetails können Sie im Bereich für die Triggerkonfiguration unter Details zur Ereignisbenachrichtigung aufrufen.

Kontingente und Limits

Weitere Informationen zu allen Kontingenten und Limits finden Sie unter Kontingente und Limits.