Trigger Apache Kafka

Anteprima : trigger Apache Kafka

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Il trigger Apache Kafka è un trigger di eventi del connettore che ti consente di richiamare un'integrazione in base agli eventi Apache Kafka a cui hai sottoscritto l'abbonamento nella tua connessione Apache Kafka.

Importante: Integration Connectors è un componente fatturabile di Google Cloud. Per informazioni sui costi e gli addebiti per l'utilizzo di Integration Connectors, consulta i prezzi di Integration Connectors.

Prima di iniziare

Se prevedi di creare o configurare una nuova connessione per il trigger Apache Kafka, assicurati di disporre del seguente ruolo Identity and Access Management (IAM) per il progetto:

• Connector Admin (roles/connectors.admin)

Per informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso.

Concedi i seguenti ruoli IAM al account di servizio che vuoi utilizzare per il trigger Apache Kafka:

• Application Integration Invoker (roles/integrations.integrationInvoker)

Per informazioni sulla concessione dei ruoli a un account di servizio, consulta Gestisci l'accesso ai service account.

Aggiungere il trigger Apache Kafka

Per aggiungere un trigger Apache Kafka all'integrazione:

1. Nella Google Cloud console, vai alla pagina Application Integration.

   Vai ad Application Integration

2. Nel menu di navigazione, fai clic su Integrazioni.

   Viene visualizzata la pagina Elenco integrazioni con tutte le integrazioni disponibili nel progetto Google Cloud.

3. Seleziona un'integrazione esistente o fai clic su Crea integrazione per crearne una nuova.

   Se stai creando una nuova integrazione:

   1. Inserisci un nome e una descrizione nel riquadro Crea integrazione.
   2. Seleziona una regione per l'integrazione.
      Nota: l'elenco a discesa Regioni mostra solo le regioni di cui è stato eseguito il provisioning nel tuo progetto Google Cloud. Per eseguire il provisioning di una nuova regione, fai clic su Attiva regione. Per saperne di più, consulta Attivare una nuova regione.
   3. Seleziona un account di servizio per l'integrazione. Puoi modificare o aggiornare i dettagli del account di servizio di un'integrazione in qualsiasi momento dal Riepilogo integrazione riquadro delle informazioni nella barra degli strumenti dell'integrazione.
      Nota: l'opzione per selezionare un account di servizio viene visualizzata solo se hai abilitato la governance dell'integrazione per la regione selezionata.
   4. Fai clic su Crea.

   La nuova integrazione viene aperta nell'editor integrazioni.

4. Nella barra di navigazione dell'editor integrazioni, fai clic su Trigger per visualizzare l'elenco dei trigger disponibili.
5. Fai clic sull'elemento Trigger Apache Kafka e posizionalo nell'editor integrazioni.

Per configurare il trigger Apache Kafka, puoi utilizzare una connessione Apache Kafka esistente disponibile in Integration Connectors o crearne una nuova utilizzando l'opzione di creazione di connessioni in linea.

Configurare il trigger Apache Kafka utilizzando una connessione esistente

Puoi configurare il trigger Apache Kafka utilizzando una connessione Apache Kafka esistente in Integration Connectors. Tieni presente che il trigger Apache Kafka è un trigger di eventi del connettore, pertanto puoi utilizzare solo una connessione Apache Kafka con l'abbonamento agli eventi abilitato per configurare il trigger.

Per informazioni su come configurare un trigger Apache Kafka utilizzando una nuova connessione Apache Kafka, consulta Configurare il trigger Apache Kafka utilizzando una nuova connessione

Per configurare un trigger Apache Kafka utilizzando una connessione Apache Kafka esistente:

1. Fai clic sull'elemento Trigger Apache Kafka nell'editor integrazioni per aprire il riquadro di configurazione del trigger.
2. Fai clic su Configura trigger.
3. Fornisci i seguenti dettagli di configurazione nella pagina Editor trigger di eventi del connettore :
   1. Regione: seleziona la regione della tua connessione Apache Kafka.
   2. Connessione: seleziona la connessione Apache Kafka che vuoi utilizzare.

      Application Integration mostra solo le connessioni Apache Kafka attive e con un abbonamento agli eventi abilitato.

   3. Nome argomento: inserisci il nome dell'argomento. Nota: in base alla documentazione di Apache Kafka, la lunghezza massima per un nome argomento è di 249 caratteri.
   4. ID gruppo di consumer: (facoltativo) inserisci l'ID del gruppo di consumer che specifica il nome del gruppo di consumer a cui appartiene il consumer Kafka. La lunghezza massima per un ID gruppo di consumer è in genere di 255 caratteri.
   5. Partizione: inserisci la partizione se vuoi sottoscrivere l'abbonamento a una partizione specifica. Le partizioni sono un modo per suddividere un argomento in più parti e archiviare ogni parte su un nodo diverso del cluster.
   6. Offset iniziale: seleziona la strategia di reimpostazione dell'offset:
      • Se selezioni earliest, la connessione utilizza i messaggi non utilizzati, inclusi quelli prodotti prima della durata del gruppo di consumer.
      • Se selezioni latest, la connessione utilizza i messaggi prodotti dopo la creazione del gruppo di consumer.
   7. Service account: seleziona un account di servizio con i ruoli IAM richiesti per il trigger Apache Kafka.
4. Fai clic su Fine.

Configurare il trigger Apache Kafka utilizzando una nuova connessione

Per configurare il trigger Apache Kafka utilizzando una nuova connessione Apache Kafka:

1. Fai clic sull'elemento Trigger Apache Kafka nell'editor integrazioni per aprire il riquadro di configurazione del trigger.
2. Fai clic su Configura trigger Apache Kafka.
3. Salta il campo Regione.
4. Fai clic su Connessione e seleziona l'opzione Crea connessione dall'elenco. Viene visualizzato il riquadro Crea connessione.
5. Nel passaggio Località, scegli la località per la nuova connessione Apache Kafka:
   1. Regione: seleziona una regione dall'elenco.
   2. Fai clic su Avanti.
6. Nel passaggio Dettagli connessione, fornisci i dettagli della nuova connessione Apache Kafka:
   1. Versione connettore: scegli una versione disponibile del connettore Apache Kafka dall'elenco.
   2. Nome connessione: inserisci un nome per la connessione Apache Kafka.
      Nota: i nomi delle connessioni devono soddisfare i seguenti criteri:

      • I nomi delle connessioni possono contenere lettere, numeri o trattini.
      • Le lettere devono essere minuscole.
      • I nomi delle connessioni devono iniziare con una lettera e terminare con una lettera o un numero.
      • I nomi delle connessioni non possono contenere più di 49 caratteri.
      • Per i connettori che supportano l'abbonamento agli eventi, i nomi delle connessioni non possono iniziare con il prefisso "goog".
   3. (Facoltativo) Descrizione: inserisci una descrizione per la connessione.
   4. (Facoltativo) Abilita Cloud Logging: seleziona questa casella di controllo per archiviare tutti i dati di log della connessione.
   5. Service account: seleziona un account di servizio con i ruoli IAM richiesti per la connessione Apache Kafka.
   6. L'opzione Abilita abbonamento agli eventi, entità e azioni è selezionata per impostazione predefinita per la connessione Apache Kafka.
      Nota: Questo connettore non supporta l'opzione Enable only event subscription
   7. Schema di rilevamento del tipo: Seleziona MessageOnly.
   8. Servizio di registro: il servizio Schema Registry utilizzato per lavorare con gli schemi degli argomenti.
   9. Tipo di registro: tipo di schema specificato per un argomento specifico.
   10. Versione del registro: versione dello schema letto da RegistryUrl per l'argomento specificato.
   11. Utente del registro: nome utente o valore della chiave di accesso per l'autorizzazione con il server specificato in RegistryUrl.
   12. Password del registro: secret di Secret Manager contenente il valore della password/chiave del secret per l'autorizzazione con il server specificato in RegistryUrl.
   13. (Facoltativo) Configura le impostazioni del nodo di connessione:
       • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
       • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

       Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, viceversa, sono necessari meno nodi per elaborare meno transazioni. Per capire in che modo i nodi influiscono sui prezzi dei connettori, consulta Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita i nodi minimi sono impostati su 2 (per una maggiore disponibilità) e i nodi massimi sono impostati su 50.

   Nota: puoi personalizzare i valori dei nodi di connessione solo se sei un cliente con pagamento a consumo.
   14. (Facoltativo) Fai clic su + AGGIUNGI ETICHETTA per aggiungere un'etichetta alla connessione sotto forma di coppia chiave-valore.
   15. Abilita SSL: questo campo imposta se SSL è abilitato.
   16. Fai clic su Avanti.
7. Nella sezione Destinazioni, inserisci i dettagli del server di bootstrap Kafka a cui vuoi connetterti.
   1. Tipo di destinazione: seleziona un tipo di destinazione.
      • Per specificare il nome host o l'indirizzo IP di destinazione, seleziona Indirizzo host e inserisci l'indirizzo nel campo Host 1.
      • Per stabilire una connessione privata, seleziona Indirizzo host e aggiungi il collegamento endpoint creato per SAP Gateway utilizzando il protocollo HTTPS.
      Nota: per capire come creare un collegamento endpoint, consulta Collegamento al servizio PSC e collegamento endpoint. Una volta creato, il collegamento endpoint sarà visibile nell'elenco Collegamento endpoint.

      Se vuoi stabilire una connessione pubblica ai tuoi sistemi di backend con una maggiore sicurezza, puoi considerare la configurazione di indirizzi IP statici in uscita per le tue connessioni, e poi configurare le regole firewall in modo da consentire solo gli indirizzi IP statici specifici.

      Per specificare altri server di bootstrap Kafka, fai clic su + AGGIUNGI DESTINAZIONE.

   2. Fai clic su Avanti.
8. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
   1. Seleziona un tipo di autenticazione e inserisci i dettagli pertinenti.

      La connessione Apache Kafka supporta i seguenti tipi di autenticazione:

      • Nome utente e password
        • Nome utente: il nome utente Apache Kafka da utilizzare per la connessione.
        • Password: secret di Secret Manager contenente la password associata al nome utente Apache Kafka.
        • Schema di autenticazione: lo schema utilizzato per l'autenticazione.

          La connessione Apache Kafka supporta i seguenti schemi di autenticazione:

          • Plain
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Non disponibile

        Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

   2. Fai clic su Avanti.
9. Inserisci la configurazione della coda di messaggi non recapitabili. Se configuri la coda di messaggi non recapitabili, la connessione scrive gli eventi non elaborati nell'argomento Pub/Sub specificato. Inserisci i seguenti dettagli:
   1. ID progetto della coda di messaggi non recapitabili: l'ID progetto Google Cloud in cui hai configurato l'argomento Pub/Sub della coda di messaggi non recapitabili.
   2. Argomento messaggi non recapitabili: l'argomento Pub/Sub in cui vuoi scrivere i dettagli dell'evento non elaborato.
10. Fai clic su Avanti.
11. Revisione: esamina i dettagli della connessione e dell'autenticazione.
12. Fai clic su Crea.

Output del trigger

Il trigger Apache Kafka richiede alcuni minuti per completare la configurazione dell'abbonamento agli eventi. Puoi visualizzare lo stato dell'abbonamento agli eventi nel riquadro di configurazione del trigger in Dettagli abbonamento agli eventi.

Il trigger Apache Kafka indica lo stato di un abbonamento agli eventi utilizzando i seguenti stati:

• Creating: indica che il trigger sta sottoscrivendo l'abbonamento agli eventi.
• Active: indica che il trigger ha sottoscritto correttamente l'abbonamento agli eventi.
• Error: indica che si è verificato un problema con l'abbonamento agli eventi configurato.

Oltre allo stato dell'abbonamento agli eventi, la sezione Dettagli abbonamento agli eventi mostra anche altri dettagli, come la regione della connessione, il nome della connessione e il nome dell'abbonamento agli eventi.

Variabile di output del trigger

Per ogni evento, il trigger Apache Kafka genera una variabile di output ConnectorEventPayload (in formato JSON) che puoi utilizzare nelle attività downstream. La variabile di output conterrà il payload dell'evento Apache Kafka. Ad esempio:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Visualizzare gli abbonamenti agli eventi

Per visualizzare e gestire tutti gli abbonamenti agli eventi associati a una connessione in Integration Connectors:

1. Vai alla pagina Integration Connectors > Connessioni.

   Vai alla pagina Connessioni

2. Fai clic sulla connessione per cui vuoi visualizzare gli abbonamenti.
3. Fai clic sulla scheda Abbonamenti agli eventi.

   Vengono visualizzati tutti gli abbonamenti agli eventi per la connessione.

Modificare il trigger Apache Kafka

Puoi modificare un trigger Apache Kafka per cambiare o aggiornare la configurazione della connessione e i dettagli dell'abbonamento agli eventi.

Importante: quando modifichi un trigger Apache Kafka, puoi conservare l'abbonamento agli eventi configurato in precedenza e collegato al trigger oppure eliminarlo. L'eliminazione di un abbonamento agli eventi influirà su tutte le integrazioni pubblicate che lo utilizzano.

Per modificare un trigger Apache Kafka:

1. Fai clic sull'elemento Trigger Apache Kafka nell'editor integrazioni per aprire il riquadro di configurazione del trigger.
2. Fai clic su Configura trigger Apache Kafka.
3. Nella pagina Editor trigger di eventi del connettore :
   1. Per conservare l'abbonamento agli eventi configurato in precedenza, fai clic su Conserva, altrimenti fai clic su Elimina.
      Avviso: l'eliminazione di un abbonamento agli eventi influirà su tutte le integrazioni pubblicate che lo utilizzano. Questa attività non può essere annullata.
   2. Aggiorna la configurazione della connessione e i dettagli dell'abbonamento agli eventi come preferisci.
   3. Fai clic su Fine.

Puoi visualizzare i dettagli aggiornati della connessione e dell'abbonamento agli eventi nel riquadro di configurazione del trigger in Dettagli abbonamento agli eventi.

Quote e limiti

Per informazioni su quote e limiti, consulta Quote e limiti.

Passaggi successivi

• Scopri di più su tutte le attività e i trigger.
• Scopri come testare e pubblicare un'integrazione.
• Scopri di più sulla gestione degli errori.
• Scopri di più sui log di esecuzione dell'integrazione.