Se devi spostare i dati da un argomento Apache Kafka open source a Managed Service per Apache Kafka, puoi farlo con un modello Dataflow. Puoi utilizzare la Google Cloud console, l'API REST o Google Cloud CLI. I messaggi nell'argomento Kafka devono essere pubblicati utilizzando lo schema e la codifica AVRO o JSON.
Questo documento ti aiuta a configurare il modello Dataflow da Kafka a Kafka utilizzando la Google Cloud console.
Google Cloud Prodotti utilizzati
Il modello Dataflow da Kafka a Kafka utilizza i seguenti prodotti fatturabili Google Cloud . Utilizza il calcolatore prezzi per generare una stima dei costi in base all'utilizzo previsto.
- Dataflow: Dataflow è un servizio di elaborazione dei dati completamente gestito. Il modello Dataflow da Kafka a Kafka utilizza Dataflow per creare una pipeline che legge i dati dall'argomento Kafka esterno e li scrive in un argomento Managed Service per Apache Kafka. Le funzionalità di scalabilità automatica e di riparazione automatica di Dataflow garantiscono che la pipeline venga eseguita in modo affidabile ed efficiente.
- Cloud Storage: Cloud Storage fornisce l'archiviazione di oggetti. Viene utilizzato solo se utilizzi l'autenticazione TLS per la tua origine Kafka esterna. Archivi i file Keystore e Truststore contenenti i certificati TLS in Cloud Storage e la pipeline Dataflow vi accede da Cloud Storage.
- Secret Manager: Secret Manager è un servizio di gestione di secret e credenziali.Il prodotto viene utilizzato solo se scegli l'autenticazione TLS o SASL_PLAIN per l'origine Kafka esterna. Memorizza le credenziali di autenticazione, come nomi utente, password e certificati. Queste credenziali vengono utilizzate per connettersi in modo sicuro al cluster Kafka esterno.
Inoltre, la soluzione utilizza anche Managed Service per Apache Kafka.
- Google Cloud Managed Service per Apache Kafka: Un Google Cloud servizio che ti aiuta a eseguire Apache Kafka. In questa soluzione, Managed Service per Apache Kafka viene utilizzato come destinazione per i tuoi dati. Trasmetti i dati da un argomento Kafka esterno a un argomento all'interno del cluster Managed Service per Apache Kafka. Per ulteriori informazioni sui prezzi di Managed Service per Apache Kafka, consulta la guida ai prezzi.
Prima di iniziare
Prima di avviare il modello Dataflow da Kafka a Kafka , assicurati di aver completato quanto segue:
Crea un cluster e un argomento Managed Service per Apache Kafka.
Un modo per creare un cluster e un argomento è seguire la guida rapida di Managed Service per Apache Kafka.
Se l'argomento contiene record Avro, per ulteriori requisiti di risorse, consulta Specificare il formato del messaggio.
Abilita le seguenti Google Cloud API:
Dataflow
Secret Manager (solo se utilizzi l'autenticazione SASL_PLAIN o TLS per l'origine Kafka esterna)
Cloud Storage (solo se utilizzi l'autenticazione TLS per l'origine Kafka esterna)
gcloud services enable dataflow.googleapis.com \ secretmanager.googleapis.com storage.googleapis.com
Preparare le risorse di autenticazione SASL_PLAIN
Segui le istruzioni riportate in questa sezione se prevedi di utilizzare le credenziali di autenticazione SASL_PLAIN per l'origine Kafka esterna.
Nella Google Cloud console, vai a Secret Manager.
Crea due secret: uno per il nome utente Kafka e uno per la password Kafka.
Per ogni secret, fornisci un nome descrittivo, ad esempio "kafka-username" e "kafka-password".
Per ulteriori informazioni su come creare un secret, inclusi i ruoli e le autorizzazioni richiesti, consulta Crea un secret.
Preparare le risorse di autenticazione TLS
Segui le istruzioni riportate in questa sezione se prevedi di utilizzare le credenziali di autenticazione TLS per l'origine Kafka esterna.
Nella Google Cloud console, vai a Secret Manager.
Assicurati che il file Keystore (formato JKS) contenga il certificato TLS e la chiave privata necessari per autenticare il client con il cluster Kafka.
Assicurati che il file Truststore (formato JKS) contenga i certificati attendibili necessari per verificare l'identità del broker Kafka.
Carica i file Keystore e Truststore in Cloud Storage.
Per ulteriori informazioni su come caricare i file in Cloud Storage, consulta Carica oggetti da un file system.
Crea tre secret per la configurazione TLS:
Password archivio attendibilità: memorizza la password utilizzata per accedere al file Truststore.
Password archivio chiavi: memorizza la password utilizzata per accedere al file Keystore.
Password chiave privata: memorizza la password utilizzata per accedere alla chiave privata all'interno del file Keystore.
Per ogni secret, fornisci un nome descrittivo.
Per ulteriori informazioni su come creare un secret, inclusi i ruoli e le autorizzazioni richiesti, consulta Crea un secret.
Concedere il ruolo di client Kafka gestito al account di servizio worker Dataflow
Per connettere il job Dataflow a Managed Service per Apache Kafka, devi concedere autorizzazioni specifiche al account di servizio worker Dataflow. Questo account di servizio è l'identità utilizzata per tutte le VM worker nel job Dataflow e tutte le richieste effettuate da queste VM utilizzano questo account.
Per consentire l'accesso alle risorse Kafka, devi concedere il ruolo roles/managedkafka.client al account di servizio worker Dataflow. Questo ruolo include l'autorizzazione managedkafka.clusters.connect necessaria per stabilire le connessioni.
Per ulteriori informazioni sul account di servizio worker, consulta Sicurezza e autorizzazioni per le pipeline su Google Cloud.
Per concedere il ruolo client Kafka gestito al account di servizio Dataflow, segui questi passaggi:
Console
- Nella Google Cloud console vai alla pagina IAM.
Vai a IAM - Verifica che il progetto sia impostato sul progetto consumer a cui il client Managed Service per Apache Kafka accederà.
- Fai clic su Concedi l'accesso.
- Nella nuova pagina, in Aggiungi entità, inserisci l'indirizzo email del account di servizio worker Dataflow che stai utilizzando.
- In Assegna i ruoli, seleziona il ruolo Client Kafka gestito.
- Fai clic su Salva.
Gcloud CLI
-
Nella Google Cloud console, attiva Cloud Shell.
Nella parte inferiore della Google Cloud console viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già inclusa e installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.
-
Esegui il
gcloud projects add-iam-policy-bindingcomando:gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT_EMAIL \ --role roles/managedkafka.client
Sostituisci quanto segue:
-
PROJECT_ID è l'ID progetto.
-
SERVICE_ACCOUNT_EMAIL è l'indirizzo email del account di servizio worker Dataflow.
-
Avviare il modello Dataflow da Kafka a Kafka
Puoi avviare il modello Dataflow da Kafka a Kafka dalla pagina dei dettagli del cluster nella console.
-
Nella Google Cloud console, vai alla pagina Cluster.
Vengono elencati i cluster creati in un progetto.
- Per visualizzare la pagina dei dettagli del cluster, fai clic sul nome di un cluster.
- Nella pagina dei dettagli del cluster, fai clic su Importa dati.
Viene visualizzata la pagina Crea un job Dataflow utilizzando il modello "Kafka to Kafka".
Configura i campi nel modello in base alle informazioni incluse nelle sezioni seguenti.
Inserire un nome job
Nel campo Nome job, inserisci un nome per il job Dataflow.
Il nome deve essere univoco tra tutti i job attualmente in esecuzione nel progetto.
Scegliere un endpoint regionale per la pipeline
Nel campo Endpoint regionale, imposta l'endpoint regionale sulla località del cluster Kafka per ridurre al minimo le tariffe per il trasferimento di dati tra regioni.
I worker Dataflow possono essere eseguiti indipendentemente dalla regione del cluster Kafka. Tuttavia, se avvii i worker al di fuori della regione del cluster Kafka, dovrai sostenere costi per il traffico in uscita tra regioni.
Per visualizzare la località del cluster, segui i passaggi descritti in Elencare i cluster Managed Service per Apache Kafka.
Configura origine
In Origine, seleziona Kafka autogestito o esterno.
In Server bootstrap Kafka, inserisci l'indirizzo del server bootstrap del cluster Kafka esterno.
In Server e argomento bootstrap Kafka di origine, inserisci l'indirizzo del server e dell'argomento bootstrap Kafka esterno.
In Modalità di autenticazione dell'origine Kafka, seleziona la modalità di autenticazione tra le opzioni fornite. Per Kafka esterno, hai tre opzioni:
SASL_PLAIN
TLS
Nessuna
Per l'autenticazione dell'origine Kafka SASL_PLAIN
Prima di procedere con questa sezione, consulta Preparare le risorse di autenticazione SASL_PLAIN.
Se selezioni SASL_PLAIN come autenticazione dell'origine Kafka, compila i seguenti campi aggiuntivi.
In ID versione secret per il nome utente Kafka SASL/PLAIN, inserisci l'ID versione per il nome utente.
In ID versione secret per la password Kafka SASL/PLAIN, inserisci l' ID versione per la password.
Per l'autenticazione dell'origine Kafka TLS
Prima di procedere con questa sezione, consulta Preparare le risorse di autenticazione TLS.
Se selezioni TLS come autenticazione dell'origine Kafka, compila i seguenti campi aggiuntivi.
Nel campo Posizione dell'archivio chiavi, inserisci il percorso Cloud Storage di il tuo file Java Keystore (JKS). Questo file contiene il certificato TLS e la chiave privata necessari per autenticare la pipeline con il cluster Kafka. Ad esempio: gs://your-bucket/keystore.jks
Nel campo Posizione del file Truststore, inserisci il percorso Cloud Storage del file Java Truststore (JKS). Questo file contiene i certificati attendibili utilizzati per verificare l'identità del broker Kafka.
Nel campo ID versione secret per la password dell'archivio attendibilità, fornisci l' ID secret di Secret Manager che memorizza la password per accedere al file JKS dell'archivio attendibilità.
Nel campo ID versione secret della password dell'archivio chiavi, fornisci l' ID secret di Secret Manager che memorizza la password per accedere al file JKS.
Nel campo ID versione secret della password della chiave privata, se la chiave privata all'interno dell'archivio chiavi ha una password separata, inserisci l'ID secret di Secret Manager contenente la password.
Eseguire il commit degli offset in Kafka
Questa impostazione controlla il modo in cui la pipeline tiene traccia dei messaggi elaborati dall'origine Kafka esterna. L'attivazione di questa impostazione consente di garantire che la pipeline elabori i messaggi in modo affidabile ed eviti errori durante il riavvio.
Kafka tiene traccia dei messaggi utilizzando gli offset. Considerali come segnalibri che ricordano la posizione della pipeline in ogni flusso di messaggi. Quando attivi l'impostazione, la pipeline salva regolarmente i segnalibri in Kafka. Se la pipeline viene riavviata a causa di un errore, di un aggiornamento o di una manutenzione pianificata, può utilizzare i segnalibri salvati per riprendere da dove era stata interrotta. In questo modo, non mancheranno messaggi o non verrà elaborato accidentalmente lo stesso messaggio due volte.
Attiva Esegui il commit degli offset in Kafka.
Fornisci un ID gruppo di consumer. Si tratta di un nome che identifica la pipeline in Kafka.
In Offset di avvio Kafka predefinito, scegli una delle seguenti opzioni:
Earliest: elabora i messaggi dall'inizio dell'argomento Kafka.
Latest: elabora i messaggi a partire dal messaggio più recente.
Configura destinazione
Per la destinazione, scegli Managed Service per Apache Kafka.
In Cluster Kafka, scegli un cluster che hai già creato.
Puoi scegliere un argomento esistente o crearne uno nuovo.
In Metodo di autenticazione della destinazione Kafka, seleziona Credenziali predefinite dell'applicazione.
Configura la crittografia
Per impostazione predefinita, tutti i dati at-rest e in transito sono criptati da un Google-owned and Google-managed encryption key. Se hai chiavi di crittografia gestite dal cliente (CMEK), puoi selezionare le tue chiavi. Per ulteriori informazioni su come configurare una CMEK, consulta Configurare la crittografia dei messaggi.
Configura il networking
Devi specificare la rete e la subnet del cluster nel modello Dataflow. La sezione Parametri facoltativi del modello ti consente di definire la rete per i worker Dataflow.
Per impostazione predefinita, il modello Dataflow da Kafka a Kafka esegue il provisioning dei worker Dataflow nella rete predefinita del progetto. Per consentire al cluster Kafka esterno di inviare dati a Managed Service per Apache Kafka tramite Dataflow, assicurati che i worker Dataflow possano accedere alla rete del cluster.
Ti consigliamo di utilizzare la rete predefinita del progetto per il cluster Kafka se quest'ultimo non è connesso a una subnet nella rete predefinita del progetto.
Per ulteriori informazioni sulla configurazione del networking con la pipeline Dataflow, consulta:
Se riscontri difficoltà nella configurazione del networking Dataflow, consulta la guida alla risoluzione dei problemi di networking di Dataflow.
Configurare i parametri Dataflow facoltativi
Configura i parametri Dataflow facoltativi solo se conosci l'impatto della configurazione sui worker Dataflow. Impostazioni errate possono influire sulle prestazioni o sui costi. Per spiegazioni dettagliate di ogni opzione, consulta Parametri facoltativi.
Monitoraggio
Il modello Dataflow da Kafka a Managed Service per Apache Kafka offre un'esperienza di monitoraggio che ti consente di esplorare log, metriche ed errori all'interno della console. Questa suite di strumenti di monitoraggio è disponibile come parte dell'interfaccia utente di Dataflow.
La scheda Metriche job ti consente di creare dashboard personalizzate. Per il modello da Kafka a Managed Service per Apache Kafka, ti consigliamo di configurare una dashboard Metriche job che monitori quanto segue:
Velocità effettiva: il volume di dati elaborati in un determinato momento. È utile per monitorare il flusso di dati tramite il job e identificare potenziali problemi di prestazioni.
Per ulteriori informazioni, consulta Monitoraggio della velocità effettiva di Dataflow.
Aggiornamento dei dati: la differenza in secondi tra il timestamp dell' elemento dati e il momento in cui l'evento viene elaborato nella pipeline. Aiuta a identificare i colli di bottiglia delle prestazioni e dell'origine dati o i nuovi tentativi frequenti.
Per ulteriori informazioni, consulta quanto segue: Monitoraggio dell'aggiornamento di Dataflow.
Backlog: la quantità di byte in attesa di elaborazione. Queste informazioni vengono utilizzate per le decisioni di scalabilità automatica.
Per ulteriori informazioni sul monitoraggio di Dataflow, consulta la documentazione sul monitoraggio di Dataflow.
Risoluzione dei problemi
Se riscontri problemi di prestazioni con la pipeline Dataflow, Dataflow fornisce un set completo di strumenti di risoluzione dei problemi e diagnostici.
Di seguito sono riportati due scenari comuni e le rispettive guide alla risoluzione dei problemi:
Risolvere i problemi relativi alle pipeline di streaming lente o bloccate.
Risolvere i problemi relativi ai ritardatari nelle pipeline.
Per una panoramica generale del debug delle pipeline Dataflow, consulta Risolvere i problemi ed eseguire il debug delle pipeline Dataflow.