Questo documento fornisce consigli a sviluppatori, architetti e responsabili delle decisioni sulle opzioni per integrare Managed Service per Apache Kafka con altri servizi Google Cloud.
La seguente tabella elenca alcuni fattori da considerare quando scegli una soluzione di integrazione per i tuoi dati Kafka in Google Cloud.
| Soluzione | Casi d'uso |
|---|---|
| Kafka Connect |
Attività comuni di integrazione dei dati Replicare i dati Kafka tra cluster Alta affidabilità/ripristino di emergenza |
| Dataflow |
Pipeline di dati ad alto volume Trasformazioni complesse dei dati o aggregazione dei dati Finestre avanzate |
| Managed Service for Apache Spark |
Integrare i carichi di lavoro Apache Spark esistenti Esegui la migrazione dei workload Apache Spark a Google Cloud |
Utilizza Kafka Connect
Kafka Connect fornisce un framework per lo streaming di dati tra Kafka e altri sistemi. Managed Service per Apache Kafka ti consente di eseguire il provisioning di cluster che eseguono Kafka Connect.
Kafka Connect è consigliato per le attività di integrazione dei dati più comuni per le quali esiste un connettore supportato. Kafka Connect con MirrorMaker 2.0 è consigliato per replicare i dati tra cluster Kafka, ad esempio in architetture di alta disponibilità e ripristino di emergenza (HA/RE).
I vantaggi dell'utilizzo di Kafka Connect includono:
Connettori integrati per origini e sink come BigQuery, Cloud SQL e Cloud Storage.
Completamente integrato in Managed Service per Apache Kafka, il che semplifica la gestione, le operazioni e il monitoraggio.
Supporto per il filtraggio e le trasformazioni per messaggio.
Utilizza Dataflow
Dataflow è una piattaforma di streaming gestita basata sul progetto open source Apache Beam. Puoi eseguire pipeline Dataflow per scrivere i dati Kafka in sink come BigQuery e Cloud Storage.
Prendi in considerazione l'utilizzo di Dataflow per i seguenti scenari:
Pipeline di dati ad alto volume. I job Dataflow possono fare lo scale up fino a migliaia di worker. Dataflow supporta anche la scalabilità automatica orizzontale, aggiungendo o rimuovendo i worker in base alle necessità.
Data pipelines che richiedono trasformazioni complesse, come pulizia dei dati, arricchimento o aggregazione.
Integrare l'AI e il ML nella pipeline di dati.
Unione di più flussi di dati con controllo granulare del raggruppamento in finestre e gestione dei dati in arrivo in ritardo.
Per eseguire il deployment di una pipeline Dataflow, puoi eseguire un modello predefinito o creare una pipeline Apache Beam. Per gli scenari comuni di integrazione dei dati, valuta la possibilità di eseguire un modello. Per la massima flessibilità e il massimo controllo o se la tua pipeline richiede una logica personalizzata, crea una pipeline Apache Beam.
Utilizzare Managed Service for Apache Spark
Managed Service for Apache Spark ti consente di eseguire workload Apache Spark utilizzando un modello serverless o basato su cluster.
Valuta la possibilità di utilizzare Managed Service for Apache Spark con i tuoi dati Kafka se hai pipeline Spark esistenti. Ad esempio, se hai un'applicazione Spark che elabora dati di streaming da Kafka e vuoi eseguire la migrazione di questa applicazione a Google Cloud, Managed Service for Apache Spark è una scelta adatta.
Passaggi successivi
Scopri di più su Kafka Connect in Managed Service per Apache Kafka.
Utilizza un modello Dataflow:
Crea una pipeline Apache Beam:
Per Spark Streaming e Kafka, Apache Spark fornisce una guida all'integrazione.