Ce document fournit des conseils aux développeurs, aux architectes et aux décideurs sur les options d'intégration de Managed Service pour Apache Kafka à d'autres services Google Cloud.
Le tableau suivant liste certains facteurs à prendre en compte lorsque vous choisissez une solution d'intégration pour vos données Kafka dans Google Cloud.
| Solution | Cas d'utilisation |
|---|---|
| Kafka Connect |
Tâches courantes d'intégration de données Répliquer des données Kafka entre des clusters Haute disponibilité/Reprise après sinistre |
| Dataflow |
Pipelines de données à volume élevé Transformations ou agrégations de données complexes Fenêtrage avancé |
| Managed Service pour Apache Spark |
Intégrer aux charges de travail Apache Spark existantes Migrer des charges de travail Apache Spark vers Google Cloud |
Utiliser Kafka Connect
Kafka Connect fournit un framework pour diffuser des données entre Kafka et d'autres systèmes. Managed Service pour Apache Kafka vous permet de provisionner des clusters qui exécutent Kafka Connect.
Kafka Connect est recommandé pour la plupart des tâches d'intégration de données courantes pour lesquelles il existe un connecteur compatible. Kafka Connect avec MirrorMaker 2.0 est recommandé pour répliquer des données entre des clusters Kafka, par exemple dans des architectures à haute disponibilité et de reprise après sinistre (HA/DR).
Voici quelques avantages de l'utilisation de Kafka Connect :
Connecteurs intégrés pour les sources et les récepteurs tels que BigQuery, Cloud SQL et Cloud Storage.
Entièrement intégré à Managed Service pour Apache Kafka, ce qui simplifie la gestion, les opérations et la surveillance.
Compatibilité avec le filtrage et les transformations par message.
Via Dataflow
Dataflow est une plate-forme de streaming gérée basée sur le projet Open Source Apache Beam. Vous pouvez exécuter des pipelines Dataflow pour écrire des données Kafka dans des récepteurs tels que BigQuery et Cloud Storage.
Envisagez d'utiliser Dataflow dans les cas suivants :
Pipelines de données à volume élevé. Les jobs Dataflow peuvent évoluer jusqu'à des milliers de nœuds de calcul. Dataflow est également compatible avec l'autoscaling horizontal, qui ajoute ou supprime des nœuds de calcul selon les besoins.
Pipelines de données nécessitant des transformations complexes, telles que le nettoyage des données, l'enrichissement ou l'agrégation.
Intégrer l'IA et le ML à votre pipeline de données
Joignez plusieurs flux de données avec un contrôle précis du fenêtrage et du traitement des données tardives.
Pour déployer un pipeline Dataflow, vous pouvez exécuter un modèle prédéfini ou créer un pipeline Apache Beam. Pour les scénarios d'intégration de données courants, envisagez d'exécuter un modèle. Pour une flexibilité et un contrôle maximum, ou si votre pipeline nécessite une logique personnalisée, créez un pipeline Apache Beam.
Utiliser Managed Service pour Apache Spark
Managed Service pour Apache Spark vous permet d'exécuter des charges de travail Apache Spark à l'aide d'un modèle sans serveur ou d'un modèle basé sur un cluster.
Envisagez d'utiliser Managed Service pour Apache Spark avec vos données Kafka si vous disposez déjà de pipelines Spark. Par exemple, si vous disposez d'une application Spark qui traite des données de flux provenant de Kafka et que vous souhaitez migrer cette application versGoogle Cloud, Managed Service pour Apache Spark est un choix approprié.
Étapes suivantes
En savoir plus sur Kafka Connect dans Managed Service pour Apache Kafka
Utiliser un modèle Dataflow :
Créez un pipeline Apache Beam :
Pour Spark Streaming et Kafka, Apache Spark fournit un guide d'intégration.