Si vous devez déplacer des données d'un sujet Apache Kafka Open Source vers Managed Service pour Apache Kafka, vous pouvez le faire à l'aide d'un modèle Dataflow. Vous pouvez utiliser la Google Cloud console, l'API REST ou la Google Cloud CLI. Les messages du sujet Kafka doivent être publiés à l'aide du schéma et de l'encodage AVRO ou JSON.
Ce document vous aide à configurer le modèle Kafka vers Kafka Dataflow à l'aide de la Google Cloud console.
Google Cloud Produits utilisés
Le modèle Kafka vers Kafka Dataflow utilise les produits payants suivants Google Cloud . Utilisez le Simulateur de coût pour générer une estimation des coûts en fonction de votre utilisation prévue.
- Dataflow : Dataflow est un service de traitement de données entièrement géré. Le modèle Kafka vers Kafka Dataflow utilise Dataflow pour créer un pipeline qui lit les données de votre sujet Kafka externe et les écrit dans un sujet Managed Service pour Apache Kafka. Les fonctionnalités d'autoscaling et d'autoréparation de Dataflow garantissent que votre pipeline s'exécute de manière fiable et efficace.
- Cloud Storage : Cloud Storage fournit un stockage d'objets. Il n'est utilisé que si vous utilisez l'authentification TLS pour votre source Kafka externe. Vous stockez vos fichiers Keystore et Truststore contenant des certificats TLS dans Cloud Storage, et le pipeline Dataflow y accède à partir de Cloud Storage.
- Secret Manager : Secret Manager est un service de gestion des secrets et des identifiants.Le produit n'est utilisé que si vous choisissez l'authentification TLS ou SASL_PLAIN pour votre source Kafka externe. Il stocke vos identifiants d'authentification tels que les noms d'utilisateur, les mots de passe et les certificats. Ces identifiants sont utilisés pour se connecter en toute sécurité au cluster Kafka externe.
La solution utilise également Managed Service pour Apache Kafka.
- Google Cloud Managed Service pour Apache Kafka : un Google Cloud service qui vous aide à exécuter Apache Kafka. Dans cette solution, Managed Service pour Apache Kafka est utilisé comme destination pour vos données. Vous diffusez des données en flux continu depuis un sujet Kafka externe vers un sujet de votre cluster Managed Service for Apache Kafka. Pour en savoir plus sur la tarification de Managed Service pour Apache Kafka, consultez le guide des tarifs.
Avant de commencer
Avant de lancer votre modèle Kafka vers Kafka Dataflow , assurez-vous d'avoir effectué les opérations suivantes :
Créez un cluster et un sujet Managed Service pour Apache Kafka.
Pour créer un cluster et un sujet, vous pouvez suivre le guide de démarrage rapide de Managed Service pour Apache Kafka.
Si votre sujet contient des enregistrements Avro, consultez la section Spécifier le format des messages pour connaître les exigences supplémentaires en matière de ressources.
Activez les Google Cloud API suivantes :
Dataflow
Secret Manager (uniquement si vous utilisez l'authentification SASL_PLAIN ou TLS pour votre source Kafka externe)
Cloud Storage (uniquement si vous utilisez l'authentification TLS pour votre source Kafka externe)
gcloud services enable dataflow.googleapis.com \ secretmanager.googleapis.com storage.googleapis.com
Préparer les ressources d'authentification SASL_PLAIN
Suivez les instructions de cette section si vous prévoyez d'utiliser vos identifiants d'authentification SASL_PLAIN pour votre source Kafka externe.
Dans la Google Cloud console, accédez à Secret Manager.
Créez deux secrets : un pour votre nom d'utilisateur Kafka et un pour votre mot de passe Kafka.
Pour chaque secret, fournissez un nom descriptif tel que "kafka-username" et "kafka-password".
Pour en savoir plus sur la création d'un secret, y compris sur les rôles et autorisations requis, consultez la section Créer un secret.
Préparer les ressources d'authentification TLS
Suivez les instructions de cette section si vous prévoyez d'utiliser vos identifiants d'authentification TLS pour votre source Kafka externe.
Dans la Google Cloud console, accédez à Secret Manager.
Assurez-vous que votre fichier Keystore (au format JKS) contient le certificat TLS et la clé privée requis pour authentifier votre client auprès du cluster Kafka.
Assurez-vous que votre fichier Truststore (au format JKS) contient les certificats approuvés requis pour vérifier l'identité du courtier Kafka.
Importez vos fichiers Keystore et Truststore dans Cloud Storage.
Pour en savoir plus sur l'importation de fichiers dans Cloud Storage, consultez la section Importer des objets à partir d'un système de fichiers.
Créez trois secrets pour votre configuration TLS :
Mot de passe du truststore : stocke le mot de passe utilisé pour accéder à votre fichier Truststore.
Mot de passe du keystore : stocke le mot de passe utilisé pour accéder à votre fichier Keystore.
Mot de passe de la clé privée : stocke le mot de passe utilisé pour accéder à la clé privée dans votre fichier Keystore.
Pour chaque secret, fournissez un nom descriptif.
Pour en savoir plus sur la création d'un secret, y compris sur les rôles et autorisations requis, consultez la section Créer un secret.
Attribuer le rôle de client Kafka géré au compte de service de nœud de calcul Dataflow
Pour connecter votre job Dataflow à Managed Service pour Apache Kafka, vous devez accorder des autorisations spécifiques au compte de service de nœud de calcul Dataflow. Ce compte de service est l'identité utilisée pour toutes les VM de nœud de calcul de votre job Dataflow, et toutes les requêtes effectuées à partir de ces VM utilisent ce compte.
Pour autoriser l'accès à vos ressources Kafka, vous devez attribuer le rôle roles/managedkafka.client au compte de service de nœud de calcul Dataflow. Ce rôle inclut l'autorisation managedkafka.clusters.connect nécessaire pour établir des connexions.
Pour en savoir plus sur le compte de service de nœud de calcul, consultez la section Sécurité et autorisations pour les pipelines sur Google Cloud.
Pour attribuer le rôle de client Kafka géré au compte de service Dataflow, procédez comme suit :
Console
- Dans la Google Cloud console, accédez à la page IAM.
Accéder à IAM - Vérifiez que le projet est défini sur le projet consommateur auquel le client Managed Service pour Apache Kafka accédera.
- Cliquez sur Accorder l'accès.
- Sur la nouvelle page, dans le champ Ajouter des comptes principaux, saisissez l'adresse e-mail du compte de service de nœud de calcul Dataflow que vous utilisez.
- Dans le champ Attribuer des rôles, sélectionnez le rôle Client Kafka géré.
- Cliquez sur Enregistrer.
Gcloud CLI
-
Dans la Google Cloud console, activez Cloud Shell.
En bas de la fenêtre de la console, une session Cloud Shell démarre et affiche une invite de ligne de commande. Google Cloud Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.
-
Exécutez la
gcloud projects add-iam-policy-bindingcommande :gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT_EMAIL \ --role roles/managedkafka.client
Remplacez les éléments suivants :
-
PROJECT_ID est l'ID de projet.
-
SERVICE_ACCOUNT_EMAIL est l'adresse e-mail du compte de service de nœud de calcul Dataflow.
-
Lancer le modèle Kafka vers Kafka Dataflow
Vous pouvez lancer le modèle Kafka vers Kafka Dataflow à partir de la page des détails du cluster dans la console.
-
Dans la Google Cloud console, accédez à la page Cluster.
Les clusters que vous avez créés dans un projet sont listés.
- Pour afficher la page des détails du cluster, cliquez sur un nom de cluster.
- Sur la page des détails du cluster, cliquez sur Importer des données.
La page Créer un job Dataflow à l'aide du modèle "Kafka vers Kafka" s'ouvre.
Configurez les champs du modèle en fonction des informations incluses dans les sections suivantes.
Saisir un nom de job
Dans le champ Nom du job, saisissez un nom pour votre job Dataflow.
Le nom doit être unique parmi tous les jobs en cours d'exécution dans le projet.
Choisir un point de terminaison régional pour votre pipeline
Dans le champ Point de terminaison régional, définissez le point de terminaison régional sur l'emplacement de votre cluster Kafka afin de réduire les frais de transfert de données entre régions.
Les nœuds de calcul Dataflow peuvent s'exécuter indépendamment de la région de votre cluster Kafka. Toutefois, des frais de sortie interrégionaux vous seront facturés si vous lancez des nœuds de calcul en dehors de la région de votre cluster Kafka.
Pour afficher l'emplacement du cluster, suivez les étapes décrites dans la section Lister vos clusters Managed Service pour Apache Kafka.
Configurer la source
Pour Source, sélectionnez Kafka autogéré ou externe.
Pour Serveur d'amorçage Kafka, saisissez l'adresse du serveur d'amorçage du cluster Kafka externe.
Pour Serveur d'amorçage et sujet Kafka source, saisissez l'adresse du serveur d'amorçage et du sujet Kafka externes.
Pour Mode d'authentification de la source Kafka, sélectionnez votre mode d'authentification parmi les choix proposés. Pour Kafka externe, vous avez trois options :
SASL_PLAIN
TLS
None
Pour l'authentification de la source Kafka SASL_PLAIN
Avant de poursuivre cette section, consultez la section Préparer les ressources d'authentification SASL_PLAIN.
Si vous sélectionnez SASL_PLAIN comme authentification de la source Kafka, remplissez les champs supplémentaires suivants.
Pour ID de version du secret pour le nom d'utilisateur Kafka SASL/PLAIN, saisissez l'ID de version du nom d'utilisateur.
Pour ID de version du secret pour le mot de passe Kafka SASL/PLAIN, saisissez l' ID de version du mot de passe.
Pour l'authentification de la source Kafka TLS
Avant de poursuivre cette section, consultez la section Préparer les ressources d'authentification TLS.
Si vous sélectionnez TLS comme authentification de la source Kafka, remplissez les champs supplémentaires suivants.
Pour Emplacement du keystore, saisissez le chemin d'accès Cloud Storage à votre fichier Java Keystore (JKS). Ce fichier contient le certificat TLS et la clé privée nécessaires pour authentifier votre pipeline auprès du cluster Kafka. Exemple : gs://your-bucket/keystore.jks
Dans le champ Emplacement du fichier Truststore, saisissez le chemin d'accès Cloud Storage à votre fichier Java Truststore (JKS). Ce fichier contient les certificats approuvés utilisés pour vérifier l'identité du courtier Kafka.
Pour ID de version du secret pour le mot de passe du truststore, fournissez l' ID de secret Secret Manager qui stocke le mot de passe permettant d' accéder à votre fichier JKS Truststore.
Pour ID de version du secret pour le mot de passe du keystore, fournissez l' ID de secret Secret Manager qui stocke le mot de passe permettant d'accéder à votre fichier JKS.
Dans le champ ID de version du secret pour le mot de passe de la clé privée, si votre clé privée dans le keystore possède un mot de passe distinct, saisissez l'ID de secret Secret Manager contenant ce mot de passe.
Enregistrer les décalages dans Kafka
Ce paramètre contrôle la façon dont le pipeline suit les messages de la source Kafka externe qui sont traités. L'activation de ce paramètre permet de s'assurer que votre pipeline traite les messages de manière fiable et évite les erreurs lors du redémarrage.
Kafka suit les messages à l'aide de décalages. Considérez-les comme des signets qui mémorisent l'emplacement du pipeline dans chaque flux de messages. Lorsque vous activez ce paramètre, le pipeline enregistre régulièrement ses signets dans Kafka. Si le pipeline redémarre en raison d'une erreur, d'une mise à jour ou d'une maintenance planifiée, il peut utiliser les signets enregistrés pour reprendre là où il s'était arrêté. Cela évite de manquer des messages ou de traiter accidentellement le même message deux fois.
Activez l'option Enregistrer les décalages dans Kafka.
Fournissez un ID de groupe de consommateurs. Il s'agit d'un nom qui identifie votre pipeline auprès de Kafka.
Pour Décalage de démarrage Kafka par défaut, choisissez l'une des options suivantes :
Le plus ancien : traite les messages depuis le début du sujet Kafka.
Le plus récent : traite les messages à partir du message le plus récent.
Configurer la destination
Pour la destination, choisissez Managed Service pour Apache Kafka.
Pour Cluster Kafka, choisissez un cluster que vous avez déjà créé.
Vous pouvez choisir un sujet existant ou en créer un.
Pour Méthode d'authentification de la destination Kafka, sélectionnez Identifiants par défaut de l'application.
Configurer le chiffrement
Par défaut, toutes les données au repos et en transit sont chiffrées par une Google-owned and Google-managed encryption key. Si vous disposez de clés de chiffrement gérées par le client (CMEK), vous pouvez sélectionner vos propres clés. Pour en savoir plus sur la configuration d'une CMEK, consultez la section Configurer le chiffrement des messages.
Configurer la mise en réseau
Vous devez spécifier le réseau et le sous-réseau du cluster dans le modèle Dataflow. La section Paramètres facultatifs du modèle vous permet de définir le réseau de vos nœuds de calcul Dataflow.
Par défaut, le modèle Kafka vers Kafka Dataflow provisionne les nœuds de calcul Dataflow dans le réseau par défaut de votre projet. Pour permettre à votre cluster Kafka externe d'envoyer des données à Managed Service pour Apache Kafka via Dataflow, assurez-vous que vos nœuds de calcul Dataflow peuvent accéder au réseau de votre cluster.
Nous vous recommandons d'utiliser le réseau par défaut de votre projet pour votre cluster Kafka si celui-ci n'est pas connecté à un sous-réseau du réseau par défaut du projet.
Pour en savoir plus sur la configuration de la mise en réseau avec votre pipeline Dataflow, consultez les ressources suivantes :
Si vous rencontrez des difficultés pour configurer votre mise en réseau Dataflow, consultez le guide de dépannage de la mise en réseau Dataflow.
Configurer les paramètres Dataflow facultatifs
Ne configurez les paramètres Dataflow facultatifs que si vous connaissez l'impact de la configuration sur les nœuds de calcul Dataflow. Des paramètres incorrects peuvent affecter les performances ou les coûts. Pour obtenir des explications détaillées sur chaque option, consultez la section Paramètres facultatifs.
Surveillance
Le modèle Dataflow pour Kafka vers Managed Service pour Apache Kafka offre une expérience de surveillance qui vous permet d'explorer les journaux, les métriques et les erreurs dans la console. Cette suite d'outils de surveillance est disponible dans l'interface utilisateur Dataflow.
L'onglet Métriques du job vous permet de créer des tableaux de bord personnalisés. Pour le modèle Kafka vers Managed Service pour Apache Kafka, nous vous recommandons de configurer un tableau de bord Métriques du job qui surveille les éléments suivants :
Débit : volume de données traitées à tout moment. Cela est utile pour surveiller le flux de données dans votre job et identifier les problèmes de performances potentiels.
Pour en savoir plus, consultez la section Surveillance du débit Dataflow.
Fraîcheur des données : différence en secondes entre l'horodatage de l' élément de données et le moment où l'événement est traité dans votre pipeline. Cela permet d'identifier les goulots d'étranglement des performances et des sources de données, ou les nouvelles tentatives fréquentes.
Pour en savoir plus, consultez la section Surveillance de la fraîcheur des données Dataflow.
Backlog : quantité d'octets en attente de traitement. Ces informations éclairent les décisions d'autoscaling.
Pour en savoir plus sur la surveillance Dataflow, consultez la documentation sur la surveillance Dataflow.
Dépannage
Si vous rencontrez des problèmes de performances avec votre pipeline Dataflow, Dataflow fournit un ensemble complet d'outils de dépannage et de diagnostic.
Voici deux scénarios courants et leurs guides de dépannage respectifs :
Pour obtenir une présentation générale du débogage des pipelines Dataflow, consultez la section Résoudre les problèmes et déboguer les pipelines Dataflow.