Un connecteur source MirrorMaker 2.0 vous permet de répliquer des sujets et des données d'un cluster Kafka (la source) vers un autre cluster Kafka (la cible).
Voici des cas d'utilisation typiques de ce connecteur :
Migration de données. Déplacez votre charge de travail Kafka vers un nouveau cluster Managed Service pour Apache Kafka.
Reprise après sinistre. Créez un cluster de sauvegarde pour assurer la continuité de l'activité en cas de défaillance.
Agrégation des données. Regroupez les données de plusieurs clusters Kafka dans un cluster Managed Service pour Apache Kafka centralisé pour effectuer des analyses.
Ce connecteur effectue une réplication de données de base entre les clusters Kafka. Pour garantir une reprise après sinistre plus robuste, utilisez les connecteurs suivants conjointement avec le connecteur source MirrorMaker 2.0 :
Connecteur MirrorMaker 2.0 Checkpoint. Réplique les décalages des consommateurs, afin que les consommateurs puissent basculer vers le cluster cible sans perdre de données.
Connecteur MirrorMaker 2.0 Heartbeat. Génère des messages de pulsation périodiques, ce qui vous permet de surveiller la connectivité et le délai de réplication.
Comprendre les rôles de cluster dans MirrorMaker 2.0
Un connecteur MirrorMaker 2.0 lit les données d'un cluster Kafka source et les écrit dans un cluster Kafka cible. Dans Managed Service pour Apache Kafka, le cluster principal du cluster Connect doit être le cluster cible. Cette configuration réduit la latence des opérations d'écriture. Le cluster source peut être un autre cluster Managed Service pour Apache Kafka, ou un cluster Kafka externe ou autogéré.
Si vous souhaitez répliquer des données d'un cluster Managed Service pour Apache Kafka vers un cluster externe ou autogéré, nous vous recommandons d'exécuter Kafka Connect dans le même emplacement ou la même région que l'autre cluster, et d'utiliser MirrorMaker 2.0 pour ingérer les données de Managed Service pour Apache Kafka.
Vous devez configurer correctement toutes les propriétés du connecteur. Elles incluent également les propriétés d'authentification du producteur qui sont dirigées vers le cluster secondaire. Pour en savoir plus sur les problèmes potentiels, consultez Améliorer la configuration du client MirrorMaker 2.0.
Rôles et autorisations nécessaires
Pour obtenir les autorisations nécessaires pour créer un connecteur, demandez à votre administrateur de vous accorder le rôle IAM Éditeur de connecteur Kafka géré (roles/managedkafka.connectorEditor) sur votre projet.
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ce rôle prédéfini contient les autorisations requises pour créer un connecteur. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Les autorisations suivantes sont requises pour créer un connecteur :
-
Créez un connecteur :
managedkafka.connectors.create
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Configurer la mise en réseau
Cette section décrit les exigences de mise en réseau pour que MirrorMaker 2.0 se connecte au cluster Kafka secondaire. Voici les exigences générales :
Connectivité. Les nœuds de calcul du cluster Connect doivent pouvoir se connecter au cluster Kafka secondaire.
Résolution DNS. Vous devez ajouter le domaine DNS du cluster secondaire aux domaines DNS pouvant être résolus du cluster Connect. De plus, le domaine DNS doit pouvoir être résolu à partir du sous-réseau du cluster Connect, par exemple en créant une zone Cloud DNS.
Règles de pare-feu. Les règles de pare-feu doivent permettre aux nœuds de calcul du cluster Connect d'atteindre les clusters Kafka source et cible.
De nombreux détails dépendent de la manière dont le cluster Kafka secondaire est hébergé et de l'emplacement de l'hébergement, qu'il s'agisse d'un cluster Managed Service pour Apache Kafka, d'un cluster autogéré dans Google Cloudou d'un cluster externe.
Cluster Managed Service pour Apache Kafka
- Si le cluster secondaire se trouve dans un autre réseau VPC, ajoutez un sous-réseau du réseau VPC du cluster Connect aux sous-réseaux connectés du cluster secondaire. Pour en savoir plus, consultez la section Configuration du réseau.
Cluster Kafka autogéré dans Google Cloud
Si le cluster secondaire se trouve dans un autre réseau VPC, les options de connectivité incluent l'appairage de réseaux VPC, Network Connectivity Center (NCC) et Cloud VPN.
Si le cluster secondaire se trouve dans un autre réseau VPC, créez une zone d'appairage Cloud DNS qui s'appaire au réseau VPC du cluster secondaire et qui est visible dans le sous-réseau du cluster Connect.
Cluster Kafka externe
Les options de connexion à un cluster externe sont les suivantes :
Cloud VPN : solution économique adaptée aux besoins en bande passante plus faibles. Il crée un tunnel chiffré pour vous aider à traverser l'Internet public.
Cloud Interconnect : fournit une connexion dédiée à bande passante élevée entre votre réseau sur site et Google Cloud. Vous pouvez choisir entre interconnexion dédiée pour une connexion physique directe ou interconnexion partenaire pour vous connecter via un fournisseur de services.
Configurez Cloud NAT pour permettre aux nœuds de calcul Connect d'accéder à Internet.
Créez une zone de transfert Cloud DNS dans le réseau VPC du cluster Connect pour résoudre les requêtes DNS pour l'adresse d'amorçage et les points de terminaison de l'agent de votre cluster externe.
Configurer l'authentification
Si le cluster Kafka source ou cible est un cluster Managed Service pour Apache Kafka, le connecteur est automatiquement configuré pour utiliser l'authentification OAuthBearer. Vous n'avez pas besoin de définir de configurations supplémentaires.
Pour un cluster Kafka autogéré ou externe, vous devez configurer l'authentification et le chiffrement TLS. Les configurations dépendent du mécanisme d'authentification compatible avec le cluster Kafka. Pour en savoir plus, consultez Configurations courantes de MirrorMaker dans la documentation Apache Kafka.
Si le cluster est compatible avec l'authentification OAuthBearer, utilisez les paramètres suivants :
source.cluster.security.protocol=SASL_SSL
source.cluster.sasl.mechanism=OAUTHBEARER
source.cluster.sasl.login.callback.handler.class=com.google.cloud.hosted.kafka.auth.GcpLoginCallbackHandler
source.cluster.sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
Stockez les identifiants requis dans Secret Manager, comme décrit dans la section suivante.
Utiliser Secret Manager pour les identifiants
Lorsque vous vous connectez à des clusters Kafka autogérés ou externes, utilisez Secret Manager pour stocker les valeurs de configuration sensibles nécessaires à l'authentification. Ces informations peuvent inclure des mots de passe, des fichiers de magasin de clés et des fichiers de magasin de confiance, selon la configuration de l'authentification dans le cluster.
Pour en savoir plus sur l'association de secrets Secret Manager à un cluster Connect, consultez Ressources Secret Manager.
Dans la configuration du connecteur, référencez les secrets comme suit :
Pour les chemins d'accès aux fichiers, utilisez le format
/var/secrets/PROJECT_NAME-SECRET_NAME-SECRET_VERSION. Exemple :ssl.truststore.location=/var/secrets/project1-truststore-1.Pour les mots de passe, utilisez le format
${directory:/var/secrets:PROJECT_NAME-SECRET_NAME-SECRET_VERSION}. Exemple :password=${directory:/var/secrets:project1-database_password-3}
Remplacez les éléments suivants :
- PROJECT_NAME : nom du projet Google Cloud .
- SECRET_NAME : nom du secret.
- SECRET_VERSION : version du secret.
Fonctionnement d'un connecteur source MirrorMaker
Un connecteur source MirrorMaker extrait les données d'un ou de plusieurs sujets Kafka dans un cluster source et les réplique, ainsi que les LCA, dans des sujets d'un cluster cible.
Voici une description détaillée de la façon dont le connecteur source MirrorMaker réplique les données :
Le connecteur consomme les messages des sujets Kafka spécifiés dans le cluster source. Spécifiez les sujets à répliquer à l'aide de la propriété de configuration
topics, qui accepte les noms de sujets séparés par une virgule ou une seule expression régulière de style Java. Par exemple,topic-a,topic-boumy-prefix-.*.Le connecteur peut également ignorer la réplication de certains sujets que vous spécifiez à l'aide de la propriété
topics.exclude. Les exclusions remplacent les inclusions.Le connecteur écrit les messages consommés dans le cluster cible.
Le connecteur nécessite les informations de connexion des clusters source et cible, telles que
source.cluster.bootstrap.serversettarget.cluster.bootstrap.servers.Le connecteur nécessite également des alias pour les clusters source et cible, comme spécifié par
source.cluster.aliasettarget.cluster.alias. Par défaut, les sujets répliqués sont automatiquement renommés à l'aide de l'alias source. Par exemple, un sujet nomméordersprovenant d'une source avec l'aliasprimarydevientprimary.ordersdans la cible. Pour conserver les noms de thèmes d'origine dans le cluster cible sans préfixe, définissezreplication.policy.classsurorg.apache.kafka.connect.mirror.IdentityReplicationPolicy.Les LCA associées aux sujets répliqués sont également synchronisées du cluster source vers le cluster cible. Vous pouvez désactiver cette option à l'aide de la propriété
sync.topic.acls.enabled.Les informations d'authentification permettant de se connecter aux clusters source et cible doivent être fournies dans la configuration si les clusters l'exigent. Vous devez configurer des propriétés telles que
security.protocol,sasl.mechanismetsasl.jaas.config, précédées desource.cluster.pour la source et detarget.cluster.pour la cible.Le connecteur s'appuie sur des sujets internes. Vous devrez peut-être configurer des propriétés associées, telles que
offset-syncs.topic.replication.factor.Le connecteur utilise les convertisseurs d'enregistrements Kafka
key.converter,value.converteretheader.converter. Pour la réplication directe, la valeur par défaut est souventorg.apache.kafka.connect.converters.ByteArrayConverter, qui n'effectue aucune conversion (pass-through).La propriété
tasks.maxcontrôle le niveau de parallélisme du connecteur. L'augmentation detasks.maxpeut potentiellement améliorer le débit, mais le parallélisme effectif est souvent limité par le nombre de partitions dans les sujets Kafka sources répliqués.
Propriétés d'un connecteur MirrorMaker 2.0
Lorsque vous créez ou mettez à jour un connecteur MirrorMaker 2.0, spécifiez les propriétés suivantes :
Nom du connecteur
Nom ou ID du connecteur. Pour obtenir des instructions sur la façon de nommer la ressource, consultez Consignes de dénomination des ressources Managed Service pour Apache Kafka. Le nom est immuable.
Type de connecteur
Le type de connecteur doit être l'un des suivants :
Cluster source
Cluster Kafka source à partir duquel le connecteur MirrorMaker 2.0 lit les données.
Cluster Managed Service pour Apache Kafka : sélectionnez un cluster dans le menu déroulant.
Cluster Kafka autogéré ou externe : saisissez l'adresse d'amorçage au format
hostname:port_number. Par exemple :kafka-test:9092.
Noms de sujets ou expressions régulières
Les sujets à répliquer. Spécifiez des noms individuels (topic1, topic2) ou utilisez une expression régulière (topic.*). Cette propriété est requise pour le connecteur source MirrorMaker 2.0. La valeur par défaut est .*.
Noms ou expressions régulières de groupes de consommateurs
Groupes de consommateurs à répliquer. Spécifiez des noms individuels (groupe1, groupe2) ou utilisez une expression régulière (group.*). Cette propriété est requise pour le connecteur de point de contrôle MirrorMaker 2.0. La valeur par défaut est .*.
Configuration
Cette section vous permet de spécifier des propriétés de configuration supplémentaires spécifiques au connecteur MirrorMaker 2.0.
Étant donné que les données des sujets Kafka peuvent être dans différents formats (Avro, JSON ou octets bruts), une partie essentielle de la configuration consiste à spécifier des convertisseurs. Les convertisseurs traduisent les données du format utilisé dans vos sujets Kafka vers le format interne standardisé de Kafka Connect.
Pour en savoir plus sur le rôle des convertisseurs dans Kafka Connect, les types de convertisseurs compatibles et les options de configuration courantes, consultez Convertisseurs.
Voici quelques configurations courantes pour tous les connecteurs MirrorMaker 2.0 :
source.cluster.alias: alias du cluster source.target.cluster.alias: alias du cluster cible.replication.policy.class: classe de règle pour la dénomination des sujets répliqués dans le cluster cible. La valeur par défaut estorg.apache.kafka.connect.mirror.DefaultReplicationPolicy, qui ajoute l'alias du cluster source au début des noms des sujets répliqués. Si l'alias du cluster source estprimary, un sujet nomméordersest répliqué surprimary.ordersdans le cluster cible. Pour conserver les noms de sujets d'origine sans préfixe, définissez cette propriété surorg.apache.kafka.connect.mirror.IdentityReplicationPolicy.
Configurations utilisées pour exclure des ressources spécifiques lors de la réplication des données :
topics.exclude: thèmes exclus. Accepte les noms de sujets et les expressions régulières séparés par une virgule. Les exclusions sont prioritaires sur les inclusions. Utilisé pour le connecteur source MirrorMaker 2.0. La valeur par défaut estmm2.*.internal,.*.replica,__.*.groups.exclude: exclure des groupes. Accepte les ID de groupe et les expressions régulières séparés par une virgule. Les exclusions sont prioritaires sur les inclusions. Utilisé pour le connecteur de point de contrôle MirrorMaker 2.0. La valeur par défaut estconsole-consumer-.*,connect-.*,__.*.
Les propriétés de configuration disponibles dépendent du connecteur spécifique. Vérifiez la version du connecteur MirrorMaker 2.0 compatible pour voir quels exemples de configuration sont acceptés. Consultez les documents suivants :
Propriétés de configuration MirrorMaker 2.0 communes à tous les connecteurs MirrorMaker 2.0
Propriétés de configuration spécifiques à la source MirrorMaker 2.0
Propriétés de configuration spécifiques au point de contrôle MirrorMaker 2.0
Propriétés de configuration spécifiques aux pulsations MirrorMaker 2.0
Conversion d'enregistrements Kafka
Kafka Connect utilise org.apache.kafka.connect.converters.ByteArrayConverter comme convertisseur par défaut pour la clé et la valeur, ce qui fournit une option de transfert qui n'effectue aucune conversion.
Vous pouvez configurer header.converter, key.converter et value.converter pour utiliser d'autres convertisseurs.
Nombre de tâches
La valeur tasks.max configure le nombre maximal de tâches que Kafka Connect utilise pour exécuter les connecteurs MirrorMaker. Il contrôle le niveau de parallélisme d'un connecteur.
L'augmentation du nombre de tâches peut augmenter le débit, mais elle est limitée par des facteurs tels que le nombre de partitions de sujets Kafka.
Créer un connecteur source MirrorMaker 2.0
Pour créer un connecteur source MirrorMaker 2.0, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Connecter des clusters.
Cliquez sur le cluster Connect dans lequel vous souhaitez créer le connecteur.
Cliquez sur Créer un connecteur.
Dans le champ Nom du connecteur, saisissez un nom pour le connecteur.
Dans la liste Plug-in de connecteur, sélectionnez Source MirrorMaker 2.0.
Dans la section Cluster source, spécifiez le cluster source. Sélectionnez l'une des options suivantes :
-
Cluster Managed Service pour Apache Kafka. Dans la liste Cluster Kafka, sélectionnez un cluster Managed Service pour Apache Kafka.
-
Cluster Kafka autogéré ou externe. Dans le champ Serveur d'amorçage du cluster, saisissez l'adresse d'amorçage du cluster Kafka au format
HOSTNAME:PORT_NUMBER.
-
Dans le champ Noms de sujets ou expressions régulières de sujets, saisissez une liste de sujets à répliquer, séparés par une virgule. La liste peut inclure des expressions régulières.
Facultatif : Dans le champ Configurations, ajoutez des propriétés de configuration ou modifiez les propriétés par défaut. Pour en savoir plus, consultez Configurer le connecteur.
Facultatif : sous Règle de redémarrage des tâches, sélectionnez la règle de redémarrage des tâches du connecteur. Pour en savoir plus, consultez Règle de redémarrage des tâches.
Cliquez sur Créer.
gcloud
Exécutez la commande gcloud
managed-kafka connectors create :
gcloud managed-kafka connectors create CONNECTOR_ID \
--connect-cluster=CONNECT_CLUSTER_ID \
--location=LOCATION \
--config-file=CONFIG_FILE
Remplacez les éléments suivants :
CONNECTOR_ID: ID ou nom du connecteur.CONNECT_CLUSTER_ID: ID du cluster Connect dans lequel le connecteur est créé.LOCATION: emplacement du cluster Connect.CONFIG_FILE: chemin d'accès à un fichier de configuration YAML ou JSON local.
Voici un exemple de fichier de configuration pour le connecteur source MirrorMaker 2.0 :
connector.class: "org.apache.kafka.connect.mirror.MirrorSourceConnector"
source.cluster.alias: "source"
target.cluster.alias: "target"
topics: "TOPIC_LIST"
source.cluster.bootstrap.servers: "SOURCE_CLUSTER_BOOTSTRAP_ADDRESS"
target.cluster.bootstrap.servers: "TARGET_CLUSTER_BOOTSTRAP_ADDRESS"
Remplacez les éléments suivants :
TOPIC_LIST: liste de sujets Kafka à répliquer, séparés par une virgule. La liste peut inclure des expressions régulières.SOURCE_CLUSTER_BOOTSTRAP_ADDRESS: adresse d'amorçage du cluster Kafka source.TARGET_CLUSTER_BOOTSTRAP_ADDRESS: adresse d'amorçage du cluster Kafka cible.
Si le cluster source est un cluster Kafka autogéré, vous devrez peut-être inclure des propriétés supplémentaires pour configurer l'authentification. Pour en savoir plus, consultez Configurer l'authentification.
Terraform
Vous pouvez utiliser une ressource Terraform pour créer un connecteur.
Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez Commandes Terraform de base.
Go
Avant d'essayer cet exemple, suivez les instructions de configuration pour Go dans Installer les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Go Managed Service pour Apache Kafka.
Pour vous authentifier auprès de Managed Service pour Apache Kafka, configurez les Identifiants par défaut de l'application (ADC). Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration pour Java décrites dans Installer les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Java Managed Service pour Apache Kafka.
Pour vous authentifier auprès de Managed Service pour Apache Kafka, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.
Python
Avant d'essayer cet exemple, suivez les instructions de configuration pour Python dans Installer les bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Python de Managed Service pour Apache Kafka.
Pour vous authentifier auprès de Managed Service pour Apache Kafka, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.