Ce tutoriel explique comment écrire des messages depuis votre cluster Managed Service pour Apache Kafka vers Cloud Storage à l'aide de Kafka Connect.
Kafka Connect gère le déplacement des données entre votre cluster Kafka et d'autres systèmes. Dans ce tutoriel, vous allez créer un cluster Connect et un connecteur de récepteur Cloud Storage. Le connecteur de récepteur Cloud Storage lit les messages de Kafka et les écrit dans un bucket Cloud Storage.
Vous pouvez également utiliser Dataflow pour ce scénario. Pour savoir comment choisir entre Kafka Connect et Dataflow, consultez Intégrer Managed Service pour Apache Kafka à d'autres services Google Cloud .
Avant de commencer
Console
- Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Assurez-vous de disposer du ou des rôles suivants sur le projet : Éditeur de cluster Kafka géré, Éditeur de cluster Kafka Connect géré, Éditeur de connecteur Kafka géré, Éditeur de sujet Kafka géré, Administrateur de l'espace de stockage
Vérifier les rôles
-
Dans la console Google Cloud , accédez à la page IAM.
Accéder à IAM - Sélectionnez le projet.
-
Dans la colonne Compte principal, recherchez toutes les lignes qui vous identifient ou identifient un groupe dont vous faites partie. Pour savoir à quels groupes vous appartenez, contactez votre administrateur.
- Pour toutes les lignes qui vous spécifient ou vous incluent, consultez la colonne Rôle pour vous assurer que la liste inclut les rôles requis.
Attribuer les rôles
-
Dans la console Google Cloud , accédez à la page IAM.
Accéder à IAM - Sélectionnez le projet.
- Cliquez sur Accorder l'accès.
-
Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.
- Cliquez sur Sélectionner un rôle, puis recherchez le rôle.
- Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
- Cliquez sur Enregistrer.
-
gcloud
- Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
-
Installez la Google Cloud CLI.
-
Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.
-
Pour initialiser la gcloud CLI, exécutez la commande suivante :
gcloud init -
Créez ou sélectionnez un projet Google Cloud .
Rôles requis pour sélectionner ou créer un projet
- Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
-
Créer un projet : pour créer un projet, vous devez disposer du rôle "Créateur de projet" (
roles/resourcemanager.projectCreator), qui contient l'autorisationresourcemanager.projects.create. Découvrez comment attribuer des rôles.
-
Créez un projet Google Cloud :
gcloud projects create PROJECT_ID
Remplacez
PROJECT_IDpar le nom du projet Google Cloud que vous créez. -
Sélectionnez le projet Google Cloud que vous avez créé :
gcloud config set project PROJECT_ID
Remplacez
PROJECT_IDpar le nom de votre projet Google Cloud .
-
Vérifiez que la facturation est activée pour votre projet Google Cloud .
Activez l'API Managed Kafka si ce n'est pas déjà fait :
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.gcloud services enable managedkafka.googleapis.com
-
Installez la Google Cloud CLI.
-
Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.
-
Pour initialiser la gcloud CLI, exécutez la commande suivante :
gcloud init -
Créez ou sélectionnez un projet Google Cloud .
Rôles requis pour sélectionner ou créer un projet
- Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
-
Créer un projet : pour créer un projet, vous devez disposer du rôle "Créateur de projet" (
roles/resourcemanager.projectCreator), qui contient l'autorisationresourcemanager.projects.create. Découvrez comment attribuer des rôles.
-
Créez un projet Google Cloud :
gcloud projects create PROJECT_ID
Remplacez
PROJECT_IDpar le nom du projet Google Cloud que vous créez. -
Sélectionnez le projet Google Cloud que vous avez créé :
gcloud config set project PROJECT_ID
Remplacez
PROJECT_IDpar le nom de votre projet Google Cloud .
-
Vérifiez que la facturation est activée pour votre projet Google Cloud .
Activez l'API Managed Kafka si ce n'est pas déjà fait :
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.gcloud services enable managedkafka.googleapis.com
-
Attribuez des rôles à votre compte utilisateur. Exécutez la commande suivante une fois pour chacun des rôles IAM suivants :
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Remplacez les éléments suivants :
PROJECT_ID: ID du projet.USER_IDENTIFIER: identifiant de votre compte utilisateur . Par exemple,myemail@example.com.ROLE: rôle IAM que vous accordez à votre compte utilisateur.
Créer un bucket Cloud Storage
Au cours de cette étape, vous allez créer un bucket Cloud Storage. Ce bucket stocke les données que le connecteur de récepteur Cloud Storage lit à partir de Kafka.
Console
Accédez à la page Cloud Storage > Buckets.
Cliquez sur Créer.
Sur la page Créer un bucket, saisissez un nom qui respecte les règles de dénomination des buckets. Les noms des buckets Cloud Storage doivent être uniques.
Cliquez sur Créer.
gcloud
Pour créer un bucket Cloud Storage, exécutez la commande gcloud storage buckets create.
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION
Remplacez les éléments suivants :
BUCKET_NAME : nom du bucket Cloud Storage répondant aux exigences de dénomination des buckets. Les noms des buckets Cloud Storage doivent être uniques.
BUCKET_LOCATION : emplacement du bucket. Exemple :
US.
Créer des ressources Managed Service pour Apache Kafka
Dans cette section, vous allez créer les ressources Managed Service pour Apache Kafka suivantes :
- Un cluster Kafka avec un sujet.
- Un cluster Connect avec un connecteur de récepteur Cloud Storage.
Créer un cluster Kafka
Au cours de cette étape, vous allez créer un cluster Managed Service pour Apache Kafka. La création d'un cluster peut prendre jusqu'à 30 minutes.
Console
- Accédez à la page Managed Service pour Apache Kafka > Clusters.
- Cliquez sur Créer.
- Dans le champ Nom du cluster, saisissez un nom pour le cluster.
- Dans la liste Région, sélectionnez un emplacement pour le cluster.
-
Pour Configuration réseau, configurez le sous-réseau où le cluster est accessible :
- Pour Project (Projet), sélectionnez votre projet.
- Pour Réseau, sélectionnez le réseau VPC.
- Pour Sous-réseau, sélectionnez le sous-réseau.
- Cliquez sur OK.
- Cliquez sur Créer.
Après avoir cliqué sur Créer, l'état du cluster est Creating. Lorsque le cluster est prêt, l'état est Active.
gcloud
Pour créer un cluster Kafka, exécutez la commande managed-kafka clusters
create.
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
Remplacez les éléments suivants :
KAFKA_CLUSTER: nom du cluster KafkaREGION: emplacement du clusterPROJECT_ID: ID du projet.SUBNET_NAME: sous-réseau dans lequel vous souhaitez créer le cluster, par exempledefault
Pour en savoir plus sur les emplacements acceptés, consultez Emplacements Managed Service pour Apache Kafka.
La commande s'exécute de manière asynchrone et renvoie un ID d'opération :
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
Pour suivre la progression de l'opération de création, utilisez la commande gcloud managed-kafka
operations describe :
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
Lorsque le cluster est prêt, le résultat de cette commande inclut l'entrée state:
ACTIVE. Pour en savoir plus, consultez Surveiller l'opération de création de cluster.
Créer un sujet Kafka
Une fois le cluster Managed Service pour Apache Kafka créé, créez un sujet Kafka.
Console
Accédez à la page Managed Service pour Apache Kafka > Clusters.
Cliquez sur le nom du cluster.
Sur la page d'informations du cluster, cliquez sur Créer un sujet.
Dans le champ Nom du sujet, saisissez un nom pour le sujet.
Cliquez sur Créer.
gcloud
Pour créer un sujet Kafka, exécutez la commande managed-kafka topics create.
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
Remplacez les éléments suivants :
KAFKA_TOPIC_NAME: nom du sujet Kafka à créerKAFKA_CLUSTER: nom du cluster KafkaREGION: région dans laquelle vous avez créé le cluster Kafka.
Créer un cluster Connect
Lors de cette étape, vous allez créer un cluster Connect. La création d'un cluster Connect peut prendre jusqu'à 30 minutes.
Avant de commencer cette étape, assurez-vous que le cluster Managed Service pour Apache Kafka est entièrement créé.
Console
Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.
Cliquez sur Créer.
Dans le champ Nom du cluster Connect, saisissez une chaîne. Exemple :
my-connect-clusterPour Cluster Kafka principal, sélectionnez le cluster Kafka que vous avez créé précédemment.
Cliquez sur Créer.
Pendant la création du cluster, son état est Creating. Une fois la création du cluster terminée, l'état est Active.
gcloud
Pour créer un cluster Connect, exécutez la commande gcloud managed-kafka connect-clusters create.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
Remplacez les éléments suivants :
CONNECT_CLUSTER: nom du cluster ConnectREGION: région dans laquelle vous avez créé le cluster Kafka.PROJECT_ID: ID du projet.SUBNET_NAME: sous-réseau dans lequel vous avez créé le cluster KafkaKAFKA_CLUSTER: nom de votre cluster Kafka
La commande s'exécute de manière asynchrone et renvoie un ID d'opération :
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
Pour suivre la progression de l'opération de création, utilisez la commande gcloud managed-kafka operations describe :
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
Pour en savoir plus, consultez Surveiller l'opération de création de cluster.
Attribuer des rôles IAM
Attribuez le rôle IAM (Identity and Access Management) Créateur d'objets Storage au compte de service Managed Kafka. Ce rôle permet au connecteur d'écrire des fichiers dans Cloud Storage.
Console
Dans la console Google Cloud , accédez à la page IAM.
Sélectionnez Inclure les attributions de rôles fournies par Google.
Recherchez la ligne Compte de service Kafka géré, puis cliquez sur Modifier le compte principal.
Cliquez sur Ajouter un autre rôle, puis sélectionnez le rôle Créateur des objets Storage.
Cliquez sur Enregistrer.
Pour en savoir plus sur l'attribution de rôles, consultez la page Attribuer un rôle IAM à l'aide de la console.
gcloud
Pour attribuer un rôle IAM au compte de service, exécutez la commande gcloud projects add-iam-policy-binding.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/storage.objectCreator
Remplacez les éléments suivants :
PROJECT_ID: ID du projet.PROJECT_NUMBER: votre numéro de projet
Pour trouver votre numéro de projet, utilisez la commande gcloud projects describe.
Créer un connecteur de récepteur Cloud Storage
Au cours de cette étape, vous allez créer un connecteur de récepteur Cloud Storage. Ce connecteur lit les messages d'un ou de plusieurs sujets Kafka et les écrit dans Cloud Storage.
Console
Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.
Cliquez sur le nom du cluster Connect.
Cliquez sur Créer un connecteur.
Dans le champ Nom du connecteur, saisissez une chaîne. Exemple :
pubsub-source.Dans la liste Plug-in de connecteur, sélectionnez
Cloud Storage Source.Pour Sujets, sélectionnez le sujet Kafka que vous avez créé précédemment, puis cliquez sur OK.
Dans le champ Bucket GCS, cliquez sur Parcourir.
Sélectionnez le bucket Cloud Storage que vous avez créé précédemment, puis cliquez sur Sélectionner.
Cliquez sur Créer.
gcloud
Pour créer un connecteur de récepteur Cloud Storage, exécutez la commande gcloud managed-kafka connectors create.
gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
--location=REGION \
--connect-cluster=CONNECT_CLUSTER \
--configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false
Remplacez les éléments suivants :
STORAGE_CONNECTOR_NAME: nom du connecteur, par exemplestorage-sink-connectorCONNECT_CLUSTER: nom de votre cluster ConnectREGION: région dans laquelle vous avez créé le cluster ConnectPROJECT_ID: ID du projet.BUCKET_NAME: nom du bucket Cloud Storage.KAFKA_TOPIC_NAME: nom de votre sujet Kafka.
Afficher les résultats
Pour afficher les résultats, envoyez des messages au sujet Kafka. Il existe plusieurs façons d'envoyer des messages à Managed Service pour Apache Kafka, y compris :
- Utilisez les outils de ligne de commande Kafka.
- Utiliser un producteur Java
- Utiliser un producteur Python
- Diffuser des messages depuis Pub/Sub à l'aide de Kafka Connect
Le connecteur de récepteur Cloud Storage lit les messages Kafka et les écrit dans des fichiers dans Cloud Storage. L'écriture du premier fichier peut prendre quelques minutes.
Pour afficher les fichiers de sortie, procédez comme suit :
Console
- Accédez à la page Cloud Storage > Buckets.
Dans la liste des buckets, cliquez sur le nom du bucket que vous avez créé précédemment.
Si le connecteur de récepteur Cloud Storage a bien écrit les fichiers, ils sont listés sur la page Informations sur le bucket. Sélectionnez un ou plusieurs fichiers.
Cliquez sur Télécharger pour télécharger les fichiers sélectionnés.
gcloud
Pour lister les fichiers de sortie, exécutez la commande gcloud storage ls :
gcloud storage ls gs://BUCKET_NAME
Pour télécharger les fichiers, exécutez la commande gcloud storage cp.
gcloud storage cp --recursive gs://BUCKET_NAME .
Remplacez BUCKET_NAME par le nom de votre bucket Cloud Storage.
Effectuer un nettoyage
Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.
Console
Supprimez le bucket Cloud Storage.
Accédez à la page Cloud Storage > Buckets.
Sélectionnez le bucket, puis cliquez sur Supprimer.
Supprimez le cluster Connect.
Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.
Sélectionnez le cluster Connect, puis cliquez sur Supprimer.
Supprimez le cluster Kafka.
Accédez à la page Managed Service pour Apache Kafka > Clusters.
Sélectionnez le cluster Kafka, puis cliquez sur Supprimer.
gcloud
Pour supprimer le bucket Cloud Storage et ses objets, utilisez la commande
gcloud storage rm.gcloud storage rm gs://BUCKET_NAME --recursivePour supprimer le cluster Connect, utilisez la commande
gcloud managed-kafka connect-clusters delete.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncPour supprimer le cluster Kafka, utilisez la commande
gcloud managed-kafka clusters delete.gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async
Étapes suivantes
- Résoudre les problèmes liés à un connecteur de récepteur Cloud Storage
- En savoir plus sur le connecteur de récepteur Cloud Storage
- En savoir plus sur Kafka Connect.