Sauvegarder des messages Kafka dans Cloud Storage

Ce tutoriel explique comment écrire des messages depuis votre cluster Managed Service pour Apache Kafka vers Cloud Storage à l'aide de Kafka Connect.

Kafka Connect gère le déplacement des données entre votre cluster Kafka et d'autres systèmes. Dans ce tutoriel, vous allez créer un cluster Connect et un connecteur de récepteur Cloud Storage. Le connecteur de récepteur Cloud Storage lit les messages de Kafka et les écrit dans un bucket Cloud Storage.

Vous pouvez également utiliser Dataflow pour ce scénario. Pour savoir comment choisir entre Kafka Connect et Dataflow, consultez Intégrer Managed Service pour Apache Kafka à d'autres services Google Cloud .

Avant de commencer

Console

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Assurez-vous de disposer du ou des rôles suivants sur le projet : Éditeur de cluster Kafka géré, Éditeur de cluster Kafka Connect géré, Éditeur de connecteur Kafka géré, Éditeur de sujet Kafka géré, Administrateur de l'espace de stockage

    Vérifier les rôles

    1. Dans la console Google Cloud , accédez à la page IAM.

      Accéder à IAM
    2. Sélectionnez le projet.
    3. Dans la colonne Compte principal, recherchez toutes les lignes qui vous identifient ou identifient un groupe dont vous faites partie. Pour savoir à quels groupes vous appartenez, contactez votre administrateur.

    4. Pour toutes les lignes qui vous spécifient ou vous incluent, consultez la colonne Rôle pour vous assurer que la liste inclut les rôles requis.

    Attribuer les rôles

    1. Dans la console Google Cloud , accédez à la page IAM.

      Accéder à IAM
    2. Sélectionnez le projet.
    3. Cliquez sur  Accorder l'accès.
    4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

    5. Cliquez sur Sélectionner un rôle, puis recherchez le rôle.
    6. Pour attribuer des rôles supplémentaires, cliquez sur  Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
    7. Cliquez sur Enregistrer.

gcloud

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
  2. Installez la Google Cloud CLI.

  3. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  4. Pour initialiser la gcloud CLI, exécutez la commande suivante :

    gcloud init
  5. Créez ou sélectionnez un projet Google Cloud .

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous devez disposer du rôle "Créateur de projet" (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.
    • Créez un projet Google Cloud  :

      gcloud projects create PROJECT_ID

      Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

    • Sélectionnez le projet Google Cloud que vous avez créé :

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le nom de votre projet Google Cloud .

  6. Vérifiez que la facturation est activée pour votre projet Google Cloud .

  7. Activez l'API Managed Kafka si ce n'est pas déjà fait :

    Rôles requis pour activer les API

    Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    gcloud services enable managedkafka.googleapis.com
  8. Installez la Google Cloud CLI.

  9. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  10. Pour initialiser la gcloud CLI, exécutez la commande suivante :

    gcloud init
  11. Créez ou sélectionnez un projet Google Cloud .

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous devez disposer du rôle "Créateur de projet" (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.
    • Créez un projet Google Cloud  :

      gcloud projects create PROJECT_ID

      Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

    • Sélectionnez le projet Google Cloud que vous avez créé :

      gcloud config set project PROJECT_ID

      Remplacez PROJECT_ID par le nom de votre projet Google Cloud .

  12. Vérifiez que la facturation est activée pour votre projet Google Cloud .

  13. Activez l'API Managed Kafka si ce n'est pas déjà fait :

    Rôles requis pour activer les API

    Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    gcloud services enable managedkafka.googleapis.com
  14. Attribuez des rôles à votre compte utilisateur. Exécutez la commande suivante une fois pour chacun des rôles IAM suivants : roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admin

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet.
    • USER_IDENTIFIER : identifiant de votre compte utilisateur . Par exemple, myemail@example.com.
    • ROLE : rôle IAM que vous accordez à votre compte utilisateur.

Créer un bucket Cloud Storage

Au cours de cette étape, vous allez créer un bucket Cloud Storage. Ce bucket stocke les données que le connecteur de récepteur Cloud Storage lit à partir de Kafka.

Console

  1. Accédez à la page Cloud Storage > Buckets.

    Accéder à la page "Buckets"

  2. Cliquez sur Créer.

  3. Sur la page Créer un bucket, saisissez un nom qui respecte les règles de dénomination des buckets. Les noms des buckets Cloud Storage doivent être uniques.

  4. Cliquez sur Créer.

gcloud

Pour créer un bucket Cloud Storage, exécutez la commande gcloud storage buckets create.

gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION

Remplacez les éléments suivants :

Créer des ressources Managed Service pour Apache Kafka

Dans cette section, vous allez créer les ressources Managed Service pour Apache Kafka suivantes :

  • Un cluster Kafka avec un sujet.
  • Un cluster Connect avec un connecteur de récepteur Cloud Storage.

Créer un cluster Kafka

Au cours de cette étape, vous allez créer un cluster Managed Service pour Apache Kafka. La création d'un cluster peut prendre jusqu'à 30 minutes.

Console

  1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

    accéder aux clusters

  2. Cliquez sur Créer.
  3. Dans le champ Nom du cluster, saisissez un nom pour le cluster.
  4. Dans la liste Région, sélectionnez un emplacement pour le cluster.
  5. Pour Configuration réseau, configurez le sous-réseau où le cluster est accessible :
    1. Pour Project (Projet), sélectionnez votre projet.
    2. Pour Réseau, sélectionnez le réseau VPC.
    3. Pour Sous-réseau, sélectionnez le sous-réseau.
    4. Cliquez sur OK.
  6. Cliquez sur Créer.

Après avoir cliqué sur Créer, l'état du cluster est Creating. Lorsque le cluster est prêt, l'état est Active.

gcloud

Pour créer un cluster Kafka, exécutez la commande managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Remplacez les éléments suivants :

  • KAFKA_CLUSTER : nom du cluster Kafka
  • REGION : emplacement du cluster
  • PROJECT_ID : ID du projet.
  • SUBNET_NAME : sous-réseau dans lequel vous souhaitez créer le cluster, par exemple default

Pour en savoir plus sur les emplacements acceptés, consultez Emplacements Managed Service pour Apache Kafka.

La commande s'exécute de manière asynchrone et renvoie un ID d'opération :

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Pour suivre la progression de l'opération de création, utilisez la commande gcloud managed-kafka operations describe :

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Lorsque le cluster est prêt, le résultat de cette commande inclut l'entrée state: ACTIVE. Pour en savoir plus, consultez Surveiller l'opération de création de cluster.

Créer un sujet Kafka

Une fois le cluster Managed Service pour Apache Kafka créé, créez un sujet Kafka.

Console

  1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

    accéder aux clusters

  2. Cliquez sur le nom du cluster.

  3. Sur la page d'informations du cluster, cliquez sur Créer un sujet.

  4. Dans le champ Nom du sujet, saisissez un nom pour le sujet.

  5. Cliquez sur Créer.

gcloud

Pour créer un sujet Kafka, exécutez la commande managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Remplacez les éléments suivants :

  • KAFKA_TOPIC_NAME : nom du sujet Kafka à créer
  • KAFKA_CLUSTER : nom du cluster Kafka
  • REGION : région dans laquelle vous avez créé le cluster Kafka.

Créer un cluster Connect

Lors de cette étape, vous allez créer un cluster Connect. La création d'un cluster Connect peut prendre jusqu'à 30 minutes.

Avant de commencer cette étape, assurez-vous que le cluster Managed Service pour Apache Kafka est entièrement créé.

Console

  1. Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.

    Accéder à la page "Connecter des clusters"

  2. Cliquez sur Créer.

  3. Dans le champ Nom du cluster Connect, saisissez une chaîne. Exemple : my-connect-cluster

  4. Pour Cluster Kafka principal, sélectionnez le cluster Kafka que vous avez créé précédemment.

  5. Cliquez sur Créer.

Pendant la création du cluster, son état est Creating. Une fois la création du cluster terminée, l'état est Active.

gcloud

Pour créer un cluster Connect, exécutez la commande gcloud managed-kafka connect-clusters create.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
  --kafka-cluster=KAFKA_CLUSTER \
  --async

Remplacez les éléments suivants :

  • CONNECT_CLUSTER : nom du cluster Connect
  • REGION : région dans laquelle vous avez créé le cluster Kafka.
  • PROJECT_ID : ID du projet.
  • SUBNET_NAME : sous-réseau dans lequel vous avez créé le cluster Kafka
  • KAFKA_CLUSTER : nom de votre cluster Kafka

La commande s'exécute de manière asynchrone et renvoie un ID d'opération :

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Pour suivre la progression de l'opération de création, utilisez la commande gcloud managed-kafka operations describe :

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Pour en savoir plus, consultez Surveiller l'opération de création de cluster.

Attribuer des rôles IAM

Attribuez le rôle IAM (Identity and Access Management) Créateur d'objets Storage au compte de service Managed Kafka. Ce rôle permet au connecteur d'écrire des fichiers dans Cloud Storage.

Console

  1. Dans la console Google Cloud , accédez à la page IAM.

    Accéder à IAM

  2. Sélectionnez Inclure les attributions de rôles fournies par Google.

  3. Recherchez la ligne Compte de service Kafka géré, puis cliquez sur  Modifier le compte principal.

  4. Cliquez sur Ajouter un autre rôle, puis sélectionnez le rôle Créateur des objets Storage.

  5. Cliquez sur Enregistrer.

Pour en savoir plus sur l'attribution de rôles, consultez la page Attribuer un rôle IAM à l'aide de la console.

gcloud

Pour attribuer un rôle IAM au compte de service, exécutez la commande gcloud projects add-iam-policy-binding.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
    --role=roles/storage.objectCreator

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet.
  • PROJECT_NUMBER : votre numéro de projet

Pour trouver votre numéro de projet, utilisez la commande gcloud projects describe.

Créer un connecteur de récepteur Cloud Storage

Au cours de cette étape, vous allez créer un connecteur de récepteur Cloud Storage. Ce connecteur lit les messages d'un ou de plusieurs sujets Kafka et les écrit dans Cloud Storage.

Console

  1. Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.

    Accéder à la page "Connecter des clusters"

  2. Cliquez sur le nom du cluster Connect.

  3. Cliquez sur Créer un connecteur.

  4. Dans le champ Nom du connecteur, saisissez une chaîne. Exemple : pubsub-source.

  5. Dans la liste Plug-in de connecteur, sélectionnez Cloud Storage Source.

  6. Pour Sujets, sélectionnez le sujet Kafka que vous avez créé précédemment, puis cliquez sur OK.

  7. Dans le champ Bucket GCS, cliquez sur Parcourir.

  8. Sélectionnez le bucket Cloud Storage que vous avez créé précédemment, puis cliquez sur Sélectionner.

  9. Cliquez sur Créer.

gcloud

Pour créer un connecteur de récepteur Cloud Storage, exécutez la commande gcloud managed-kafka connectors create.

gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
  --location=REGION \
  --connect-cluster=CONNECT_CLUSTER \
  --configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false

Remplacez les éléments suivants :

  • STORAGE_CONNECTOR_NAME : nom du connecteur, par exemple storage-sink-connector
  • CONNECT_CLUSTER : nom de votre cluster Connect
  • REGION : région dans laquelle vous avez créé le cluster Connect
  • PROJECT_ID : ID du projet.
  • BUCKET_NAME : nom du bucket Cloud Storage.
  • KAFKA_TOPIC_NAME : nom de votre sujet Kafka.

Afficher les résultats

Pour afficher les résultats, envoyez des messages au sujet Kafka. Il existe plusieurs façons d'envoyer des messages à Managed Service pour Apache Kafka, y compris :

Le connecteur de récepteur Cloud Storage lit les messages Kafka et les écrit dans des fichiers dans Cloud Storage. L'écriture du premier fichier peut prendre quelques minutes.

Pour afficher les fichiers de sortie, procédez comme suit :

Console

  1. Accédez à la page Cloud Storage > Buckets.

Accéder à la page "Buckets"

  1. Dans la liste des buckets, cliquez sur le nom du bucket que vous avez créé précédemment.

  2. Si le connecteur de récepteur Cloud Storage a bien écrit les fichiers, ils sont listés sur la page Informations sur le bucket. Sélectionnez un ou plusieurs fichiers.

  3. Cliquez sur Télécharger pour télécharger les fichiers sélectionnés.

gcloud

Pour lister les fichiers de sortie, exécutez la commande gcloud storage ls :

gcloud storage ls gs://BUCKET_NAME

Pour télécharger les fichiers, exécutez la commande gcloud storage cp.

gcloud storage cp --recursive gs://BUCKET_NAME .

Remplacez BUCKET_NAME par le nom de votre bucket Cloud Storage.

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Console

  1. Supprimez le bucket Cloud Storage.

    1. Accédez à la page Cloud Storage > Buckets.

      Accéder à la page "Buckets"

    2. Sélectionnez le bucket, puis cliquez sur Supprimer.

  2. Supprimez le cluster Connect.

    1. Accédez à la page Managed Service pour Apache Kafka > Clusters Connect.

      Accéder à la page "Connecter des clusters"

    2. Sélectionnez le cluster Connect, puis cliquez sur Supprimer.

  3. Supprimez le cluster Kafka.

    1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

      accéder aux clusters

    2. Sélectionnez le cluster Kafka, puis cliquez sur Supprimer.

gcloud

  1. Pour supprimer le bucket Cloud Storage et ses objets, utilisez la commande gcloud storage rm.

    gcloud storage rm gs://BUCKET_NAME --recursive
    
  2. Pour supprimer le cluster Connect, utilisez la commande gcloud managed-kafka connect-clusters delete.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
      --location=REGION --async
    
  3. Pour supprimer le cluster Kafka, utilisez la commande gcloud managed-kafka clusters delete.

    gcloud managed-kafka clusters delete KAFKA_CLUSTER \
      --location=REGION --async
    

Étapes suivantes