Créer et afficher un cluster Managed Service pour Apache Kafka

Créer et afficher un cluster Managed Service pour Apache Kafka

Découvrez comment créer un cluster Managed Service pour Apache Kafka avec un sujet et afficher des informations sur le cluster. Vous pouvez utiliser la console Google Cloud ou Google Cloud CLI pour suivre ce tutoriel.

Avant de commencer

Console

Connectez-vous à votre compte Google.

Si vous n'en possédez pas déjà un, vous devez en créer un.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

Connectez-vous à votre compte Google.

Si vous n'en possédez pas déjà un, vous devez en créer un.

Installez la Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Créez ou sélectionnez un projet Google Cloud .

Rôles requis pour sélectionner ou créer un projet

• Sélectionnez un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
• Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

• Créez un projet Google Cloud  :

  gcloud projects create PROJECT_ID

  Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

• Sélectionnez le projet Google Cloud que vous avez créé :

  gcloud config set project PROJECT_ID

  Remplacez PROJECT_ID par le nom de votre projet Google Cloud .

Si vous utilisez un projet existant pour ce guide, vérifiez que vous disposez des autorisations nécessaires pour suivre les instructions. Si vous avez créé un projet, vous disposez déjà des autorisations requises.

Vérifiez que la facturation est activée pour votre projet Google Cloud .

Activez l'API Managed Kafka :

Rôles requis pour activer les API

Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

gcloud services enable managedkafka.googleapis.com

Installez la Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Créez ou sélectionnez un projet Google Cloud .

Rôles requis pour sélectionner ou créer un projet

• Sélectionnez un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
• Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

• Créez un projet Google Cloud  :

  gcloud projects create PROJECT_ID

  Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.

• Sélectionnez le projet Google Cloud que vous avez créé :

  gcloud config set project PROJECT_ID

  Remplacez PROJECT_ID par le nom de votre projet Google Cloud .

Si vous utilisez un projet existant pour ce guide, vérifiez que vous disposez des autorisations nécessaires pour suivre les instructions. Si vous avez créé un projet, vous disposez déjà des autorisations requises.

Vérifiez que la facturation est activée pour votre projet Google Cloud .

Activez l'API Managed Kafka :

Rôles requis pour activer les API

Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

gcloud services enable managedkafka.googleapis.com

Rôles requis

Pour obtenir les autorisations nécessaires pour créer le cluster, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

• Éditeur de cluster Managed Kafka (roles/managedkafka.clusterEditor)
• Éditeur de sujet Managed Kafka (roles/managedkafka.topicEditor)
• Utilisateur de réseau Compute (roles/compute.networkUser)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un cluster

Console

1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

   accéder aux clusters

2. Cliquez sur Créer.
3. Dans le champ Nom du cluster, saisissez un nom pour le cluster.
4. Dans la liste Région, sélectionnez un emplacement pour le cluster.
5. Pour Configuration réseau, configurez le sous-réseau où le cluster est accessible :
   1. Pour Project (Projet), sélectionnez votre projet.
   2. Pour Réseau, sélectionnez le réseau VPC.
   3. Pour Sous-réseau, sélectionnez le sous-réseau.
   4. Cliquez sur OK.
6. Cliquez sur Créer.

Une fois que vous avez cliqué sur Créer, l'état du cluster est Creating. Lorsque le cluster est prêt, l'état est Active.

gcloud

Pour créer un cluster Kafka, exécutez la commande managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Remplacez les éléments suivants :

• KAFKA_CLUSTER : nom du cluster Kafka
• REGION : emplacement du cluster
• PROJECT_ID : ID de votre projet
• SUBNET_NAME : sous-réseau dans lequel vous souhaitez créer le cluster, par exemple default

Pour en savoir plus sur les emplacements compatibles, consultez Emplacements Managed Service pour Apache Kafka.

La commande s'exécute de manière asynchrone et renvoie un ID d'opération :

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Pour suivre la progression de l'opération de création, utilisez la commande gcloud managed-kafka operations describe :

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Lorsque le cluster est prêt, le résultat de cette commande inclut l'entrée state: ACTIVE. Pour en savoir plus, consultez Surveiller l'opération de création de cluster.

Une fois ces étapes effectuées, la préparation du cluster peut prendre jusqu'à 30 minutes.

Si vous le souhaitez, pendant que vous attendez la fin de cette opération, consultez les tutoriels listés dans Étapes suivantes. Ils montrent comment produire des messages pour le cluster à l'aide de différentes méthodes. Une fois le cluster prêt, vous pouvez suivre l'un de ces tutoriels.

Créer un sujet

Lorsque le cluster Managed Service pour Apache Kafka est prêt, créez un sujet.

Console

1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

   accéder aux clusters

2. Cliquez sur le nom du cluster.

3. Sur la page "Détails du cluster", cliquez sur Créer un sujet.

4. Dans le champ Nom du thème, saisissez un nom pour le thème.

5. Cliquez sur Créer.

gcloud

Pour créer un sujet Kafka, exécutez la commande managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Remplacez les éléments suivants :

• KAFKA_TOPIC_NAME : nom du sujet Kafka à créer
• KAFKA_CLUSTER : nom du cluster Kafka
• REGION : région dans laquelle vous avez créé le cluster Kafka

Afficher le cluster

Une fois le cluster prêt, vous pouvez afficher des informations à son sujet, y compris les thèmes, les groupes de consommateurs, les réseaux et d'autres détails.

Console

1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

   accéder aux clusters

2. Cliquez sur le nom du cluster. La page Détails du cluster affiche des informations sur le cluster. L'onglet Ressources affiche les ressources associées au cluster, y compris les thèmes.

3. Pour afficher les détails d'un thème, sélectionnez l'onglet Ressources, puis cliquez sur le nom du thème. La page Détails du sujet affiche des informations sur le sujet, comme le nombre de partitions et de répliques.

4. Pour revenir à la page Détails du cluster, cliquez sur Retour à la page parente.

gcloud

1. Pour afficher des informations sur le cluster, exécutez la commande gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   Remplacez les éléments suivants :

   • KAFKA_CLUSTER : nom du cluster
   • REGION : région dans laquelle vous avez créé le cluster.

   Le résultat de cette commande est une liste de propriétés du cluster, semblable à ce qui suit :

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. Pour obtenir la liste des sujets du cluster, exécutez la commande gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   La sortie inclut les sujets que vous avez créés, ainsi que ceux que Managed Service pour Apache Kafka crée pour un usage interne.

3. Pour afficher des informations sur un sujet, exécutez la commande gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   Remplacez TOPIC_NAME par le nom du thème.

   Le résultat de cette commande est une liste de propriétés de thème, semblable à ce qui suit :

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

Obtenir l'adresse d'amorçage

Les clients Kafka utilisent l'adresse d'amorçage du cluster pour établir une connexion avec celui-ci. Pour obtenir l'adresse d'amorçage, procédez comme suit :

Console

1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

   accéder aux clusters

2. Cliquez sur le nom du cluster.

3. Sélectionnez l'onglet Configurations.

4. L'URL d'amorçage est indiquée sous URL d'amorçage. Cliquez sur Copier  pour copier la valeur.

gcloud

Pour obtenir l'URL d'amorçage, exécutez la commande managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Remplacez les éléments suivants :

• KAFKA_CLUSTER : nom du cluster
• REGION : région dans laquelle vous avez créé le cluster.

Vous êtes maintenant prêt à envoyer des messages au cluster. Pour en savoir plus, consultez la section Étapes suivantes de ce document.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , supprimez le projet Google Cloud qui les contient.

Console

Supprimez le cluster.

1. Accédez à la page Managed Service pour Apache Kafka > Clusters.

   accéder aux clusters

2. Sélectionnez le cluster Kafka, puis cliquez sur Supprimer.

gcloud

1. Pour supprimer le cluster, utilisez la commande gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

Étapes suivantes

Produisez des messages pour Kafka, soit en utilisant les outils de ligne de commande Kafka, soit en créant une application cliente :

• Utiliser les outils de ligne de commande Kafka

• Développer une application de production Java

• Développer une application de production Python