Crea y visualiza un clúster de Managed Service para Apache Kafka

Crea y visualiza un clúster de Managed Service para Apache Kafka

Aprende a crear un clúster de Managed Service para Apache Kafka con un tema y a ver los detalles del clúster. Puedes usar la consola de Google Cloud o Google Cloud CLI para completar este instructivo.

Antes de comenzar

Console

Accede a tu Cuenta de Google.

Si todavía no tienes una cuenta, regístrate para obtener una nueva.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

Accede a tu Cuenta de Google.

Si todavía no tienes una cuenta, regístrate para obtener una nueva.

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Crea o selecciona un Google Cloud proyecto.

Roles necesarios para seleccionar o crear un proyecto

• Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
• Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

• Crea un Google Cloud proyecto:

  gcloud projects create PROJECT_ID

  Reemplaza PROJECT_ID por un nombre para el proyecto Google Cloud que estás creando.

• Selecciona el proyecto Google Cloud que creaste:

  gcloud config set project PROJECT_ID

  Reemplaza PROJECT_ID por el nombre de tu Google Cloud proyecto.

Si usas un proyecto existente en esta guía, verifica que tengas los permisos necesarios para completarla. Si creaste un proyecto nuevo, ya tienes los permisos necesarios.

Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

Habilita la API de Managed Kafka:

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

gcloud services enable managedkafka.googleapis.com

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Crea o selecciona un Google Cloud proyecto.

Roles necesarios para seleccionar o crear un proyecto

• Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
• Crear un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.

Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

• Crea un Google Cloud proyecto:

  gcloud projects create PROJECT_ID

  Reemplaza PROJECT_ID por un nombre para el proyecto Google Cloud que estás creando.

• Selecciona el proyecto Google Cloud que creaste:

  gcloud config set project PROJECT_ID

  Reemplaza PROJECT_ID por el nombre de tu Google Cloud proyecto.

Si usas un proyecto existente en esta guía, verifica que tengas los permisos necesarios para completarla. Si creaste un proyecto nuevo, ya tienes los permisos necesarios.

Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

Habilita la API de Managed Kafka:

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

gcloud services enable managedkafka.googleapis.com

Roles obligatorios

Para obtener los permisos que necesitas para crear el clúster, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Editor de clústeres de Kafka administrado (roles/managedkafka.clusterEditor)
• Editor del tema de Kafka administrado (roles/managedkafka.topicEditor)
• Usuario de red de Compute (roles/compute.networkUser)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Crea un clúster

Console

1. Ve a la página Clústeres de Managed Service para Apache Kafka >.

   Ir a los clústeres

2. Haz clic en Crear.
3. En el cuadro Nombre del clúster, ingresa un nombre para el clúster.
4. En la lista Región, selecciona una ubicación para el clúster.
5. En Configuración de red, configura la subred en la que se puede acceder al clúster:
   1. En Proyecto, seleccione su proyecto.
   2. En Red, selecciona la red de VPC.
   3. En Subred, selecciona la subred.
   4. Haz clic en Listo.
6. Haz clic en Crear.

Después de hacer clic en Crear, el estado del clúster es Creating. Cuando el clúster esté listo, el estado será Active.

gcloud

Para crear un clúster de Kafka, ejecuta el comando managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Reemplaza lo siguiente:

• KAFKA_CLUSTER: Es un nombre para el clúster de Kafka.
• REGION: Es la ubicación del clúster.
• PROJECT_ID: Es el ID del proyecto.
• SUBNET_NAME: Es la subred en la que deseas crear el clúster, por ejemplo, default.

Para obtener información sobre las ubicaciones admitidas, consulta las ubicaciones de Managed Service para Apache Kafka.

El comando se ejecuta de forma asíncrona y muestra un ID de operación:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Para hacer un seguimiento del progreso de la operación de creación, usa el comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Cuando el clúster esté listo, el resultado de este comando incluirá la entrada state: ACTIVE. Para obtener más información, consulta Cómo supervisar la operación de creación del clúster.

Después de seguir estos pasos, el clúster puede tardar hasta 30 minutos en estar listo.

De manera opcional, mientras esperas a que se complete esta operación, consulta los instructivos que se indican en Próximos pasos. En ellos, se muestra cómo producir mensajes para el clúster con varios métodos. Una vez que el clúster esté listo, puedes completar cualquiera de esos instructivos.

Crea un tema

Cuando el clúster de Managed Service para Apache Kafka esté listo, crea un tema.

Console

1. Ve a la página Managed Service para Apache Kafka > Clústeres.

   Ir a los clústeres

2. Haz clic en el nombre del clúster.

3. En la página de detalles del clúster, haz clic en Crear tema.

4. En el cuadro Nombre del tema, ingresa un nombre para el tema.

5. Haz clic en Crear.

gcloud

Para crear un tema de Kafka, ejecuta el comando managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Reemplaza lo siguiente:

• KAFKA_TOPIC_NAME: Es el nombre del tema de Kafka que se creará.
• KAFKA_CLUSTER: El nombre del clúster de Kafka
• REGION: Es la región en la que creaste el clúster de Kafka.

Cómo ver el clúster

Una vez que el clúster esté listo, podrás ver información sobre él, incluidos los temas, los grupos de consumidores, las redes y otros detalles.

Console

1. Ve a la página Managed Service para Apache Kafka > Clústeres.

   Ir a los clústeres

2. Haz clic en el nombre del clúster. En la página Detalles del clúster, se muestra información sobre el clúster. En la pestaña Recursos, se muestran los recursos asociados con el clúster, incluidos los temas.

3. Para ver los detalles de un tema, selecciona la pestaña Recursos y haz clic en el nombre del tema. En la página Detalles del tema, se muestra información sobre el tema, como la cantidad de particiones y réplicas.

4. Para volver a la página Detalles del clúster, haz clic en Volver a la página principal.

gcloud

1. Para ver información sobre el clúster, ejecuta el comando gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   Reemplaza lo siguiente:

   • KAFKA_CLUSTER: es el nombre del clúster.
   • REGION: Es la región en la que creaste el clúster.

   El resultado de este comando es una lista de propiedades del clúster, similar a la siguiente:

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. Para obtener una lista de los temas del clúster, ejecuta el comando gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   El resultado incluye los temas que creaste, así como los temas que Managed Service para Apache Kafka crea para uso interno.

3. Para ver información sobre un tema, ejecuta el comando gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   Reemplaza TOPIC_NAME por el nombre del tema.

   El resultado de este comando es una lista de propiedades del tema, similar a la siguiente:

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

Obtén la dirección de arranque

Los clientes de Kafka usan la dirección de inicio del clúster para establecer una conexión con él. Para obtener la dirección de arranque, sigue estos pasos:

Console

1. Ve a la página Managed Service para Apache Kafka > Clústeres.

   Ir a los clústeres

2. Haz clic en el nombre del clúster.

3. Selecciona la pestaña Configuraciones.

4. La URL de arranque se encuentra en Bootstrap URL. Haz clic en Copiar para copiar el valor.

gcloud

Para obtener la URL de arranque, ejecuta el comando managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Reemplaza lo siguiente:

• KAFKA_CLUSTER: es el nombre del clúster.
• REGION: Es la región en la que creaste el clúster.

Ya puedes enviar mensajes al clúster. Para obtener más información, consulta Próximos pasos en este documento.

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página, borra el proyecto de Google Cloud que tiene los recursos.

Console

Borra el clúster.

1. Ve a la página Managed Service para Apache Kafka > Clústeres.

   Ir a los clústeres

2. Selecciona el clúster de Kafka y haz clic en Borrar.

gcloud

1. Para borrar el clúster, usa el comando gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

¿Qué sigue?

Produce mensajes para Kafka con las herramientas de línea de comandos de Kafka o creando una aplicación cliente:

• Usa las herramientas de línea de comandos de Kafka

• Desarrolla una aplicación de productor en Java

• Desarrolla una aplicación de productor en Python