Replica temas de Kafka con MirrorMaker 2.0

En este instructivo, se muestra cómo replicar datos entre clústeres de Managed Service para Apache Kafka con el conector de origen de MirrorMaker 2.0.

Los clústeres pueden estar en el mismo proyecto o en proyectos diferentes, y pueden estar en la misma región o en regiones diferentes. En este instructivo, configurarás la replicación en diferentes regiones, pero dentro del mismo proyecto. Sin embargo, los pasos son los mismos para otras combinaciones.

Arquitectura

En este caso, hay tres clústeres:

  • Es un clúster de Kafka cuyos datos se replican. Este clúster se denomina clúster de origen, ya que es la fuente de los datos.

  • Es un clúster de Kafka en el que se escriben los datos replicados. Este clúster se denomina clúster de destino.

  • Un clúster de Connect, que te permite crear y administrar el conector de origen de MirrorMaker 2.0

El clúster de Connect se adjunta al clúster de destino. Para minimizar la latencia de las operaciones de escritura, coloca el clúster de Connect en la misma región que el clúster de destino.

En el siguiente diagrama, se muestran estos componentes:

Arquitectura de la situación de replicación de datos de Kafka

El conector de origen de MirrorMaker 2.0 realiza la replicación de datos. Otros dos conectores de MirrorMaker 2.0 son opcionales para esta situación:

  • Conector del punto de control de MirrorMaker 2.0: Permite una conmutación por error sin problemas, ya que garantiza que los consumidores del clúster de destino puedan reanudar el procesamiento desde el mismo punto que el clúster de origen.

  • Conector de señal de monitoreo de funcionamiento de MirrorMaker 2.0: Genera mensajes periódicos de señal de monitoreo de funcionamiento en el clúster de origen de Kafka, lo que te permite supervisar el estado y el funcionamiento de la replicación de datos.

En este instructivo, no se usan estos conectores opcionales. Para obtener más información, consulta Cuándo usar MirrorMaker 2.0.

Antes de comenzar

Console

  1. Accede a tu cuenta de Google Cloud . Si es la primera vez que usas Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Asegúrate de tener los siguientes roles en el proyecto: Editor de clústeres de Kafka administrado, Editor de clústeres de Kafka Connect administrado, Editor de conectores de Kafka administrado

    Verifica los roles

    1. En la consola de Google Cloud , dirígete a la página IAM.

      Ir a IAM
    2. Selecciona el proyecto.
    3. En la columna Principal, busca todas las filas que te identifiquen a ti o a un grupo en el que se te incluya. Para saber en qué grupos estás incluido, comunícate con tu administrador.

    4. Para todas las filas en las que se te especifique o se te incluya, verifica la columna Rol para ver si la lista de roles incluye los roles necesarios.

    Otorga los roles

    1. En la consola de Google Cloud , dirígete a la página IAM.

      Ir a IAM
    2. Selecciona el proyecto.
    3. Haz clic en Otorgar acceso.
    4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

    5. Haz clic en Seleccionar un rol y, luego, busca el rol.
    6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
    7. Haz clic en Guardar.

gcloud

  1. Accede a tu cuenta de Google Cloud . Si es la primera vez que usas Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. Instala Google Cloud CLI.

  3. Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

  4. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  5. Crea o selecciona un Google Cloud proyecto.

    Roles necesarios para seleccionar o crear un proyecto

    • Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crea un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.
    • Crea un proyecto de Google Cloud :

      gcloud projects create PROJECT_ID

      Reemplaza PROJECT_ID por un nombre para el proyecto de Google Cloud que estás creando.

    • Selecciona el proyecto Google Cloud que creaste:

      gcloud config set project PROJECT_ID

      Reemplaza PROJECT_ID por el nombre de tu proyecto de Google Cloud .

  6. Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

  7. Habilita la API de Managed Kafka si aún no está habilitada:

    Roles necesarios para habilitar las APIs

    Para habilitar APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

    gcloud services enable managedkafka.googleapis.com
  8. Instala Google Cloud CLI.

  9. Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

  10. Para inicializar gcloud CLI, ejecuta el siguiente comando:

    gcloud init
  11. Crea o selecciona un Google Cloud proyecto.

    Roles necesarios para seleccionar o crear un proyecto

    • Selecciona un proyecto: Para seleccionar un proyecto, no se requiere un rol de IAM específico. Puedes seleccionar cualquier proyecto en el que se te haya otorgado un rol.
    • Crea un proyecto: Para crear un proyecto, necesitas el rol de Creador de proyectos (roles/resourcemanager.projectCreator), que contiene el permiso resourcemanager.projects.create. Obtén más información para otorgar roles.
    • Crea un proyecto de Google Cloud :

      gcloud projects create PROJECT_ID

      Reemplaza PROJECT_ID por un nombre para el proyecto de Google Cloud que estás creando.

    • Selecciona el proyecto Google Cloud que creaste:

      gcloud config set project PROJECT_ID

      Reemplaza PROJECT_ID por el nombre de tu proyecto de Google Cloud .

  12. Verifica que la facturación esté habilitada para tu proyecto de Google Cloud .

  13. Habilita la API de Managed Kafka si aún no está habilitada:

    Roles necesarios para habilitar las APIs

    Para habilitar APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

    gcloud services enable managedkafka.googleapis.com
  14. Otorga roles a tu cuenta de usuario. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM: roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Reemplaza lo siguiente:

    • PROJECT_ID: ID del proyecto
    • USER_IDENTIFIER: Es el identificador de tu cuenta de usuario de . Por ejemplo, myemail@example.com.
    • ROLE: Es el rol de IAM que le otorgas a tu cuenta de usuario.

Crea el clúster de Kafka de origen

En este paso, crearás un clúster de Managed Service para Apache Kafka. Este clúster es el clúster de origen, que contiene los datos que se replicarán.

Console

  1. Ve a la página Clústeres de Managed Service para Apache Kafka >.

    Ir a los clústeres

  2. Haz clic en Crear.

  3. En el cuadro Nombre del clúster, ingresa un nombre para el clúster.

  4. En la lista Región, selecciona una ubicación para el clúster.

  5. En Configuración de red, configura la subred en la que se puede acceder al clúster.

    1. En Proyecto, seleccione su proyecto.
    2. En Red, selecciona una red de VPC en tu proyecto.
    3. En Subred, selecciona una subred.
    4. Haz clic en Listo.
  6. Haz clic en Crear.

Mientras se crea el clúster, su estado es Creating. Cuando se termina de crear el clúster, el estado es Active.

gcloud

Para crear el clúster de Kafka de origen, ejecuta el comando managed-kafka clusters create.

gcloud managed-kafka clusters create SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/SOURCE_REGION/subnetworks/SOURCE_SUBNET \
--async

Reemplaza lo siguiente:

  • SOURCE_KAFKA_CLUSTER: Un nombre para el clúster de Kafka
  • SOURCE_REGION: Es la ubicación del clúster.

    Para obtener información sobre las ubicaciones admitidas, consulta las ubicaciones de Managed Service para Apache Kafka.

  • PROJECT_ID: Es el ID del proyecto.

  • SOURCE_SUBNET: Es la subred en la que deseas implementar el clúster, por ejemplo, default.

El comando se ejecuta de forma asíncrona y devuelve un ID de operación:

Check operation [projects/PROJECT_ID/locations/SOURCE_SUBNET/operations/OPERATION_ID] for status.

Para hacer un seguimiento del progreso de la operación de creación, usa el comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=SOURCE_REGION

Para obtener más información, consulta Cómo supervisar la operación de creación del clúster.

Crea un tema de Kafka

Cuando el clúster de origen esté listo, crea un tema de la siguiente manera:

Console

  1. Ve a la página Clústeres de Managed Service para Apache Kafka >.

    Ir a los clústeres

  2. Haz clic en el nombre del clúster.

  3. En la página de detalles del clúster, haz clic en Crear tema.

  4. En el cuadro Nombre del tema, ingresa un nombre para el tema.

  5. Haz clic en Crear.

gcloud

Para crear un tema de Kafka, ejecuta el comando managed-kafka topics create.

gcloud managed-kafka topics create TOPIC_NAME \
--cluster=SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--partitions=10 \
--replication-factor=3

Reemplaza lo siguiente:

  • TOPIC_NAME: Es el nombre del tema de Kafka que se creará.
  • SOURCE_KAFKA_CLUSTER: Es el nombre del clúster de origen.
  • SOURCE_REGION: Es la región en la que creaste el clúster de origen.

Crea el clúster de Kafka de destino

En este paso, crearás un segundo clúster de Managed Service para Apache Kafka. Este clúster es el clúster de destino, en el que MirrorMaker 2.0 replica los datos.

Console

  1. Ve a la página Clústeres de Managed Service para Apache Kafka >.

    Ir a los clústeres

  2. Haz clic en Crear.

  3. En el cuadro Nombre del clúster, ingresa un nombre para el clúster.

  4. En la lista Región, selecciona una ubicación para el clúster. Elige una región diferente de la que se encuentra el clúster de origen.

  5. En Configuración de red, configura la subred en la que se puede acceder al clúster de destino. La subred debe estar en la misma red de VPC que la subred del clúster de origen.

    1. En Proyecto, seleccione su proyecto.
    2. En Red, selecciona la misma red de VPC que la subred del clúster de origen.
    3. En Subred, selecciona la subred.
    4. Haz clic en Listo.
  6. Haz clic en Crear.

Mientras se crea el clúster, su estado es Creating. Cuando se termina de crear el clúster, el estado es Active.

gcloud

Para crear el clúster de Kafka de destino, ejecuta el comando managed-kafka clusters create.

gcloud managed-kafka clusters create TARGET_KAFKA_CLUSTER \
--location=TARGET_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
--async

Reemplaza lo siguiente:

  • TARGET_KAFKA_CLUSTER: Un nombre para el clúster de Kafka
  • TARGET_REGION: Es la ubicación del clúster. Elige una región diferente de la que se encuentra el clúster de origen.

    Para obtener información sobre las ubicaciones admitidas, consulta las ubicaciones de Managed Service para Apache Kafka.

  • PROJECT_ID: Es el ID del proyecto.

  • TARGET_SUBNET: Es la subred en la que deseas implementar el clúster, por ejemplo, default.

    Selecciona una subred en la misma VPC que el clúster de origen.

Crea un clúster de Connect

En este paso, crearás un clúster de Connect. Por lo general, la creación de un clúster de Connect tarda entre 20 y 30 minutos.

Antes de comenzar con este paso, asegúrate de que el clúster de Kafka de destino del paso anterior esté completamente creado.

Console

  1. Ve a la página Managed Service for Apache Kafka > Connect Clusters.

    Ir a Connect Clusters

  2. Haz clic en Crear.

  3. En Connect cluster name, ingresa una cadena. Ejemplo: my-connect-cluster.

  4. En Clúster principal de Kafka, selecciona el clúster de Kafka de destino que creaste en el paso anterior. (No selecciones tu clúster de Kafka de origen).

  5. En Ubicación, Configuración de red y Subred del trabajador, puedes usar los valores predeterminados o personalizarlos según tus requisitos específicos.

  6. Para permitir que el clúster de Connect resuelva el dominio DNS del clúster de origen, sigue estos pasos:

    1. Expande Dominios del DNS que se pueden resolver.

    2. Haz clic en Agregar un dominio de DNS.

    3. En la lista Clúster de Kafka, selecciona el clúster de Kafka de origen.

  7. Haz clic en Crear.

Mientras se crea el clúster, su estado es Creating. Cuando se termina de crear el clúster, el estado es Active.

gcloud

Para crear un clúster de Connect, ejecuta el comando gcloud managed-kafka connect-clusters create.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=TARGET_REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
  --kafka-cluster=TARGET_KAFKA_CLUSTER \
  --dns-name=SOURCE_KAFKA_CLUSTER.SOURCE_REGION.managedkafka.PROJECT_ID.cloud.goog. \
  --async

Reemplaza lo siguiente:

  • CONNECT_CLUSTER: Un nombre para el clúster de Connect
  • TARGET_REGION: Es la región en la que creaste el clúster de Kafka de destino.
  • PROJECT_ID: Es el ID del proyecto.
  • TARGET_SUBNET: La subred en la que creaste el clúster de Kafka de destino
  • TARGET_KAFKA_CLUSTER: El nombre del clúster de Kafka de destino
  • SOURCE_KAFKA_CLUSTER: Es el nombre del clúster de Kafka de origen.
  • SOURCE_REGION: Es la región en la que creaste el clúster de Kafka de origen.

El comando se ejecuta de forma asíncrona y devuelve un ID de operación:

Check operation [projects/PROJECT_ID/locations/TARGET_REGION/operations/OPERATION_ID] for status.

Para hacer un seguimiento del progreso de la operación de creación, usa el comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=TARGET_REGION

Para obtener más información, consulta Cómo supervisar la operación de creación del clúster.

Crea un conector de fuente de MirrorMaker 2.0

En este paso, crearás un conector de origen de MirrorMaker 2.0. Este conector replica mensajes del clúster de Kafka de origen al clúster de Kafka de destino.

Console

  1. Ve a la página Managed Service for Apache Kafka > Connect Clusters.

    Ir a Connect Clusters

  2. Haz clic en el nombre del clúster de Connect.

  3. Haz clic en Crear conector.

  4. En Nombre del conector, ingresa una cadena. Ejemplo: mm2-connector.

  5. En la lista Complemento del conector, selecciona MirrorMaker 2.0 Source.

  6. En Clúster de origen, selecciona Clúster de Managed Service para Apache Kafka.

  7. En la lista Clúster de Kafka, selecciona tu clúster de origen.

  8. En el cuadro Nombres de temas o regex de temas separados por comas, ingresa el nombre del tema o los temas de Kafka que deseas replicar.

  9. Haz clic en Crear.

gcloud

  1. Ejecuta el comando gcloud managed-kafka clusters describe para obtener la dirección de arranque del clúster de Kafka de origen.

    gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
      --location=SOURCE_REGION \
      --project=PROJECT_ID \
      --format="value(bootstrapAddress)"
    

    Reemplaza lo siguiente:

    • SOURCE_KAFKA_CLUSTER: El nombre del clúster de Kafka de origen
    • SOURCE_REGION: Es la región del clúster de origen.
    • PROJECT_ID: Es el ID del proyecto.
  2. Vuelve a ejecutar el comando anterior para obtener la dirección de arranque del clúster de Kafka de destino.

    gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
      --location=TARGET_REGION \
      --project=PROJECT_ID \
      --format="value(bootstrapAddress)"
    

    Reemplaza lo siguiente:

    • TARGET_KAFKA_CLUSTER: Es el nombre del clúster de Kafka de destino.
    • TARGET_REGION: Es la región del clúster de destino.
  3. Para crear un conector de origen de MirrorMaker 2.0, ejecuta el comando gcloud managed-kafka connectors create.

    gcloud managed-kafka connectors create CONNECTOR_NAME \
      --location=TARGET_REGION \
      --connect-cluster=CONNECT_CLUSTER \
      --configs=connector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector,\
    source.cluster.alias=source,\
    source.cluster.bootstrap.servers=SOURCE_CLUSTER_BOOTSTRAP_ADDRESS,\
    target.cluster.alias=target,\
    target.cluster.bootstrap.servers=TARGET_CLUSTER_BOOTSTRAP_ADDRESS,\
    tasks.max=3,\
    topics=TOPIC_NAME
    

    Reemplaza lo siguiente:

    • CONNECTOR_NAME: Es un nombre para el conector, como mm2-connector.
    • CONNECT_CLUSTER: Es el nombre de tu clúster de Connect.
    • SOURCE_CLUSTER_BOOTSTRAP_ADDRESS: Es la dirección de inicio del clúster de origen, del paso 1.
    • TARGET_CLUSTER_BOOTSTRAP_ADDRESS: Es la dirección de inicio del clúster de destino, del paso 2.
    • TOPIC_NAME: Es el nombre del tema que se replicará. Este parámetro también puede especificar una lista de nombres de temas separados por comas o una expresión regular.

El conector de origen de MirrorMaker 2.0 crea un tema nuevo en el clúster de destino llamado "source.TOPIC_NAME", donde TOPIC_NAME es el nombre del tema en el clúster de origen.

Ver resultados

Para verificar que los mensajes se repliquen, puedes usar las herramientas de línea de comandos de Kafka. Para obtener información sobre cómo configurar la CLI de Kafka, consulta Configura una máquina cliente en el documento Produce y consume mensajes con la CLI.

Por ejemplo, para enviar un mensaje al clúster de origen, ingresa lo siguiente en la línea de comandos:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
 --location=SOURCE_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

for msg in {1..10}; do
  echo "message $msg"
done | kafka-console-producer.sh --topic TOPIC_NAME \
       --bootstrap-server $BOOTSTRAP --producer.config client.properties

Para leer los mensajes duplicados del clúster de destino, ingresa lo siguiente en la línea de comandos:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
 --location=TARGET_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

kafka-console-consumer.sh --topic source.TOPIC_NAME --from-beginning \
 --bootstrap-server $BOOTSTRAP --consumer.config client.properties

El resultado luce de la siguiente manera:

message 1
message 2
message 3
message 4
[...]

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Console

  1. Borra el clúster de Connect.

    1. Ve a la página Managed Service for Apache Kafka > Connect Clusters.

      Ir a Connect Clusters

    2. Selecciona el clúster de Connect y haz clic en Borrar.

  2. Borra el clúster de Kafka de origen.

    1. Ve a la página Clústeres de Managed Service para Apache Kafka >.

      Ir a los clústeres

    2. Selecciona el clúster de Kafka y haz clic en Borrar.

  3. Repite el paso anterior para borrar el clúster de Kafka de destino.

gcloud

  1. Para borrar el clúster de Connect, usa el comando gcloud managed-kafka connect-clusters delete.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
      --location=TARGET_REGION --async
    
  2. Para borrar el clúster de Kafka de origen, usa el comando gcloud managed-kafka clusters delete.

    gcloud managed-kafka clusters delete SOURCE_KAFKA_CLUSTER \
      --location=SOURCE_REGION --async
    
  3. Repite el paso anterior para borrar el clúster de Kafka de destino.

    gcloud managed-kafka clusters delete TARGET_KAFKA_CLUSTER \
      --location=TARGET_REGION --async
    

¿Qué sigue?