Si necesitas transferir datos de un tema de Apache Kafka de código abierto a Managed Service para Apache Kafka, puedes hacerlo con una plantilla de Dataflow. Puedes usar la Google Cloud consola, la API de REST o Google Cloud CLI. Los mensajes del tema de Kafka deben publicarse con el esquema y la codificación de AVRO o JSON.
En este documento, se explica cómo configurar la plantilla de Dataflow de Kafka a Kafka con la consola de Google Cloud .
Google Cloud productos utilizados
La plantilla de Dataflow de Kafka a Kafka usa los siguientes productos Google Cloud facturables. Usa la calculadora de precios para generar una estimación de los costos según el uso previsto.
- Dataflow: Es un servicio de procesamiento de datos completamente administrado. La plantilla de Kafka a Kafka de Dataflow utiliza Dataflow para crear una canalización que lee datos de tu tema externo de Kafka y los escribe en un tema de Managed Service para Apache Kafka. Las capacidades de ajuste de escala automático y recuperación automática de Dataflow garantizan que tu canalización se ejecute de manera confiable y eficiente.
- Cloud Storage: Cloud Storage proporciona almacenamiento de objetos. Solo se usa si usas la autenticación de TLS para tu fuente externa de Kafka. Almacenas tus archivos de almacén de claves y almacén de certificados de confianza que contienen certificados TLS en Cloud Storage, y la canalización de Dataflow accede a ellos desde Cloud Storage.
- Secret Manager: Secret Manager es un servicio de administración de credenciales y secretos.El producto solo se usa si eliges la autenticación TLS o SASL_PLAIN para tu fuente externa de Kafka. Almacena tus credenciales de autenticación, como nombres de usuario, contraseñas y certificados. Estas credenciales se usan para conectarse de forma segura al clúster externo de Kafka.
Además, la solución también usa Managed Service para Apache Kafka.
- Managed Service para Apache Kafka: Un Google Cloud servicio que te ayuda a ejecutar Apache Kafka. En esta solución, Managed Service para Apache Kafka se usa como destino de tus datos. Transmites datos desde un tema de Kafka externo a un tema dentro de tu clúster de Managed Service para Apache Kafka. Para obtener más información sobre los precios de Managed Service para Apache Kafka, consulta la guía de precios.
Antes de comenzar
Antes de iniciar la plantilla de Dataflow de Kafka a Kafka, asegúrate de haber completado lo siguiente:
Crea un clúster y un tema de Managed Service para Apache Kafka.
Una forma de crear un clúster y un tema es seguir la guía de inicio rápido de Managed Service para Apache Kafka.
Si tu tema contiene registros de Avro, consulta Configura el formato de mensaje de Kafka para conocer los requisitos de recursos adicionales.
Habilita las siguientes Google Cloud APIs:
Dataflow
Secret Manager (solo si usas la autenticación SASL_PLAIN o TLS para tu fuente externa de Kafka)
Cloud Storage (solo si usas la autenticación TLS para tu fuente externa de Kafka)
gcloud services enable dataflow.googleapis.com \ secretmanager.googleapis.com storage.googleapis.com
Prepara los recursos de autenticación SASL_PLAIN
Sigue las instrucciones de esta sección si planeas usar tus credenciales de autenticación SASL_PLAIN para tu fuente externa de Kafka.
En la consola de Google Cloud , navega a Secret Manager.
Crea dos secretos: uno para tu nombre de usuario de Kafka y otro para tu contraseña de Kafka.
Para cada secreto, proporciona un nombre descriptivo, como "kafka-username" y "kafka-password".
Para obtener más información sobre cómo crear un secreto, incluidos los roles y permisos necesarios, consulta Crea un secreto.
Prepara los recursos de autenticación de TLS
Sigue las instrucciones de esta sección si planeas usar tus credenciales de autenticación de TLS para tu fuente externa de Kafka.
En la consola de Google Cloud , navega a Secret Manager.
Asegúrate de que tu archivo de almacén de claves (formato JKS) contenga el certificado TLS y la clave privada necesarios para autenticar tu cliente con el clúster de Kafka.
Asegúrate de que tu archivo Truststore (formato JKS) contenga los certificados de confianza necesarios para verificar la identidad del agente de Kafka.
Sube tus archivos de almacén de claves y almacén de confianza a Cloud Storage.
Para obtener más información sobre cómo subir archivos a Cloud Storage, consulta Sube objetos desde un sistema de archivos.
Crea tres secretos para tu configuración de TLS:
Contraseña del almacén de certificados de confianza: Almacena la contraseña que se usa para acceder al archivo del almacén de certificados de confianza.
Contraseña del almacén de claves: Almacena la contraseña que se usa para acceder al archivo del almacén de claves.
Contraseña de la clave privada: Almacena la contraseña que se usa para acceder a la clave privada dentro del archivo de Keystore.
Proporciona un nombre descriptivo para cada secreto.
Para obtener más información sobre cómo crear un secreto, incluidos los roles y permisos necesarios, consulta Crea un secreto.
Otorga el rol de cliente de Kafka administrado a la cuenta de servicio de trabajador de Dataflow
Para conectar tu trabajo de Dataflow a Managed Service for Apache Kafka, deberás otorgar permisos específicos a la cuenta de servicio de trabajador de Dataflow. Esta cuenta de servicio es la identidad que se usa para todas las VMs de trabajador en tu trabajo de Dataflow, y todas las solicitudes que se realizan desde estas VMs utilizan esta cuenta.
Para permitir el acceso a tus recursos de Kafka, debes otorgar el rol roles/managedkafka.client en la cuenta de servicio de trabajador de Dataflow. Este rol incluye el permiso managedkafka.clusters.connect necesario para establecer conexiones.
Para obtener más información sobre la cuenta de servicio de trabajador, consulta Seguridad y permisos para canalizaciones en Google Cloud.
Para otorgar el rol de cliente de Kafka administrado a la cuenta de servicio de Dataflow, sigue estos pasos:
Console
- En la consola de Google Cloud , dirígete a la página IAM.
Ir a IAM - Verifica que el proyecto esté configurado como el proyecto del consumidor al que accederá el cliente de Managed Service para Apache Kafka.
- Haz clic en Otorgar acceso.
- En la página nueva, en Agregar principales, ingresa la dirección de correo electrónico de la cuenta de servicio del trabajador de Dataflow que estás usando.
- En Asignar roles, selecciona el rol Cliente de Kafka administrado.
- Haz clic en Guardar.
gcloud CLI
-
En la consola de Google Cloud , activa Cloud Shell.
En la parte inferior de la consola de Google Cloud , se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.
-
Ejecuta el comando
gcloud projects add-iam-policy-binding:gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT_EMAIL \ --role roles/managedkafka.client
Reemplaza lo siguiente:
-
PROJECT_ID es el ID del proyecto.
-
SERVICE_ACCOUNT_EMAIL es la dirección de correo electrónico de la cuenta de servicio del trabajador de Dataflow.
-
Inicia la plantilla de Dataflow de Kafka a Kafka
Puedes iniciar la plantilla Kafka to Kafka Dataflow desde la página de detalles del clúster en la consola.
-
En la consola de Google Cloud , ve a la página Clúster.
Se enumeran los clústeres que creaste en un proyecto.
- Para ver la página de detalles del clúster, haz clic en el nombre de un clúster.
- En la página de detalles del clúster, haz clic en Importar datos.
Se abrirá la página Crea un trabajo de Dataflow con la plantilla "Kafka a Kafka".
Configura los campos de la plantilla según la información incluida en las siguientes secciones.
Ingresa un nombre para el trabajo
En el campo Nombre del trabajo, ingresa un nombre para tu trabajo de Dataflow.
El nombre debe ser único entre todos los trabajos en ejecución actuales del proyecto.
Elige un extremo regional para tu canalización
En el campo Extremo regional, configura el extremo regional en la ubicación de tu clúster de Kafka para minimizar las tarifas de transferencia de datos entre regiones.
Los trabajadores de Dataflow pueden ejecutarse independientemente de la región de tu clúster de Kafka. Sin embargo, incurrirás en costos de salida entre regiones si inicias trabajadores fuera de la región de tu clúster de Kafka.
Para ver la ubicación del clúster, sigue los pasos que se indican en Cómo enumerar tus clústeres de Managed Service para Apache Kafka.
Configura la fuente
En Fuente, selecciona Kafka autoadministrado o externo.
En Servidor de arranque de Kafka, ingresa la dirección del servidor de arranque del clúster de Kafka externo.
En Servidor y tema de arranque de Kafka de origen, ingresa la dirección externa del servidor y el tema de arranque de Kafka.
En Modo de autenticación de origen de Kafka, selecciona el modo de autenticación entre las opciones proporcionadas. En el caso de Kafka externo, tienes tres opciones:
SASL_PLAIN
TLS
Ninguno
Para la autenticación de origen de Kafka SASL_PLAIN
Antes de continuar con esta sección, consulta Prepara los recursos de autenticación SASL_PLAIN.
Si seleccionas SASL_PLAIN como la autenticación de origen de Kafka, completa los siguientes campos adicionales.
En ID de versión del secreto para el nombre de usuario de SASL/PLAIN de Kafka, ingresa el ID de versión del nombre de usuario.
En ID de versión del secreto para la contraseña de SASL/PLAIN de Kafka, ingresa el ID de versión de la contraseña.
Para la autenticación de origen de Kafka con TLS
Antes de continuar con esta sección, consulta Prepara los recursos de autenticación de TLS.
Si seleccionas TLS como la autenticación de origen de Kafka, completa los siguientes campos adicionales.
En Ubicación del almacén de claves, ingresa la ruta de Cloud Storage a tu archivo de almacén de claves de Java (JKS). Este archivo contiene el certificado TLS y la clave privada necesarios para autenticar tu canalización con el clúster de Kafka. Por ejemplo: gs://your-bucket/keystore.jks
En el campo Ubicación del archivo Truststore, ingresa la ruta de Cloud Storage a tu archivo Java Truststore (JKS). Este archivo contiene los certificados de confianza que se usan para verificar la identidad del agente de Kafka.
En ID de versión del secreto para la contraseña del almacén de certificados de confianza, proporciona el ID del secreto de Secret Manager que almacena la contraseña para acceder a tu archivo JKS del almacén de certificados de confianza.
En ID de versión secreta de la contraseña del almacén de claves, proporciona el ID del secreto de Secret Manager que almacena la contraseña para acceder a tu archivo JKS.
En el campo ID de versión del secreto de la contraseña de la clave privada, si la clave privada dentro del almacén de claves tiene una contraseña independiente, ingresa el ID del secreto de Secret Manager que contiene esa contraseña.
Confirma desplazamientos en Kafka
Este parámetro de configuración controla cómo la canalización realiza un seguimiento de los mensajes de la fuente externa de Kafka que se procesan. Habilitar este parámetro de configuración ayuda a garantizar que tu canalización procese los mensajes de forma confiable y evite errores cuando se reinicie.
Kafka realiza un seguimiento de los mensajes con desplazamientos. Piensa en ellos como marcadores que recuerdan la posición de la canalización en cada flujo de mensajes. Cuando habilitas el parámetro de configuración, la canalización guarda sus marcas periódicamente en Kafka. Si la canalización se reinicia debido a un error, una actualización o un mantenimiento planificado, puede usar los marcadores guardados para continuar donde se detuvo, lo que evita que se pierdan mensajes o que se procese accidentalmente el mismo mensaje dos veces.
Habilita Confirmar desplazamientos en Kafka.
Proporciona un ID del grupo de consumidores. Es un nombre que identifica tu canalización en Kafka.
Para Offset de inicio predeterminado de Kafka, elige una de las siguientes opciones:
Earliest: Procesa mensajes desde el principio del tema de Kafka.
Más reciente: Procesa los mensajes a partir del más reciente.
Configura el destino
En destino, elige Managed Service para Apache Kafka.
En Clúster de Kafka, elige un clúster que ya hayas creado.
Puedes elegir un tema existente o crear uno nuevo.
En Kafka destination autheticaton method, selecciona credenciales predeterminadas de la aplicación.
Configura la encriptación
De forma predeterminada, todos los datos en reposo y en tránsito se encriptan con unGoogle-owned and Google-managed encryption key. Si tienes claves de encriptación administradas por el cliente (CMEK), puedes seleccionar tus propias claves. Para obtener más información sobre cómo configurar una CMEK, consulta Configura la encriptación de mensajes.
Configura las redes
Debes especificar la red y la subred del clúster en la plantilla de Dataflow. La sección Parámetros opcionales de la plantilla te permite definir la red para tus trabajadores de Dataflow.
De forma predeterminada, la plantilla Kafka to Kafka Dataflow aprovisiona trabajadores de Dataflow en la red predeterminada de tu proyecto. Para permitir que tu clúster de Kafka externo envíe datos a Managed Service para Apache Kafka a través de Dataflow, asegúrate de que tus trabajadores de Dataflow puedan acceder a la red de tu clúster.
Te recomendamos que, si tu clúster de Kafka no está conectado a una subred en la red predeterminada del proyecto, uses la red predeterminada del proyecto para tu clúster de Kafka.
Para obtener más información sobre cómo configurar redes con tu canalización de Dataflow, consulta los siguientes recursos:
Si tienes problemas para configurar la red de Dataflow, consulta la guía para solucionar problemas de redes de Dataflow.
Configura parámetros opcionales de Dataflow
Configura los parámetros opcionales de Dataflow solo si conoces el impacto de la configuración en los trabajadores de Dataflow. Los parámetros de configuración incorrectos pueden afectar el rendimiento o el costo. Para obtener explicaciones detalladas de cada opción, consulta Parámetros opcionales.
Supervisión
La plantilla de Dataflow para Kafka a Managed Service para Apache Kafka proporciona una experiencia de supervisión que te permite explorar registros, métricas y errores dentro de la consola. Este paquete de herramientas de supervisión está disponible como parte de la interfaz de usuario de Dataflow.
La pestaña Job Metrics te permite crear paneles personalizados. Para la plantilla de Kafka a Managed Service para Apache Kafka, te recomendamos que configures un panel de Job Metrics que supervise lo siguiente:
Capacidad de procesamiento: Es el volumen de datos que se procesan en cualquier momento. Esto es útil para supervisar el flujo de datos a través de tu trabajo y para identificar posibles problemas de rendimiento.
Para obtener más información, consulta Supervisión de la capacidad de procesamiento de Dataflow.
Actualidad de los datos: Es la diferencia en segundos entre la marca de tiempo del elemento de datos y la hora en que se procesa el evento en tu canalización. Esto ayuda a identificar cuellos de botella en el rendimiento y las fuentes de datos, o bien reintentos frecuentes.
Para obtener más información, consulta lo siguiente: Supervisión de la actualización de Dataflow.
Tareas pendientes: Cantidad de bytes en espera de procesamiento. Esta información fundamenta las decisiones de ajuste de escala automático.
Para obtener más información sobre la supervisión de Dataflow, consulta la documentación de supervisión de Dataflow.
Soluciona problemas
Si tienes problemas de rendimiento con tu canalización de Dataflow, Dataflow proporciona un conjunto integral de herramientas de diagnóstico y solución de problemas.
A continuación, se incluyen dos situaciones comunes y sus respectivas guías de solución de problemas:
Para obtener una descripción general de la depuración de canalizaciones de Dataflow, consulta Soluciona problemas y depura canalizaciones de Dataflow.