En este documento, se brinda asesoramiento a desarrolladores, arquitectos y responsables de la toma de decisiones sobre las opciones para integrar Managed Service for Apache Kafka con otros servicios de Google Cloud.
En la siguiente tabla, se enumeran algunos factores que debes tener en cuenta cuando elijas una solución de integración para tus datos de Kafka en Google Cloud.
| Solución | Casos de uso |
|---|---|
| Kafka Connect |
Tareas comunes de integración de datos Cómo replicar datos de Kafka entre clústeres Alta disponibilidad y recuperación ante desastres |
| Dataflow |
Canalizaciones de datos de gran volumen Transformaciones o agregaciones de datos complejas Ventanas avanzadas |
| Managed Service para Apache Spark |
Integración con cargas de trabajo existentes de Apache Spark Migra cargas de trabajo de Apache Spark a Google Cloud |
Usa Kafka Connect
Kafka Connect proporciona un framework para transmitir datos entre Kafka y otros sistemas. Managed Service para Apache Kafka te permite aprovisionar clústeres que ejecutan Kafka Connect.
Se recomienda Kafka Connect para la mayoría de las tareas de integración de datos comunes para las que hay un conector compatible. Se recomienda usar Kafka Connect con MirrorMaker 2.0 para replicar datos entre clústeres de Kafka, por ejemplo, en arquitecturas de alta disponibilidad y recuperación ante desastres (HA/DR).
Estas son algunas ventajas de usar Kafka Connect:
Conectores integrados para fuentes y receptores, como BigQuery, Cloud SQL y Cloud Storage.
Se integra por completo en Managed Service para Apache Kafka, lo que simplifica la administración, las operaciones y la supervisión.
Compatibilidad con el filtrado y las transformaciones por mensaje
Usar Dataflow
Dataflow es una plataforma de transmisión administrada creada en el proyecto de código abierto de Apache Beam. Puedes ejecutar canalizaciones de Dataflow para escribir datos de Kafka en receptores como BigQuery y Cloud Storage.
Considera usar Dataflow en las siguientes situaciones:
Canalizaciones de datos de gran volumen Los trabajos de Dataflow pueden escalar hasta miles de trabajadores. Dataflow también admite el ajuste de escala automático horizontal, que agrega o quita trabajadores según sea necesario.
Data pipelines que requieren transformaciones complejas, como limpieza de datos, enriquecimiento o agregación.
Integrar la IA y el AA en tu canalización de datos
Unión de múltiples flujos de datos con un control detallado sobre el procesamiento por ventanas y el manejo de datos tardíos
Para implementar una canalización de Dataflow, puedes ejecutar una plantilla compilada previamente o crear una canalización de Apache Beam. Para situaciones comunes de integración de datos, considera ejecutar una plantilla. Para obtener la máxima flexibilidad y control, o si tu canalización requiere lógica personalizada, crea una canalización de Apache Beam.
Usa Managed Service para Apache Spark
Managed Service para Apache Spark te permite ejecutar cargas de trabajo de Apache Spark con un modelo sin servidores o un modelo basado en clústeres.
Considera usar Managed Service para Apache Spark con tus datos de Kafka si ya tienes canalizaciones de Spark. Por ejemplo, si tienes una aplicación de Spark que procesa datos de transmisión de Kafka y quieres migrarla aGoogle Cloud, Managed Service para Apache Spark es una opción adecuada.
¿Qué sigue?
Obtén más información sobre Kafka Connect en Managed Service para Apache Kafka.
Usa una plantilla de Dataflow:
Crea una canalización de Apache Beam:
En el caso de Spark Streaming y Kafka, Apache Spark proporciona una guía de integración.