O Kafka Connect é a ferramenta preferida para integração de dados para desenvolvedores do Kafka. Ele fornece uma estrutura para conectar o Kafka a sistemas externos, como bancos de dados, filas de mensagens e sistemas de arquivos.
O Kafka Connect oferece um conjunto selecionado de plug-ins de conector integrados, testados e mantidos por Google Cloud. Esses plug-ins de conector são corrigidos e atualizados automaticamente, simplificando a manutenção e garantindo a compatibilidade. OGoogle Cloud também oferece monitoramento e geração de registros integrados para manter a integridade dos seus pipelines.
As APIs do Kafka Connect são oferecidas como parte do Serviço Gerenciado do Google Cloud para Apache Kafka. Essas APIs podem ser acessadas pelo managedkafka.googleapis.com e são
integradas ao console e às bibliotecas de cliente do Google Cloud . Para gerenciar o Kafka
Connect, use o console do Google Cloud , a CLI gcloud, a
API Managed Kafka, as bibliotecas de cliente do Cloud ou o Terraform.
Casos de uso do Kafka Connect
O Kafka Connect oferece suporte à integração de dados entre seu cluster do Serviço Gerenciado para Apache Kafka e vários outros sistemas. Confira alguns casos de uso importantes:
Migre suas implantações do Kafka para o Serviço gerenciado para Apache Kafka.
Replique seu cluster do Serviço Gerenciado para Apache Kafka em outra região para recuperação de desastres.
Transmita dados do Serviço gerenciado para Apache Kafka para o BigQuery, o Cloud Storage e o Pub/Sub.
Clusters do Connect
Um cluster do Connect é uma implantação distribuída do Kafka Connect com plug-ins e configurações de conector pré-empacotados. Cada cluster do Connect está associado a um cluster principal do Serviço Gerenciado para Apache Kafka. Esse cluster principal armazena o estado dos conectores em execução no cluster do Connect.
Em geral, o cluster principal do Serviço Gerenciado para Apache Kafka também serve como destino para todos os conectores de origem e origem para todos os conectores de coletor em execução no cluster do Connect associado.
Um único cluster do Serviço Gerenciado para Apache Kafka pode ter vários clusters do Connect. Se você estiver executando o MirrorMaker 2.0, um cluster do Connect poderá se conectar a clusters não principais do Serviço Gerenciado para Apache Kafka ou a clusters autogerenciados do Kafka para ler ou gravar dados de tópicos. Esse processo permite a replicação de tópicos entre diferentes clusters.
Do ponto de vista do modelo de recursos, um cluster do Connect é um recurso separado de um cluster do Serviço Gerenciado para Apache Kafka.
Suponha que você tenha um cluster do Serviço Gerenciado para Apache Kafka em que armazena dados de tráfego do site. Você quer transmitir esses dados para o BigQuery para análise. É possível criar um cluster do Connect e usar um conector de coletor do BigQuery para mover os dados dos tópicos do Kafka para o BigQuery. Este cluster do Connect está associado ao seu cluster do Serviço Gerenciado para Apache Kafka como o cluster principal.
Conectores
Os conectores são os componentes de software que transferem dados entre o cluster do Kafka e outros sistemas.
Um conector de origem grava dados de uma origem em um cluster do Serviço Gerenciado para Apache Kafka.
Um conector de destino grava dados de um cluster do Serviço Gerenciado para Apache Kafka em um destino.
Um conector é implantado, configurado e gerenciado no cluster do Connect. Ele pode ser iniciado, interrompido, pausado, reiniciado e ter a configuração atualizada.
Para saber mais sobre os tipos de conectores compatíveis com o Serviço Gerenciado para Apache Kafka, consulte Visão geral dos conectores.
Gerenciar o Kafka Connect
Com o Kafka Connect, você pode se concentrar na implantação de conectores enquanto o Serviço Gerenciado para Apache Kafka lida com a infraestrutura subjacente e as complexidades operacionais.
O serviço Kafka Connect automatiza o seguinte:
Provisionamento de workers do Kafka Connect: quando você cria um cluster do Connect, o serviço Kafka Connect provisiona automaticamente um cluster de workers no Kubernetes.
Rede: o serviço Kafka Connect configura a rede para permitir a comunicação entre os workers, os agentes do Serviço Gerenciado para Apache Kafka e os sistemas externos. Em alguns casos, talvez seja necessário fazer algumas mudanças nas configurações de rede atuais.
Resiliência zonal: o serviço do Kafka Connect distribui workers em um mínimo de três zonas, garantindo que o processamento de dados possa continuar em caso de interrupção zonal.
Autenticação: o serviço do Kafka Connect também configura a autenticação com agentes do Kafka, garantindo conexões seguras.
Implantações e upgrades: o serviço Kafka Connect gerencia mudanças na configuração do worker, upgrades de versão e patches de segurança, garantindo que suas implantações estejam sempre atualizadas.
No serviço Kafka Connect, é possível fazer as seguintes configurações:
Restrições de capacidade e rede: defina limites de recursos e configurações de rede para otimizar a performance e o custo.
Monitoramento e geração de registros: acesse registros e métricas dos seus conectores para monitorar a performance e resolver problemas.
Gerenciamento do ciclo de vida do conector: pause, retome, reinicie ou pare os conectores conforme necessário para gerenciar seus pipelines de dados.
Limitações
O cluster principal do Kafka precisa ser um cluster do Serviço Gerenciado para Apache Kafka. O cluster principal é aquele em que o cluster do Kafka Connect grava os metadados.
Não é possível fazer upload de plug-ins de conector personalizados para o cluster do Kafka Connect.
O serviço não oferece suporte à validação em relação a um esquema remoto usando o Schema Registry.