Um cluster do Connect fornece um ambiente para conectores que ajuda a mover dados de implantações atuais do Kafka para um cluster do Serviço Gerenciado do Google Cloud para Apache Kafka ou mover dados do cluster do Serviço Gerenciado para Apache Kafka para outro serviço do Google Cloud ou outro cluster do Kafka. O cluster secundário do Kafka pode ser outro cluster do Serviço Gerenciado do Google Cloud para Apache Kafka, um cluster autogerenciado ou um cluster local.
Antes de começar
Verifique se você já criou um cluster do Serviço Gerenciado para Apache Kafka. Você precisa do nome do cluster do Serviço Gerenciado para Apache Kafka ao qual o cluster do Connect será anexado.
Cada cluster do Connect está associado a um cluster do Serviço Gerenciado para Apache Kafka. Esse cluster armazena o estado dos conectores em execução no cluster do Connect.
Papéis e permissões necessárias
Para receber a permissão necessária
para criar um cluster do Connect,
peça ao administrador para conceder a você o
papel do IAM de editor de cluster do Managed Kafka Connect (roles/managedkafka.connectClusterEditor) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém a permissão managedkafka.connectClusters.create, que é necessária para criar um cluster do Connect.
Também é possível receber essa permissão com papéis personalizados ou outros papéis predefinidos.
Permissões de sub-rede de worker
Ao criar um cluster do Connect, você especifica uma sub-rede de worker. Durante a operação de criação, o agente de serviço do Kafka gerenciado anexa a sub-rede de worker ao cluster do Connect.
A permissão managedkafka.connectClusters.create permite indiretamente que um
principal anexe qualquer sub-rede que o agente de serviço tenha permissão para usar, mesmo
que o principal não tenha permissão direta para usar a sub-rede.
Entradas de ACL obrigatórias
Um cluster do Connect precisa de permissões de leitura e gravação em tópicos no cluster associado do Serviço Gerenciado para Apache Kafka, além de permissões de leitura em grupos de consumidores.
Se o cluster do Kafka não tiver ACLs definidas para esses recursos, o cluster do Connect terá essas permissões por padrão.
No entanto, se houver ACLs definidas para esses recursos, será necessário adicionar entradas de ACL que concedam explicitamente as permissões necessárias ao agente de serviço do Managed Kafka. Para conceder as permissões, crie as seguintes entradas de ACL:
- Permissão de
READeWRITEemallTopics - Permissão
READemallConsumerGroups
É possível criar as entradas de ACL usando o comando gcloud managed-kafka acls add-acl-entry, da seguinte maneira:
gcloud managed-kafka acls add-acl-entry allTopics \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--operation=READ --permission-type=ALLOW --host=*
gcloud managed-kafka acls add-acl-entry allTopics \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--operation=WRITE --permission-type=ALLOW --host=*
gcloud managed-kafka acls add-acl-entry allConsumerGroups \
--cluster=CLUSTER_ID \
--location=LOCATION \
--principal=User:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--operation=READ --permission-type=ALLOW --host=*
Substitua:
CLUSTER_ID: o ID do cluster do Kafka.LOCATION: o local do cluster do Kafka.PROJECT_NUMBER: o número do projeto do Google Cloud projeto que contém o cluster do Connect.
Para mais informações, consulte Adicionar uma entrada de ACL a uma ACL do Kafka gerenciado.
Criar um cluster do Connect em um projeto diferente
Um cluster do Connect usa o agente de serviço do Kafka gerenciado para acessar os recursos do Google Cloud , incluindo o cluster do Kafka. O agente de serviço está associado ao projeto do Google Cloud em que você cria o cluster do Connect.
Se você criar o cluster do Connect em um projeto diferente do cluster do Kafka, conceda o papel do IAM de
Agente de serviço do Kafka gerenciado
(managedkafka.serviceAgent) ao agente de serviço do cluster do Connect
no projeto do cluster do Kafka. Por exemplo, se você criar um cluster do Kafka
no projeto A e um cluster do Connect no projeto B, conceda o
papel de agente de serviço do Managed Kafka no projeto A ao agente de serviço
do Managed Kafka associado ao projeto B.
Propriedades de um cluster do Connect
Nesta seção, descrevemos as propriedades de um cluster do Connect.
Nome do cluster Connect
O nome do cluster do Connect que você está criando. Para conferir as diretrizes de nomeação de clusters Connect, acesse Diretrizes de nomeação de recursos do Serviço Gerenciado para Apache Kafka. O nome de um cluster é imutável.
Cluster principal do Kafka
O cluster do Serviço Gerenciado para Apache Kafka associado ao cluster do Connect. Esse cluster associado (cluster principal) armazena o estado dos conectores em execução no cluster do Connect. Em geral, o cluster principal do Serviço Gerenciado para Apache Kafka também serve como destino para todos os conectores de origem e como entrada para todos os conectores de coletor em execução no cluster do Connect.
Um único cluster do Serviço Gerenciado para Apache Kafka pode ter vários clusters do Connect. Se você escolher um cluster do Serviço Gerenciado para Apache Kafka em um projeto diferente, verifique se as permissões apropriadas estão configuradas.
Não é possível atualizar para um cluster do Kafka diferente depois de criar o cluster do Connect.
Benefícios da colocation de região para latência e custos de rede
Colocar o Serviço Gerenciado para Apache Kafka e os clusters do Connect na mesma região reduz a latência e os custos de rede. Por exemplo, suponha que o
cluster do Serviço Gerenciado para Apache Kafka esteja em region-a e você esteja usando um
conector de coletor para gravar dados desse cluster do Serviço Gerenciado para Apache Kafka (origem) em uma tabela do BigQuery (coletor) que também esteja em
region-a. Se você implantar o cluster do Connect em region-a, essa escolha de implantação
vai minimizar a latência da operação de gravação do BigQuery e
eliminar os custos de transferência de rede entre regiões entre o
cluster do Serviço Gerenciado para Apache Kafka e o cluster do Connect.
Considerações sobre latência e custo de vários sistemas
O Kafka Connect usa conectores para mover dados entre sistemas. Um lado do conector sempre interage com um cluster do Serviço Gerenciado para Apache Kafka. Um único cluster do Kafka Connect pode executar vários conectores, cada um atuando como uma origem (extraindo dados de um sistema) ou um coletor (enviando dados para um sistema).
Embora um cluster do Connect na mesma região que o cluster do Serviço Gerenciado para Apache Kafka se beneficie de uma latência de comunicação menor entre eles, cada conector também interage com outro sistema, como uma tabela do BigQuery ou outro cluster do Kafka. Mesmo que o cluster do Connect e o cluster do Serviço Gerenciado para Apache Kafka estejam no mesmo local, esse outro sistema pode estar em uma região diferente. Isso aumenta a latência e o custo. A latência geral do pipeline depende dos locais dos três sistemas: o cluster do Serviço Gerenciado para Apache Kafka, o cluster do Connect e o sistema de origem ou de destino.
Por exemplo, se o cluster do Serviço Gerenciado para Apache Kafka estiver em
region-a, o cluster do Connect em region-b e você estiver usando um
conector do Cloud Storage para um bucket em region-c, você vai receber cobranças por dois
saltos de rede (region-a para region-b e depois region-b para region-c, ou o
contrário, dependendo da direção do conector).
Considere cuidadosamente todas as regiões envolvidas ao planejar o posicionamento do cluster do Connect para otimizar a latência e o custo.
Configuração de capacidade
A configuração da capacidade exige que você defina o número de vCPUs e a quantidade de memória para cada vCPU do cluster do Connect. É possível atualizar a capacidade de um cluster do Connect depois de criá-lo. Confira abaixo as propriedades para configuração de capacidade:
vCPUs: o número de vCPUs atribuídas a um cluster do Connect. O valor mínimo é de 3 vCPUs.
Memória: a quantidade de memória atribuída a cada vCPU. É preciso provisionar entre 1 GiB e 8 GiB por vCPU. A quantidade de memória pode ser aumentada ou diminuída dentro desses limites após a criação do cluster.
Por exemplo, se você criar um cluster com 6 vCPUs, a memória mínima que pode ser alocada para o cluster será de 6 GiB (1 GiB por vCPU), e o máximo será de 48 GiB (8 GiB por vCPU).
A vCPU e a memória alocadas para cada worker em um cluster do Connect têm um impacto significativo no desempenho, na capacidade e no custo do cluster. Veja como a vCPU e a memória afetam um cluster do Connect.
Contagem de vCPU
O Kafka Connect divide o trabalho de um conector em tarefas. Cada tarefa pode processar dados em paralelo. Mais vCPUs significam que mais tarefas podem ser executadas simultaneamente, o que leva a uma maior capacidade de processamento.
Mais vCPUs aumentam os custos do cluster do Connect.
Memória
O Kafka Connect usa memória para armazenar dados em buffer enquanto eles fluem entre os conectores e o Serviço Gerenciado para Apache Kafka. Uma memória maior permite buffers maiores. Uma memória grande pode melhorar a capacidade de processamento, especialmente para fluxos de dados de alto volume. Os conectores que lidam com mensagens ou registros muito grandes exigem memória suficiente para processá-los sem que ocorram exceções
OutOfMemoryError.Mais memória aumenta o custo do cluster do Connect.
Se você estiver usando uma lógica de transformação pesada, vai precisar de mais alocação de memória.
Seu objetivo é escolher a configuração de capacidade certa para o cluster do Connect. Para isso, você precisa entender a capacidade de processamento que o cluster do Connect pode processar.
Sub-rede de worker (principal)
A sub-rede de worker, também conhecida como sub-rede principal, conecta sua rede VPC ao cluster do Connect. Essa sub-rede permite que os workers do cluster alcancem os endpoints de origens e coletores na rede do consumidor, como clusters do Serviço Gerenciado para Apache Kafka ou clusters do Kafka auto-hospedados.
Confira alguns requisitos para configurar a sub-rede de worker:
A sub-rede do worker é obrigatória.
A sub-rede precisa estar na mesma região do cluster do Connect.
A sub-rede precisa estar na mesma VPC pai que uma das sub-redes conectadas da lista do cluster principal do Kafka.
O intervalo CIDR da sub-rede precisa ter um tamanho mínimo de /22 (1.024 endereços).
Os workers do cluster recebem endereços IP na sub-rede do worker usando uma interface do Private Service Connect. Os workers podem alcançar qualquer destino de rede acessível pela rede VPC da sub-rede, com os seguintes requisitos:
- O endpoint não pode estar no intervalo CIDR
172.16.0.0/14. Esse intervalo é reservado para uso interno do Serviço Gerenciado para Apache Kafka Connect. - As regras de firewall precisam permitir o tráfego. Consulte Configurar a segurança para anexos de rede.
- Para o tráfego da Internet, é necessário configurar um Cloud NAT. Por exemplo, um Cloud NAT é necessário para que um conector do MirrorMaker replique dados de um cluster do Kafka acessível pela Internet.
- Para acessar endpoints do Private Service Connect que estão em uma VPC diferente da VPC da sub-rede do worker, verifique se você está usando uma configuração de consumidor compatível (por exemplo, NCC). Para mais informações, consulte Sobre como acessar serviços publicados por meio de endpoints.
Domínios DNS solucionáveis
Os domínios DNS resolvidos, também conhecidos como nomes de domínio DNS, permitem que os endereços DNS na rede VPC do consumidor sejam disponibilizados para a VPC do locatário. Isso permite que o cluster do Connect resolva nomes DNS para endereços IP, facilitando a comunicação com outros serviços, incluindo outros clusters do Kafka para conectores do MirrorMaker.
Para domínios DNS que podem ser resolvidos, é possível selecionar um cluster do Serviço Gerenciado para Apache Kafka. Não é necessário configurar o nome de domínio DNS para o cluster principal do Serviço Gerenciado para Apache Kafka, já que o endereço de inicialização dele é incluído automaticamente na lista de domínios DNS que podem ser resolvidos.
No entanto, também é possível especificar um domínio DNS manualmente, o que é necessário se você selecionar um cluster externo do Kafka. O domínio de DNS do cluster principal do Serviço Gerenciado para Apache Kafka é incluído automaticamente. Outros clusters do Kafka ainda exigem a configuração de domínios DNS.
Recursos do Secret Manager
Alguns conectores exigem dados sensíveis, como senhas, como parte da configuração. Para gerenciar esse tipo de dados com segurança, armazene-os no Secret Manager e conceda ao cluster do Connect acesso ao secret.
Para usar secrets do Secret Manager com o Kafka Connect, faça o seguinte:
Conceda os seguintes papéis do IAM à conta de serviço do Kafka gerenciado. Esses papéis permitem que o cluster do Connect visualize secrets e acesse os payloads deles.
- Leitor do Secret Manager (
roles/secretmanager.viewer) - Acessador de secrets do Secret Manager (
roles/secretmanager.secretAccessor)
- Leitor do Secret Manager (
Crie um secret que contenha os dados sensíveis. Para mais informações, consulte Criar um secret.
Ao criar ou atualizar o cluster do Connect, especifique os secrets que o cluster pode acessar. É possível especificar até 32 secrets por cluster do Connect.
Os secrets são montados como arquivos nos workers do cluster. Os conectores têm acesso somente leitura a esses arquivos. Ao criar um conector, as propriedades de configuração dele podem fazer referência aos secrets.
Para referenciar o caminho para um arquivo de secret, use o seguinte formato:
/var/secrets/PROJECT_NAME-SECRET_NAME-SECRET_VERSION
Exemplo:
ssl.truststore.location=/var/secrets/project1-truststore-1Para usar o valor de um secret como um valor de configuração (por exemplo, uma senha), use o seguinte formato:
${directory:/var/secrets:PROJECT_NAME-SECRET_NAME-SECRET_VERSION}Exemplo:
password=${directory:/var/secrets:project1-database_password-3}
Substitua:
- PROJECT_NAME: o nome do projeto do Google Cloud .
- SECRET_NAME: o nome do secret.
- SECRET_VERSION: a versão do secret.
Rótulos
Os rótulos são pares de chave-valor que ajudam na organização e identificação.
Eles ajudam a organizar os clusters do Connect. É possível anexar um rótulo a cada cluster do Connect e filtrar os recursos com base nesses rótulos. Exemplos de rótulos são
environment:prod, application:web-app.
Criar um cluster do Connect
Antes de criar um cluster, consulte a documentação sobre as propriedades do cluster do Connect.
A criação de um cluster do Connect leva de 20 a 30 minutos.
Console
No console do Google Cloud , acesse a página Clusters do Connect.
Clique em Criar.
No campo Nome do cluster do Connect, insira um nome para o cluster do Connect. Para mais informações, consulte Diretrizes para nomear um recurso do Serviço Gerenciado para Apache Kafka.
Na lista Cluster principal do Kafka, selecione um cluster do Serviço Gerenciado para Apache Kafka. Para mais informações, consulte Cluster principal do Kafka.
Na lista Região, selecione um local para o cluster do Connect. Para mais informações sobre como selecionar um local, consulte Cluster principal do Kafka.
Na seção Configuração de capacidade, insira valores para os seguintes campos ou mantenha os valores padrão.
No campo vCPUs, insira o número de CPUs virtuais do cluster.
No campo Memória, insira a quantidade de memória por CPU, em GiB. O valor não pode exceder 8 GiB por CPU.
Para mais informações, consulte Configuração de capacidade.
Na seção Configuração de rede, selecione uma rede VPC na lista Rede ou deixe o valor padrão. Essa lista é preenchida quando você seleciona o cluster principal do Kafka.
Na seção Sub-rede do worker, selecione uma sub-rede na lista Sub-rede ou deixe o valor padrão. Para mais informações, consulte Sub-rede de worker. O campo Caminho de URI da sub-rede é preenchido automaticamente quando você seleciona a sub-rede.
Opcional: adicione um domínio DNS solucionável. O domínio de DNS do cluster principal do Kafka é adicionado automaticamente como um domínio DNS solucionável. Para especificar outros domínios de DNS, faça o seguinte:
Abra a seção Domínios DNS solucionáveis.
Clique em Adicionar domínio DNS.
Para adicionar o domínio DNS de um cluster do Serviço Gerenciado para Apache Kafka, selecione o cluster na lista Cluster do Kafka. Caso contrário, insira o domínio DNS no campo Domínio DNS.
Clique em Concluído.
Opcional: para adicionar recursos do Secret Manager, faça o seguinte:
Abra a seção Recursos do Secret Manager.
Clique em Adicionar recurso de secret.
Na lista Secret, selecione um secret.
Na lista Versão do secret, selecione uma versão do secret.
Clique em Concluído.
Opcional: adicione rótulos para organizar seu projeto. Para adicionar um rótulo, faça o seguinte:
Expanda a seção Rótulos.
Clique em Adicionar rótulo.
No campo Chave, insira a chave do rótulo.
No campo Valor, insira o valor do rótulo.
Clique em Criar.
gcloud
-
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Execute o comando
gcloud managed-kafka connect-clusters create:gcloud managed-kafka connect-clusters create CONNECT_CLUSTER_ID \ --location=LOCATION \ --cpu=CPU \ --memory=MEMORY \ --primary-subnet=WORKER_SUBNET \ --kafka-cluster=KAFKA_CLUSTER \ [--project=PROJECT_ID] \ [--secret=SECRET] \ [--dns-name=DNS_DOMAIN_NAME] \ [--config-file=CONFIG_FILE] \ [--labels=LABELS] [--async]Substitua:
CONNECT_CLUSTER_ID: o ID ou nome do cluster do Connect. Para conferir as diretrizes de nomeação de clusters Connect, acesse Diretrizes de nomeação de recursos do Serviço Gerenciado para Apache Kafka. O nome de um cluster do Connect é imutável.
LOCATION: o local em que você cria o cluster do Connect. Precisa ser uma região do Google Cloudcom suporte. Não é possível mudar o local de um cluster do Connect após a criação. Para uma lista dos locais disponíveis, consulte Serviço Gerenciado para Apache Kafka locais. Para mais informações sobre recomendações de local, consulte Cluster principal do Kafka.
CPU: o número de vCPUs do cluster do Connect. O valor mínimo é de 3 vCPUs. Consulte Contagem de vCPUs.
MEMORY: a quantidade de memória do cluster do Connect. Use as unidades "MB", "MiB", "GB", "GiB", "TB" ou "TiB". Por exemplo, "3GiB". É preciso provisionar entre 1 GiB e 8 GiB por vCPU. Consulte Memória.
WORKER_SUBNET: a sub-rede do worker para o cluster do Connect.
O formato da sub-rede é
projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_ID.A sub-rede de worker precisa estar na mesma região do cluster do Connect.
PROJECT_ID: (opcional) o ID do projeto doGoogle Cloud . Se não for fornecido, o projeto atual será usado.
KAFKA_CLUSTER: o ID ou nome totalmente qualificado do cluster principal do Serviço Gerenciado para Apache Kafka associado ao cluster do Connect. Consulte Cluster do Kafka. O formato do cluster do Kafka é
projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID.Não é possível atualizar para um cluster do Kafka diferente depois de criar o cluster do Connect.
SECRET: (opcional) secrets a serem carregados nos workers. As versões exatas do secret do Secret Manager precisam ser fornecidas. Não há suporte para aliases. É possível carregar até 32 secrets em um cluster. Formato:
projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION_IDDNS_DOMAIN_NAME: (opcional) nomes de domínio DNS da sub-rede que serão visíveis para o cluster do Connect. O cluster do Connect pode acessar recursos usando nomes de domínio em vez de depender de endereços IP. Consulte Peering de DNS.
LABELS: (opcional) rótulos para associar ao cluster. Para mais informações sobre o formato dos rótulos, consulte Rótulos. Lista de pares de rótulos KEY=VALUE a serem adicionados. As chaves precisam começar com um caractere minúsculo e conter apenas hifens (-), sublinhados (_), caracteres minúsculos e números. Os valores precisam conter apenas hifens (-), sublinhados (_), caracteres minúsculos e números.
CONFIG_FILE: (opcional) o caminho para o arquivo JSON ou YAML que contém a configuração que é substituída pelos padrões do cluster ou do conector. Esse arquivo também é compatível com JSON ou YAML inline.
--async: (opcional) retorna imediatamente, sem aguardar a conclusão da operação em andamento. Com a flag--async, é possível continuar com outras tarefas enquanto a criação do cluster acontece em segundo plano. Se você não usar a flag, o sistema vai aguardar a conclusão da operação antes de retornar uma resposta. É preciso aguardar até que o cluster seja totalmente atualizado antes de continuar com outras tarefas.
Você vai receber uma resposta semelhante a esta:
Create request issued for: [sample-connectcluster] Check operation [projects/test-project/locations/us-east1/operations/operation-1753590328249-63ae19098cc06-64300a0a-06512d02] for status.Armazene o
OPERATION_IDpara acompanhar o progresso. Por exemplo, o valor aqui éoperation-1753590328249-63ae19098cc06-64300a0a-06512d02.
Terraform
É possível usar um recurso do Terraform para criar um cluster do Connect.
Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.
Go
Antes de testar este exemplo, siga as instruções de configuração do Go em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do Serviço Gerenciado para Apache Kafka.
Para autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials(ADC). Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Java
Antes de testar esta amostra, siga as instruções de configuração do Java em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java do Serviço Gerenciado para Apache Kafka.
Para se autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Antes de testar este exemplo, siga as instruções de configuração do Python em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do Serviço Gerenciado para Apache Kafka.
Para se autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Monitorar a operação de criação do cluster
Só é possível executar o comando a seguir se você tiver executado a CLI gcloud para criar o cluster do Connect.
A criação de um cluster do Connect geralmente leva de 20 a 30 minutos. Para acompanhar o progresso da criação do cluster, o comando
gcloud managed-kafka connect-clusters createusa uma operação de longa duração (LRO, na sigla em inglês), que pode ser monitorada com o seguinte comando:gcloud managed-kafka operations describe OPERATION_ID \ --location=LOCATIONSubstitua:
OPERATION_IDpelo valor do ID da operação da seção anterior.LOCATIONpelo valor do local da seção anterior.