Neste tutorial, mostramos como replicar dados entre clusters do Serviço gerenciado para Apache Kafka usando o conector de origem do MirrorMaker 2.0.
Os clusters podem estar no mesmo projeto ou em projetos diferentes, e podem estar na mesma região ou em regiões diferentes. Neste tutorial, você vai configurar a replicação entre regiões, mas dentro do mesmo projeto. No entanto, as etapas são as mesmas para outras combinações.
Arquitetura
Neste cenário, há três clusters:
Um cluster do Kafka cujos dados estão sendo replicados. Esse cluster é chamado de cluster de origem porque é a origem dos dados.
Um cluster do Kafka em que os dados replicados são gravados. Esse cluster é chamado de cluster de destino.
Um cluster de conexão, que permite criar e gerenciar o conector de origem do MirrorMaker 2.0.
O cluster do Connect é anexado ao cluster de destino. Para minimizar a latência das operações de gravação, coloque o cluster do Connect na mesma região do cluster de destino.
O diagrama a seguir mostra esses componentes:

A replicação de dados é realizada pelo conector de origem do MirrorMaker 2.0. Outros dois conectores do MirrorMaker 2.0 são opcionais para esse cenário:
Conector de ponto de verificação do MirrorMaker 2.0: permite failover sem problemas, garantindo que os consumidores no cluster de destino possam retomar o processamento do mesmo ponto do cluster de origem.
Conector de sinal de funcionamento do MirrorMaker 2.0: gera mensagens periódicas de sinal de funcionamento no cluster de origem do Kafka, permitindo monitorar a integridade e o status da replicação de dados.
Este tutorial não usa esses conectores opcionais. Para mais informações, consulte Quando usar o MirrorMaker 2.0.
Antes de começar
Console
- Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Verifique se você tem os seguintes papéis no projeto: Editor de cluster do Kafka gerenciado, Editor de cluster do Kafka Connect gerenciado, Editor de conector do Kafka gerenciado
Verificar os papéis
-
No console do Google Cloud , acesse a página IAM.
Acessar IAM - Selecione o projeto.
-
Na coluna Principal, encontre todas as linhas que identificam você ou um grupo no qual você está incluído. Para saber em quais grupos você está incluído, entre em contato com o administrador.
- Em todas as linhas que especificam ou incluem você, verifique a coluna Papel para ver se a lista de papéis inclui os papéis necessários.
Conceder os papéis
-
No console do Google Cloud , acesse a página IAM.
Acessar IAM - Selecione o projeto.
- Clique em Conceder acesso.
-
No campo Novos principais, digite seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.
- Clique em Selecionar um papel e pesquise o papel.
- Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
- Clique em Salvar.
-
gcloud
- Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
-
Instale a CLI do Google Cloud.
-
Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.
-
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init -
Crie ou selecione um Google Cloud projeto.
Funções necessárias para selecionar ou criar um projeto
- Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
-
Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos
(
roles/resourcemanager.projectCreator), que contém a permissãoresourcemanager.projects.create. Saiba como conceder papéis.
-
Crie um projeto do Google Cloud :
gcloud projects create PROJECT_ID
Substitua
PROJECT_IDpor um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_IDpelo nome do projeto do Google Cloud .
-
Verifique se o faturamento está ativado para o projeto do Google Cloud .
Ative a API Managed Kafka, se ela ainda não estiver ativada:
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.gcloud services enable managedkafka.googleapis.com
-
Instale a CLI do Google Cloud.
-
Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.
-
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init -
Crie ou selecione um Google Cloud projeto.
Funções necessárias para selecionar ou criar um projeto
- Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
-
Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos
(
roles/resourcemanager.projectCreator), que contém a permissãoresourcemanager.projects.create. Saiba como conceder papéis.
-
Crie um projeto do Google Cloud :
gcloud projects create PROJECT_ID
Substitua
PROJECT_IDpor um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_IDpelo nome do projeto do Google Cloud .
-
Verifique se o faturamento está ativado para o projeto do Google Cloud .
Ative a API Managed Kafka, se ela ainda não estiver ativada:
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.gcloud services enable managedkafka.googleapis.com
-
Conceda papéis à sua conta de usuário. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM:
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditorgcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Substitua:
PROJECT_ID: o ID do projeto.USER_IDENTIFIER: o identificador da sua conta de usuário . Por exemplo,myemail@example.com.ROLE: o papel do IAM que você concede à sua conta de usuário.
Criar o cluster de origem do Kafka
Nesta etapa, você vai criar um cluster do Serviço Gerenciado para Apache Kafka. Esse cluster é o cluster de origem, que contém os dados a serem replicados.
Console
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.
Clique em Criar.
Na caixa Nome do cluster, insira um nome para o cluster.
Na lista Região, selecione um local para o cluster.
Em Configuração de rede, configure a sub-rede em que o cluster está acessível.
- Em Projeto, selecione o projeto.
- Em Rede, selecione uma rede VPC no seu projeto.
- Em Sub-rede, selecione uma sub-rede.
- Clique em Concluído.
Clique em Criar.
Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.
gcloud
Para criar o cluster de origem do Kafka, execute o comando
managed-kafka clusters create.
gcloud managed-kafka clusters create SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/SOURCE_REGION/subnetworks/SOURCE_SUBNET \
--async
Substitua:
SOURCE_KAFKA_CLUSTER: um nome para o cluster do KafkaSOURCE_REGION: o local do clusterPara informações sobre os locais com suporte, consulte Locais do Serviço Gerenciado para Apache Kafka.
PROJECT_ID: ID do projeto;SOURCE_SUBNET: a sub-rede em que você quer implantar o cluster, por exemplo,default
O comando é executado de forma assíncrona e retorna um ID de operação:
Check operation [projects/PROJECT_ID/locations/SOURCE_SUBNET/operations/OPERATION_ID] for status.
Para acompanhar o progresso da operação de criação, use o comando
gcloud managed-kafka operations describe:
gcloud managed-kafka operations describe OPERATION_ID \
--location=SOURCE_REGION
Para mais informações, consulte Monitorar a operação de criação de cluster.
Criar um tópico do Kafka
Quando o cluster de origem estiver pronto, crie um tópico da seguinte maneira:
Console
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.
Clique no nome do cluster.
Na página de detalhes do cluster, clique em Criar tópico.
Na caixa Nome do tópico, insira um nome para o tópico.
Clique em Criar.
gcloud
Para criar um tópico do Kafka, execute o comando
managed-kafka topics create.
gcloud managed-kafka topics create TOPIC_NAME \
--cluster=SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--partitions=10 \
--replication-factor=3
Substitua:
TOPIC_NAME: o nome do tópico do Kafka a ser criado.SOURCE_KAFKA_CLUSTER: o nome do cluster de origem.SOURCE_REGION: a região em que você criou o cluster de origem
Criar o cluster de destino do Kafka
Nesta etapa, você vai criar um segundo cluster do Serviço Gerenciado para Apache Kafka. Esse cluster é o cluster de destino, para o qual o MirrorMaker 2.0 replica dados.
Console
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.
Clique em Criar.
Na caixa Nome do cluster, insira um nome para o cluster.
Na lista Região, selecione um local para o cluster. Escolha uma região diferente de onde o cluster de origem está localizado.
Em Configuração de rede, configure a sub-rede em que o cluster de destino está acessível. A sub-rede precisa estar na mesma rede VPC que a sub-rede do cluster de origem.
- Em Projeto, selecione o projeto.
- Em Rede, selecione a mesma rede VPC que a sub-rede do cluster de origem.
- Em Sub-rede, selecione a sub-rede.
- Clique em Concluído.
Clique em Criar.
Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.
gcloud
Para criar o cluster de destino do Kafka, execute o comando
managed-kafka clusters create.
gcloud managed-kafka clusters create TARGET_KAFKA_CLUSTER \
--location=TARGET_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
--async
Substitua:
TARGET_KAFKA_CLUSTER: um nome para o cluster do KafkaTARGET_REGION: o local do cluster. Escolha uma região diferente de onde o cluster de origem está localizado.Para informações sobre os locais com suporte, consulte Locais do Serviço Gerenciado para Apache Kafka.
PROJECT_ID: ID do projeto;TARGET_SUBNET: a sub-rede em que você quer implantar o cluster, por exemplo,defaultSelecione uma sub-rede na mesma VPC do cluster de origem.
Criar um cluster do Connect
Nesta etapa, você vai criar um cluster do Connect. A criação de um cluster do Connect geralmente leva de 20 a 30 minutos.
Antes de iniciar esta etapa, verifique se o cluster do Kafka de destino da etapa anterior foi totalmente criado.
Console
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.
Clique em Criar.
Em Nome do cluster do Connect, insira uma string. Por exemplo:
my-connect-cluster.Em Cluster principal do Kafka, selecione o cluster do Kafka de destino que você criou na etapa anterior. Não selecione o cluster de origem do Kafka.
Em Local, Configuração de rede e Sub-rede do worker, é possível usar os valores padrão ou personalizar de acordo com seus requisitos específicos.
Para permitir que o cluster do Connect resolva o domínio DNS do cluster de origem, siga estas etapas:
Abra Domínios DNS solucionáveis.
Clique em Adicionar um domínio DNS.
Na lista Cluster do Kafka, selecione o cluster de origem.
Clique em Criar.
Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.
gcloud
Para criar um cluster do Connect, execute o comando
gcloud managed-kafka connect-clusters create.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=TARGET_REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
--kafka-cluster=TARGET_KAFKA_CLUSTER \
--dns-name=SOURCE_KAFKA_CLUSTER.SOURCE_REGION.managedkafka.PROJECT_ID.cloud.goog. \
--async
Substitua:
CONNECT_CLUSTER: um nome para o cluster do Connect.TARGET_REGION: a região em que você criou o cluster de destino do KafkaPROJECT_ID: ID do projeto;TARGET_SUBNET: a sub-rede em que você criou o cluster do Kafka de destinoTARGET_KAFKA_CLUSTER: o nome do cluster do Kafka de destino.SOURCE_KAFKA_CLUSTER: o nome do cluster de origem do KafkaSOURCE_REGION: a região em que você criou o cluster Kafka de origem
O comando é executado de forma assíncrona e retorna um ID de operação:
Check operation [projects/PROJECT_ID/locations/TARGET_REGION/operations/OPERATION_ID] for status.
Para acompanhar o progresso da operação de criação, use o comando
gcloud managed-kafka operations describe:
gcloud managed-kafka operations describe OPERATION_ID \
--location=TARGET_REGION
Para mais informações, consulte Monitorar a operação de criação de cluster.
Criar um conector de origem do MirrorMaker 2.0
Nesta etapa, você vai criar um conector de origem do MirrorMaker 2.0. Esse conector replica mensagens do cluster de origem para o cluster de destino do Kafka.
Console
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.
Clique no nome do cluster do Connect.
Clique em Criar conector.
Em Nome do conector, insira uma string. Exemplo:
mm2-connector.Na lista Plug-in do conector, selecione
MirrorMaker 2.0 Source.Em Cluster de origem, selecione Cluster do Serviço Gerenciado para Apache Kafka.
Na lista Cluster do Kafka, selecione o cluster de origem.
Na caixa Nomes de tópicos ou regex de tópicos separados por vírgulas, insira o nome do tópico ou dos tópicos do Kafka que você quer replicar.
Clique em Criar.
gcloud
Execute o comando
gcloud managed-kafka clusters describepara receber o endereço de inicialização do cluster de origem do Kafka.gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \ --location=SOURCE_REGION \ --project=PROJECT_ID \ --format="value(bootstrapAddress)"Substitua:
SOURCE_KAFKA_CLUSTER: o nome do cluster do Kafka de origem.SOURCE_REGION: a região do cluster de origemPROJECT_ID: ID do projeto;
Execute o comando anterior novamente para receber o endereço de inicialização do cluster de destino do Kafka.
gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \ --location=TARGET_REGION \ --project=PROJECT_ID \ --format="value(bootstrapAddress)"Substitua:
TARGET_KAFKA_CLUSTER: o nome do cluster do Kafka de destino.TARGET_REGION: a região do cluster de destino.
Para criar um conector de origem do MirrorMaker 2.0, execute o comando
gcloud managed-kafka connectors create.gcloud managed-kafka connectors create CONNECTOR_NAME \ --location=TARGET_REGION \ --connect-cluster=CONNECT_CLUSTER \ --configs=connector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector,\ source.cluster.alias=source,\ source.cluster.bootstrap.servers=SOURCE_CLUSTER_BOOTSTRAP_ADDRESS,\ target.cluster.alias=target,\ target.cluster.bootstrap.servers=TARGET_CLUSTER_BOOTSTRAP_ADDRESS,\ tasks.max=3,\ topics=TOPIC_NAMESubstitua:
CONNECTOR_NAME: um nome para o conector, comomm2-connectorCONNECT_CLUSTER: o nome do cluster do Connect.SOURCE_CLUSTER_BOOTSTRAP_ADDRESS: o endereço de bootstrap do cluster de origem, da etapa 1.TARGET_CLUSTER_BOOTSTRAP_ADDRESS: o endereço de bootstrap do cluster de destino, da etapa 2.TOPIC_NAME: o nome do tópico a ser replicado. Esse parâmetro também pode especificar uma lista separada por vírgulas de nomes de tópicos ou uma expressão regular.
O conector de origem do MirrorMaker 2.0 cria um novo tópico no cluster de destino
chamado "source.TOPIC_NAME", em que
TOPIC_NAME é o nome do tópico no cluster de
origem.
Ver resultados
Para verificar se as mensagens estão sendo replicadas, use as ferramentas de linha de comando do Kafka. Para informações sobre como configurar a CLI do Kafka, consulte Configurar uma máquina cliente no documento Produzir e consumir mensagens com a CLI.
Por exemplo, para enviar uma mensagem ao cluster de origem, digite o seguinte na linha de comando:
export BOOTSTRAP=$(gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--project=PROJECT_ID \
--format="value(bootstrapAddress)"
)
for msg in {1..10}; do
echo "message $msg"
done | kafka-console-producer.sh --topic TOPIC_NAME \
--bootstrap-server $BOOTSTRAP --producer.config client.properties
Para ler as mensagens duplicadas do cluster de destino, insira o seguinte na linha de comando:
export BOOTSTRAP=$(gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
--location=TARGET_REGION \
--project=PROJECT_ID \
--format="value(bootstrapAddress)"
)
kafka-console-consumer.sh --topic source.TOPIC_NAME --from-beginning \
--bootstrap-server $BOOTSTRAP --consumer.config client.properties
A saída será assim:
message 1
message 2
message 3
message 4
[...]
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Console
Exclua o cluster do Connect.
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.
Selecione o cluster de conexão e clique em Excluir.
Exclua o cluster do Kafka de origem.
Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.
Selecione o cluster do Kafka e clique em Excluir.
Repita a etapa anterior para excluir o cluster de destino do Kafka.
gcloud
Para excluir o cluster do Connect, use o comando
gcloud managed-kafka connect-clusters delete.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=TARGET_REGION --asyncPara excluir o cluster de origem do Kafka, use o comando
gcloud managed-kafka clusters delete.gcloud managed-kafka clusters delete SOURCE_KAFKA_CLUSTER \ --location=SOURCE_REGION --asyncRepita a etapa anterior para excluir o cluster de destino do Kafka.
gcloud managed-kafka clusters delete TARGET_KAFKA_CLUSTER \ --location=TARGET_REGION --async
A seguir
- Resolver problemas em um conector do MirrorMaker 2.0
- Saiba mais sobre o conector do MirrorMaker 2.0.
- Saiba mais sobre o Kafka Connect.