Replicar tópicos do Kafka com o MirrorMaker 2.0

Neste tutorial, mostramos como replicar dados entre clusters do Serviço gerenciado para Apache Kafka usando o conector de origem do MirrorMaker 2.0.

Os clusters podem estar no mesmo projeto ou em projetos diferentes, e podem estar na mesma região ou em regiões diferentes. Neste tutorial, você vai configurar a replicação entre regiões, mas dentro do mesmo projeto. No entanto, as etapas são as mesmas para outras combinações.

Arquitetura

Neste cenário, há três clusters:

  • Um cluster do Kafka cujos dados estão sendo replicados. Esse cluster é chamado de cluster de origem porque é a origem dos dados.

  • Um cluster do Kafka em que os dados replicados são gravados. Esse cluster é chamado de cluster de destino.

  • Um cluster de conexão, que permite criar e gerenciar o conector de origem do MirrorMaker 2.0.

O cluster do Connect é anexado ao cluster de destino. Para minimizar a latência das operações de gravação, coloque o cluster do Connect na mesma região do cluster de destino.

O diagrama a seguir mostra esses componentes:

Arquitetura do cenário de replicação de dados do Kafka

A replicação de dados é realizada pelo conector de origem do MirrorMaker 2.0. Outros dois conectores do MirrorMaker 2.0 são opcionais para esse cenário:

  • Conector de ponto de verificação do MirrorMaker 2.0: permite failover sem problemas, garantindo que os consumidores no cluster de destino possam retomar o processamento do mesmo ponto do cluster de origem.

  • Conector de sinal de funcionamento do MirrorMaker 2.0: gera mensagens periódicas de sinal de funcionamento no cluster de origem do Kafka, permitindo monitorar a integridade e o status da replicação de dados.

Este tutorial não usa esses conectores opcionais. Para mais informações, consulte Quando usar o MirrorMaker 2.0.

Antes de começar

Console

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Verifique se você tem os seguintes papéis no projeto: Editor de cluster do Kafka gerenciado, Editor de cluster do Kafka Connect gerenciado, Editor de conector do Kafka gerenciado

    Verificar os papéis

    1. No console do Google Cloud , acesse a página IAM.

      Acessar IAM
    2. Selecione o projeto.
    3. Na coluna Principal, encontre todas as linhas que identificam você ou um grupo no qual você está incluído. Para saber em quais grupos você está incluído, entre em contato com o administrador.

    4. Em todas as linhas que especificam ou incluem você, verifique a coluna Papel para ver se a lista de papéis inclui os papéis necessários.

    Conceder os papéis

    1. No console do Google Cloud , acesse a página IAM.

      Acessar IAM
    2. Selecione o projeto.
    3. Clique em Conceder acesso.
    4. No campo Novos principais, digite seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

    5. Clique em Selecionar um papel e pesquise o papel.
    6. Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
    7. Clique em Salvar.

gcloud

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
  2. Instale a CLI do Google Cloud.

  3. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  4. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  5. Crie ou selecione um Google Cloud projeto.

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
    • Crie um projeto do Google Cloud :

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o projeto do Google Cloud que você está criando.

    • Selecione o projeto Google Cloud que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

  6. Verifique se o faturamento está ativado para o projeto do Google Cloud .

  7. Ative a API Managed Kafka, se ela ainda não estiver ativada:

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    gcloud services enable managedkafka.googleapis.com
  8. Instale a CLI do Google Cloud.

  9. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  10. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  11. Crie ou selecione um Google Cloud projeto.

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
    • Crie um projeto do Google Cloud :

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o projeto do Google Cloud que você está criando.

    • Selecione o projeto Google Cloud que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

  12. Verifique se o faturamento está ativado para o projeto do Google Cloud .

  13. Ative a API Managed Kafka, se ela ainda não estiver ativada:

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    gcloud services enable managedkafka.googleapis.com
  14. Conceda papéis à sua conta de usuário. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Substitua:

    • PROJECT_ID: o ID do projeto.
    • USER_IDENTIFIER: o identificador da sua conta de usuário . Por exemplo, myemail@example.com.
    • ROLE: o papel do IAM que você concede à sua conta de usuário.

Criar o cluster de origem do Kafka

Nesta etapa, você vai criar um cluster do Serviço Gerenciado para Apache Kafka. Esse cluster é o cluster de origem, que contém os dados a serem replicados.

Console

  1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.

    Acessar Clusters

  2. Clique em Criar.

  3. Na caixa Nome do cluster, insira um nome para o cluster.

  4. Na lista Região, selecione um local para o cluster.

  5. Em Configuração de rede, configure a sub-rede em que o cluster está acessível.

    1. Em Projeto, selecione o projeto.
    2. Em Rede, selecione uma rede VPC no seu projeto.
    3. Em Sub-rede, selecione uma sub-rede.
    4. Clique em Concluído.
  6. Clique em Criar.

Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.

gcloud

Para criar o cluster de origem do Kafka, execute o comando managed-kafka clusters create.

gcloud managed-kafka clusters create SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/SOURCE_REGION/subnetworks/SOURCE_SUBNET \
--async

Substitua:

  • SOURCE_KAFKA_CLUSTER: um nome para o cluster do Kafka
  • SOURCE_REGION: o local do cluster

    Para informações sobre os locais com suporte, consulte Locais do Serviço Gerenciado para Apache Kafka.

  • PROJECT_ID: ID do projeto;

  • SOURCE_SUBNET: a sub-rede em que você quer implantar o cluster, por exemplo, default

O comando é executado de forma assíncrona e retorna um ID de operação:

Check operation [projects/PROJECT_ID/locations/SOURCE_SUBNET/operations/OPERATION_ID] for status.

Para acompanhar o progresso da operação de criação, use o comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=SOURCE_REGION

Para mais informações, consulte Monitorar a operação de criação de cluster.

Criar um tópico do Kafka

Quando o cluster de origem estiver pronto, crie um tópico da seguinte maneira:

Console

  1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.

    Acessar Clusters

  2. Clique no nome do cluster.

  3. Na página de detalhes do cluster, clique em Criar tópico.

  4. Na caixa Nome do tópico, insira um nome para o tópico.

  5. Clique em Criar.

gcloud

Para criar um tópico do Kafka, execute o comando managed-kafka topics create.

gcloud managed-kafka topics create TOPIC_NAME \
--cluster=SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--partitions=10 \
--replication-factor=3

Substitua:

  • TOPIC_NAME: o nome do tópico do Kafka a ser criado.
  • SOURCE_KAFKA_CLUSTER: o nome do cluster de origem.
  • SOURCE_REGION: a região em que você criou o cluster de origem

Criar o cluster de destino do Kafka

Nesta etapa, você vai criar um segundo cluster do Serviço Gerenciado para Apache Kafka. Esse cluster é o cluster de destino, para o qual o MirrorMaker 2.0 replica dados.

Console

  1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.

    Acessar Clusters

  2. Clique em Criar.

  3. Na caixa Nome do cluster, insira um nome para o cluster.

  4. Na lista Região, selecione um local para o cluster. Escolha uma região diferente de onde o cluster de origem está localizado.

  5. Em Configuração de rede, configure a sub-rede em que o cluster de destino está acessível. A sub-rede precisa estar na mesma rede VPC que a sub-rede do cluster de origem.

    1. Em Projeto, selecione o projeto.
    2. Em Rede, selecione a mesma rede VPC que a sub-rede do cluster de origem.
    3. Em Sub-rede, selecione a sub-rede.
    4. Clique em Concluído.
  6. Clique em Criar.

Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.

gcloud

Para criar o cluster de destino do Kafka, execute o comando managed-kafka clusters create.

gcloud managed-kafka clusters create TARGET_KAFKA_CLUSTER \
--location=TARGET_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
--async

Substitua:

  • TARGET_KAFKA_CLUSTER: um nome para o cluster do Kafka
  • TARGET_REGION: o local do cluster. Escolha uma região diferente de onde o cluster de origem está localizado.

    Para informações sobre os locais com suporte, consulte Locais do Serviço Gerenciado para Apache Kafka.

  • PROJECT_ID: ID do projeto;

  • TARGET_SUBNET: a sub-rede em que você quer implantar o cluster, por exemplo, default

    Selecione uma sub-rede na mesma VPC do cluster de origem.

Criar um cluster do Connect

Nesta etapa, você vai criar um cluster do Connect. A criação de um cluster do Connect geralmente leva de 20 a 30 minutos.

Antes de iniciar esta etapa, verifique se o cluster do Kafka de destino da etapa anterior foi totalmente criado.

Console

  1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.

    Acessar "Conectar clusters"

  2. Clique em Criar.

  3. Em Nome do cluster do Connect, insira uma string. Por exemplo: my-connect-cluster.

  4. Em Cluster principal do Kafka, selecione o cluster do Kafka de destino que você criou na etapa anterior. Não selecione o cluster de origem do Kafka.

  5. Em Local, Configuração de rede e Sub-rede do worker, é possível usar os valores padrão ou personalizar de acordo com seus requisitos específicos.

  6. Para permitir que o cluster do Connect resolva o domínio DNS do cluster de origem, siga estas etapas:

    1. Abra Domínios DNS solucionáveis.

    2. Clique em Adicionar um domínio DNS.

    3. Na lista Cluster do Kafka, selecione o cluster de origem.

  7. Clique em Criar.

Enquanto o cluster está sendo criado, o estado dele é Creating. Quando o cluster terminar de ser criado, o estado será Active.

gcloud

Para criar um cluster do Connect, execute o comando gcloud managed-kafka connect-clusters create.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=TARGET_REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
  --kafka-cluster=TARGET_KAFKA_CLUSTER \
  --dns-name=SOURCE_KAFKA_CLUSTER.SOURCE_REGION.managedkafka.PROJECT_ID.cloud.goog. \
  --async

Substitua:

  • CONNECT_CLUSTER: um nome para o cluster do Connect.
  • TARGET_REGION: a região em que você criou o cluster de destino do Kafka
  • PROJECT_ID: ID do projeto;
  • TARGET_SUBNET: a sub-rede em que você criou o cluster do Kafka de destino
  • TARGET_KAFKA_CLUSTER: o nome do cluster do Kafka de destino.
  • SOURCE_KAFKA_CLUSTER: o nome do cluster de origem do Kafka
  • SOURCE_REGION: a região em que você criou o cluster Kafka de origem

O comando é executado de forma assíncrona e retorna um ID de operação:

Check operation [projects/PROJECT_ID/locations/TARGET_REGION/operations/OPERATION_ID] for status.

Para acompanhar o progresso da operação de criação, use o comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=TARGET_REGION

Para mais informações, consulte Monitorar a operação de criação de cluster.

Criar um conector de origem do MirrorMaker 2.0

Nesta etapa, você vai criar um conector de origem do MirrorMaker 2.0. Esse conector replica mensagens do cluster de origem para o cluster de destino do Kafka.

Console

  1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.

    Acessar "Conectar clusters"

  2. Clique no nome do cluster do Connect.

  3. Clique em Criar conector.

  4. Em Nome do conector, insira uma string. Exemplo: mm2-connector.

  5. Na lista Plug-in do conector, selecione MirrorMaker 2.0 Source.

  6. Em Cluster de origem, selecione Cluster do Serviço Gerenciado para Apache Kafka.

  7. Na lista Cluster do Kafka, selecione o cluster de origem.

  8. Na caixa Nomes de tópicos ou regex de tópicos separados por vírgulas, insira o nome do tópico ou dos tópicos do Kafka que você quer replicar.

  9. Clique em Criar.

gcloud

  1. Execute o comando gcloud managed-kafka clusters describe para receber o endereço de inicialização do cluster de origem do Kafka.

    gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
      --location=SOURCE_REGION \
      --project=PROJECT_ID \
      --format="value(bootstrapAddress)"
    

    Substitua:

    • SOURCE_KAFKA_CLUSTER: o nome do cluster do Kafka de origem.
    • SOURCE_REGION: a região do cluster de origem
    • PROJECT_ID: ID do projeto;
  2. Execute o comando anterior novamente para receber o endereço de inicialização do cluster de destino do Kafka.

    gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
      --location=TARGET_REGION \
      --project=PROJECT_ID \
      --format="value(bootstrapAddress)"
    

    Substitua:

    • TARGET_KAFKA_CLUSTER: o nome do cluster do Kafka de destino.
    • TARGET_REGION: a região do cluster de destino.
  3. Para criar um conector de origem do MirrorMaker 2.0, execute o comando gcloud managed-kafka connectors create.

    gcloud managed-kafka connectors create CONNECTOR_NAME \
      --location=TARGET_REGION \
      --connect-cluster=CONNECT_CLUSTER \
      --configs=connector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector,\
    source.cluster.alias=source,\
    source.cluster.bootstrap.servers=SOURCE_CLUSTER_BOOTSTRAP_ADDRESS,\
    target.cluster.alias=target,\
    target.cluster.bootstrap.servers=TARGET_CLUSTER_BOOTSTRAP_ADDRESS,\
    tasks.max=3,\
    topics=TOPIC_NAME
    

    Substitua:

    • CONNECTOR_NAME: um nome para o conector, como mm2-connector
    • CONNECT_CLUSTER: o nome do cluster do Connect.
    • SOURCE_CLUSTER_BOOTSTRAP_ADDRESS: o endereço de bootstrap do cluster de origem, da etapa 1.
    • TARGET_CLUSTER_BOOTSTRAP_ADDRESS: o endereço de bootstrap do cluster de destino, da etapa 2.
    • TOPIC_NAME: o nome do tópico a ser replicado. Esse parâmetro também pode especificar uma lista separada por vírgulas de nomes de tópicos ou uma expressão regular.

O conector de origem do MirrorMaker 2.0 cria um novo tópico no cluster de destino chamado "source.TOPIC_NAME", em que TOPIC_NAME é o nome do tópico no cluster de origem.

Ver resultados

Para verificar se as mensagens estão sendo replicadas, use as ferramentas de linha de comando do Kafka. Para informações sobre como configurar a CLI do Kafka, consulte Configurar uma máquina cliente no documento Produzir e consumir mensagens com a CLI.

Por exemplo, para enviar uma mensagem ao cluster de origem, digite o seguinte na linha de comando:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
 --location=SOURCE_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

for msg in {1..10}; do
  echo "message $msg"
done | kafka-console-producer.sh --topic TOPIC_NAME \
       --bootstrap-server $BOOTSTRAP --producer.config client.properties

Para ler as mensagens duplicadas do cluster de destino, insira o seguinte na linha de comando:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
 --location=TARGET_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

kafka-console-consumer.sh --topic source.TOPIC_NAME --from-beginning \
 --bootstrap-server $BOOTSTRAP --consumer.config client.properties

A saída será assim:

message 1
message 2
message 3
message 4
[...]

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Console

  1. Exclua o cluster do Connect.

    1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters do Connect.

      Acessar "Conectar clusters"

    2. Selecione o cluster de conexão e clique em Excluir.

  2. Exclua o cluster do Kafka de origem.

    1. Acesse a página Serviço Gerenciado para Apache Kafka > Clusters.

      Acessar Clusters

    2. Selecione o cluster do Kafka e clique em Excluir.

  3. Repita a etapa anterior para excluir o cluster de destino do Kafka.

gcloud

  1. Para excluir o cluster do Connect, use o comando gcloud managed-kafka connect-clusters delete.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
      --location=TARGET_REGION --async
    
  2. Para excluir o cluster de origem do Kafka, use o comando gcloud managed-kafka clusters delete.

    gcloud managed-kafka clusters delete SOURCE_KAFKA_CLUSTER \
      --location=SOURCE_REGION --async
    
  3. Repita a etapa anterior para excluir o cluster de destino do Kafka.

    gcloud managed-kafka clusters delete TARGET_KAFKA_CLUSTER \
      --location=TARGET_REGION --async
    

A seguir