Criar e visualizar um cluster do Serviço Gerenciado para Apache Kafka

Criar e visualizar um cluster do Serviço Gerenciado para Apache Kafka

Saiba como criar um cluster do Serviço gerenciado para Apache Kafka com um tópico e conferir detalhes sobre ele. Use o Google Cloud console ou a Google Cloud CLI para concluir este tutorial.

Antes de começar

Console

Faça login na sua Conta do Google.

Se você ainda não tiver uma, inscreva-se agora.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

Faça login na sua Conta do Google.

Se você ainda não tiver uma, inscreva-se agora.

Instale a CLI do Google Cloud.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um projeto do Google Cloud :

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

• Selecione o projeto Google Cloud que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

Se este guia estiver usando um projeto atual, verifique se você tem as permissões necessárias para concluir o guia. Se você criou um projeto, já tem as permissões necessárias.

Verifique se o faturamento está ativado para o projeto do Google Cloud .

Ative a API Managed Kafka:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

gcloud services enable managedkafka.googleapis.com

Instale a CLI do Google Cloud.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um Google Cloud projeto.

Funções necessárias para selecionar ou criar um projeto

• Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
• Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.

Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

• Crie um projeto do Google Cloud :

  gcloud projects create PROJECT_ID

  Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

• Selecione o projeto Google Cloud que você criou:

  gcloud config set project PROJECT_ID

  Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

Se este guia estiver usando um projeto atual, verifique se você tem as permissões necessárias para concluir o guia. Se você criou um projeto, já tem as permissões necessárias.

Verifique se o faturamento está ativado para o projeto do Google Cloud .

Ative a API Managed Kafka:

Funções necessárias para ativar APIs

Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

gcloud services enable managedkafka.googleapis.com

Funções exigidas

Para receber as permissões necessárias para criar o cluster, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Editor de cluster do Kafka gerenciado (roles/managedkafka.clusterEditor)
• Editor de Managed Kafka Topic (roles/managedkafka.topicEditor)
• Usuário da rede do Compute (roles/compute.networkUser)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Criar um cluster

Console

1. Acesse a página Clusters do Serviço Gerenciado para Apache Kafka >.

   Acessar Clusters

2. Clique em Criar.
3. Na caixa Nome do cluster, insira um nome para o cluster.
4. Na lista Região, selecione um local para o cluster.
5. Em Configuração de rede, configure a sub-rede em que o cluster está acessível:
   1. Em Projeto, selecione o projeto.
   2. Em Rede, selecione a rede VPC.
   3. Em Sub-rede, selecione a sub-rede.
   4. Clique em Concluído.
6. Clique em Criar.

Depois de clicar em Criar, o estado do cluster será Creating. Quando o cluster estiver pronto, o estado será Active.

gcloud

Para criar um cluster do Kafka, execute o comando managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Substitua:

• KAFKA_CLUSTER: um nome para o cluster do Kafka
• REGION: o local do cluster
• PROJECT_ID: ID do projeto;
• SUBNET_NAME: a sub-rede em que você quer criar o cluster, por exemplo, default

Para informações sobre os locais com suporte, consulte Locais do serviço gerenciado para Apache Kafka.

O comando é executado de forma assíncrona e retorna um ID de operação:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Para acompanhar o progresso da operação de criação, use o comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Quando o cluster estiver pronto, a saída desse comando vai incluir a entrada state: ACTIVE. Para mais informações, consulte Monitorar a operação de criação de cluster.

Depois de seguir essas etapas, pode levar até 30 minutos para que o cluster fique pronto.

Enquanto espera a conclusão dessa operação, confira os tutoriais listados em Próximas etapas. Eles mostram como produzir mensagens para o cluster usando vários métodos. Quando o cluster estiver pronto, você poderá concluir qualquer um desses tutoriais.

Criar um tópico

Quando o cluster do Serviço Gerenciado para Apache Kafka estiver pronto, crie um tópico.

Console

1. Acesse a página Clusters do Serviço Gerenciado para Apache Kafka >.

   Acessar Clusters

2. Clique no nome do cluster.

3. Na página de detalhes do cluster, clique em Criar tópico.

4. Na caixa Nome do tópico, insira um nome para o tópico.

5. Clique em Criar.

gcloud

Para criar um tópico do Kafka, execute o comando managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Substitua:

• KAFKA_TOPIC_NAME: o nome do tópico do Kafka a ser criado.
• KAFKA_CLUSTER: o nome do cluster do Kafka.
• REGION: a região em que você criou o cluster do Kafka

Ver o cluster

Quando o cluster estiver pronto, você poderá conferir informações sobre ele, incluindo os tópicos, grupos de consumidores, redes e outros detalhes.

Console

1. Acesse a página Clusters do Serviço Gerenciado para Apache Kafka >.

   Acessar Clusters

2. Clique no nome do cluster. A página Detalhes do cluster mostra informações sobre o cluster. A guia Recursos mostra os recursos associados ao cluster, incluindo tópicos.

3. Para ver detalhes sobre um tópico, selecione a guia Recursos e clique no nome dele. A página Detalhes do tópico mostra informações sobre o tópico, como o número de partições e réplicas.

4. Para voltar à página Detalhes do cluster, clique em Voltar à página principal.

gcloud

1. Para ver informações sobre o cluster, execute o comando gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   Substitua:

   • KAFKA_CLUSTER: o nome do cluster.
   • REGION: a região em que você criou o cluster

   A saída desse comando é uma lista de propriedades do cluster, semelhante a esta:

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. Para conferir uma lista de tópicos no cluster, execute o comando gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   A saída inclui os tópicos que você criou, bem como os que o Serviço gerenciado para Apache Kafka cria para uso interno.

3. Para ver informações sobre um tópico, execute o comando gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   Substitua TOPIC_NAME pelo nome do tópico.

   A saída desse comando é uma lista de propriedades de tópicos, semelhante a esta:

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

Receber o endereço de bootstrap

Os clientes do Kafka usam o endereço de inicialização do cluster para estabelecer uma conexão com ele. Para acessar o endereço de inicialização, siga estas etapas:

Console

1. Acesse a página Clusters do Serviço Gerenciado para Apache Kafka >.

   Acessar Clusters

2. Clique no nome do cluster.

3. Selecione a guia Configurações.

4. O URL de inicialização está listado em URL de inicialização. Clique em Copiar para copiar o valor.

gcloud

Para acessar o URL de inicialização, execute o comando managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Substitua:

• KAFKA_CLUSTER: o nome do cluster.
• REGION: a região em que você criou o cluster

Agora você pode enviar mensagens para o cluster. Para mais informações, consulte Próximas etapas neste documento.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud e os recursos.

Console

Exclua o cluster.

1. Acesse a página Clusters do Serviço Gerenciado para Apache Kafka >.

   Acessar Clusters

2. Selecione o cluster do Kafka e clique em Excluir.

gcloud

1. Para excluir o cluster, use o comando gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

A seguir

Produza mensagens para o Kafka usando as ferramentas de linha de comando do Kafka ou criando um aplicativo cliente:

• Usar as ferramentas de linha de comando do Kafka

• Desenvolver um aplicativo produtor em Java

• Desenvolver um aplicativo produtor em Python