Ver um cluster do Connect

É possível conferir os detalhes de um cluster do Connect para saber mais sobre a configuração dele, incluindo o nome do cluster principal do Serviço gerenciado do Google Cloud para Apache Kafka, o estado do cluster do Connect, a alocação de recursos, as configurações de rede e os conectores hospedados pelo cluster do Connect.

Para ver seus clusters do Connect, use o Google Cloud console, a CLI gcloud, a biblioteca de cliente ou a API Managed Kafka. Não é possível usar a API Apache Kafka de código aberto para listar clusters do Connect.

Papéis e permissões necessários para visualizar um cluster do Connect

Para receber as permissões necessárias para listar seus clusters do Connect, peça ao administrador para conceder a você o papel Leitor do Kafka gerenciado(roles/managedkafka.viewer) do IAM no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para listar seus clusters do Connect. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para listar seus clusters do Connect:

  • Conceda a permissão de listar clusters no local especificado: managedkafka.connectClusters.list
  • Conceda a permissão para receber detalhes do cluster no local especificado: managedkafka.connectClusters.get

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Conferir os detalhes de um cluster do Connect

Console

  1. No console do Google Cloud , acesse a página Conectar clusters.

    Acessar "Conectar clusters"

  2. Clique no cluster do Connect que você quer acessar.

  3. A página "Conectar cluster" é exibida com quatro guias:

    • Recursos: oferece uma visão focada dos conectores em execução no seu cluster, incluindo o status de funcionamento e o tipo.
    • Configurações: mostra as propriedades e configurações essenciais do cluster do Connect, como o cluster principal do Kafka, o estado, a alocação de recursos e as configurações de rede.
    • Registros: fornece um fluxo em tempo real de entradas de registro do cluster do Connect para monitoramento e solução de problemas.
    • Monitoramento: fornece métricas para ajudar você a monitorar a performance e o uso de recursos do cluster do Connect.

gcloud

  1. No console do Google Cloud , ative o Cloud Shell.

    Ativar o Cloud Shell

    Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

  2. Use o comando gcloud managed-kafka connect-clusters describe para ver detalhes de um cluster do Connect:

    gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
        --location=LOCATION
    
  3. Substitua:

    • CONNECT_CLUSTER: o ID do cluster do Connect que você quer visualizar.
    • LOCATION: o local do cluster do Connect.

Exemplo de saída:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Antes de testar esta amostra, siga as instruções de configuração do Go em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do Serviço Gerenciado para Apache Kafka.

Para autenticar o Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials(ADC). Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Antes de testar esta amostra, siga as instruções de configuração do Java em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java do Serviço gerenciado para Apache Kafka.

Para autenticar no Serviço gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Antes de testar esta amostra, siga as instruções de configuração do Python em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do serviço gerenciado para Apache Kafka.

Para autenticar no Serviço gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Visão geral dos detalhes do cluster do Connect

A página "Conectar cluster" é exibida com quatro guias chamadas Recursos, Configurações, Monitoramento e Registros.

Recursos

A guia Recursos na página "Conectar cluster" resume os tipos de conectores implantados e o status de funcionamento deles. Serão exibidas as seguintes informações:

  • Tabela de conectores: uma tabela que lista todos os conectores no cluster do Connect.

    • Nome: o nome atribuído a cada conector.

    • Estado: o estado operacional atual do conector.

    • Tipo de conector: indica o tipo de conector, como MirrorMaker 2.0 Source, BigQuery Sink, Cloud Storage Sink ou Pub/Sub Sink.

  • Filtro: uma barra de pesquisa que pode ser usada para filtrar conectores por propriedades.

Para monitorar a integridade do conector, use a guia Recursos.

Configurações

A guia Configurações mostra informações sobre o estado do cluster, a alocação de recursos, as configurações de rede e a configuração de DNS.

  • Cluster principal do Kafka: mostra o nome do cluster do Serviço Gerenciado para Apache Kafka associado a este cluster do Connect. O cluster do Connect armazena as configurações e os offsets no cluster do Serviço Gerenciado para Apache Kafka.

  • Estado: mostra o estado atual do cluster do Connect. Os estados possíveis incluem Active, Creating, Deleting e State_unspecified.

  • Região: indica a região do cluster do Connect.

  • vCPUs: mostra o número de CPUs virtuais alocadas para o cluster do Connect. Uma contagem maior de vCPUs aumenta a capacidade de processamento do cluster.

  • Memória: mostra a memória total provisionada do cluster do Connect.

  • Rótulos: mostra os rótulos anexados ao cluster do Connect.

  • Recursos de secret: lista os secrets associados ao cluster do Connect.

  • Sub-redes: lista as sub-redes associadas ao cluster do Connect. A tabela inclui colunas para nome, região e projeto.

  • Nomes de DNS: mostra os nomes de DNS personalizados configurados para o cluster do Connect. Se nenhum nome DNS personalizado for configurado, a tabela vai ficar vazia.

Monitoramento

A guia Monitoramento fornece métricas que ajudam você a entender a performance e a utilização de recursos dos seus conectores. As métricas incluem:

  • Uso da CPU do worker:uso total da CPU, em segundos de vCPU, para cada worker. Essa métrica ajuda a identificar restrições de recursos.

  • Uso da memória do worker:uso atual da memória, em bytes, para cada worker. Essa métrica ajuda a evitar erros de falta de memória.

  • Taxa de bytes de entrada do conector:taxa média de bytes de entrada por segundo, de conexões de clientes, para cada conector. Essa métrica ajuda a avaliar as taxas de ingestão de dados.

  • Taxa de bytes de saída do conector:taxa média de bytes de saída por segundo, para servidores, de conexões de clientes, para cada conector. Essa métrica ajuda a monitorar as taxas de entrega de dados.

Registros

A guia Registros fornece um fluxo em tempo real de entradas de registro do cluster do Connect. Use essa guia para monitorar a integridade e a atividade do conector e resolver problemas. Esses recursos ajudam você a monitorar e depurar seu cluster do Connect de maneira eficaz:

  • Filtrar por gravidade:filtre entradas de registro por nível de gravidade para identificar rapidamente problemas críticos.

  • Pesquisa:pesquise entradas de registro usando palavras-chave ou frases específicas para encontrar eventos relacionados a um conector ou tarefa específica.

  • Carimbos de data/hora:os carimbos de data/hora em cada entrada de registro ajudam a rastrear sequências de eventos e identificar quando as ações ocorreram.

  • Resumo:as entradas de registro fornecem detalhes sobre vários eventos, como inicialização e encerramento do conector, execução de tarefas e processamento de dados.

A seguir

Apache Kafka® é uma marca registrada da The Apache Software Foundation ou afiliadas nos Estados Unidos e/ou em outros países.