Ver um cluster do Connect

É possível conferir os detalhes de um cluster do Connect para saber mais sobre a configuração dele, incluindo o nome do cluster principal do Serviço gerenciado do Google Cloud para Apache Kafka, o estado do cluster do Connect, a alocação de recursos, as configurações de rede e os conectores hospedados pelo cluster do Connect.

Para ver seus clusters do Connect, use o Google Cloud console, a CLI gcloud, a biblioteca de cliente ou a API Managed Kafka. Não é possível usar a API Apache Kafka de código aberto para listar clusters do Connect.

Papéis e permissões necessários para visualizar um cluster do Connect

Para receber as permissões necessárias para listar seus clusters do Connect, peça ao administrador para conceder a você o papel do IAM de Leitor do Kafka gerenciado(roles/managedkafka.viewer) no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para listar seus clusters do Connect. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para listar seus clusters do Connect:

Conceda a permissão para listar clusters no local especificado: managedkafka.connectClusters.list
Conceda a permissão para receber detalhes do cluster no local especificado: managedkafka.connectClusters.get

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre a função de leitor do Kafka gerenciado, consulte Funções predefinidas do serviço gerenciado para Apache Kafka.

Conferir os detalhes de um cluster do Connect

Console

No console do Google Cloud , acesse a página Conectar clusters.

Acessar o Connect Clusters
Clique no cluster do Connect que você quer acessar.
A página "Conectar cluster" é exibida com quatro guias:
- Recursos: oferece uma visão focada dos conectores em execução no seu cluster, incluindo o status operacional e o tipo deles.
- Configurações: mostra as propriedades e configurações essenciais do cluster do Connect, como o cluster principal do Kafka, o estado, a alocação de recursos e as configurações de rede.
- Registros: fornece um fluxo em tempo real de entradas de registro do cluster do Connect para monitoramento e solução de problemas.
- Monitoramento: fornece métricas para ajudar você a monitorar o desempenho e a utilização de recursos do cluster do Connect.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Use o comando gcloud managed-kafka connect-clusters describe para conferir os detalhes de um cluster do Connect:
```
gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
    --location=LOCATION
```
Substitua:
- CONNECT_CLUSTER: o ID do cluster do Connect que você quer visualizar.
- LOCATION: o local do cluster do Connect.

Exemplo de saída:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Antes de testar esta amostra, siga as instruções de configuração do Go em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do serviço gerenciado para Apache Kafka.

Para autenticar o Managed Service para Apache Kafka, configure o Application Default Credentials(ADC). Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Antes de testar esta amostra, siga as instruções de configuração do Java em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java do serviço gerenciado para Apache Kafka.

Para autenticar o serviço gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Antes de testar esta amostra, siga as instruções de configuração do Python em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do serviço gerenciado para Apache Kafka.

Para autenticar o serviço gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Visão geral dos detalhes do cluster do Connect

A página "Conectar cluster" é exibida com quatro guias chamadas Recursos, Configurações, Monitoramento e Registros.

Recursos

A guia Recursos na página "Conectar cluster" resume os tipos de conectores implantados e o status operacional deles. Serão exibidas as seguintes informações:

Tabela de conectores: uma tabela que lista todos os conectores no cluster do Connect.
- Nome: o nome atribuído a cada conector.
- Estado: o estado operacional atual do conector.
- Tipo de conector: indica o tipo de conector, como MirrorMaker 2.0 Source, BigQuery Sink, Cloud Storage Sink ou Pub/Sub Sink.
Filtro: uma barra de pesquisa que pode ser usada para filtrar conectores pelas propriedades deles.

Para monitorar a integridade do conector, use a guia Recursos.

Configurações

A guia Configurações mostra informações sobre o estado do cluster, alocação de recursos, configurações de rede e configuração de DNS.

Cluster principal do Kafka: mostra o nome do cluster do Serviço gerenciado para Apache Kafka associado a este cluster do Connect. O cluster do Connect armazena as configurações e os offsets no cluster do Serviço Gerenciado para Apache Kafka.
Estado: mostra o estado atual do cluster do Connect. Os estados possíveis incluem Active, Creating, Deleting e State_unspecified.
Região: indica a região do cluster do Connect.
vCPUs: mostra o número de CPUs virtuais alocadas para o cluster do Connect. Uma contagem maior de vCPUs aumenta a capacidade de processamento do cluster.
Memória: mostra a memória total provisionada do cluster do Connect.
Rótulos: mostra os rótulos anexados ao cluster do Connect.
Recursos de secret: lista os secrets associados ao cluster do Connect.
Sub-redes: lista as sub-redes associadas ao cluster do Connect. A tabela inclui colunas para "Nome", "Região" e "Projeto".
Nomes DNS: mostra os nomes DNS personalizados configurados para o cluster do Connect. Se nenhum nome DNS personalizado for configurado, a tabela vai ficar vazia.

Monitoramento

A guia Monitoramento fornece métricas que ajudam você a entender a performance e a utilização de recursos dos seus conectores. As métricas incluem:

Uso da CPU do worker:uso total da CPU, em segundos de vCPU, para cada worker. Essa métrica ajuda a identificar restrições de recursos.
Uso da memória do worker:uso atual da memória, em bytes, para cada worker. Essa métrica ajuda a evitar erros de falta de memória.
Taxa de bytes de entrada do conector:taxa média de bytes de entrada por segundo, de conexões de clientes, para cada conector. Essa métrica ajuda a avaliar as taxas de ingestão de dados.
Taxa de bytes de saída do conector:taxa média de bytes de saída por segundo, para servidores, de conexões de clientes, para cada conector. Essa métrica ajuda a monitorar as taxas de entrega de dados.

Registros

A guia Registros fornece um fluxo em tempo real de entradas de registro do cluster do Connect. Use essa guia para monitorar a integridade e a atividade do conector e resolver problemas. Esses recursos ajudam você a monitorar e depurar seu cluster do Connect de maneira eficaz:

Filtrar por gravidade:filtre entradas de registro por nível de gravidade para identificar rapidamente problemas críticos.
Pesquisa:pesquise entradas de registro usando palavras-chave ou frases específicas para encontrar eventos relacionados a um conector ou tarefa específica.
Carimbos de data/hora:os carimbos de data/hora em cada entrada de registro ajudam a rastrear sequências de eventos e identificar quando as ações ocorreram.
Resumo:as entradas de registro fornecem detalhes sobre vários eventos, como inicialização e encerramento do conector, execução de tarefas e processamento de dados.

A seguir

Apache Kafka® é uma marca registrada da The Apache Software Foundation ou afiliadas nos Estados Unidos e/ou em outros países.

Ver um cluster do Connect Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.