Visualizzare un cluster di connessione

Puoi visualizzare i dettagli di un cluster Connect per scoprire di più sulla sua configurazione, inclusi il nome del cluster Google Cloud Managed Service per Apache Kafka principale, lo stato del cluster Connect, l'allocazione delle risorse, le impostazioni della rete e i connettori ospitati dal cluster Connect.

Per visualizzare i cluster Connect, puoi utilizzare la console Google Cloud , gcloud CLI, la libreria client o l'API Managed Kafka. Non puoi utilizzare l'API Apache Kafka open source per elencare i cluster Connect.

Ruoli e autorizzazioni richiesti per visualizzare un cluster di connessione

Per ottenere le autorizzazioni necessarie per elencare i cluster Connect, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore Kafka gestito(roles/managedkafka.viewer) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per elencare i cluster Connect. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per elencare i cluster Connect sono necessarie le seguenti autorizzazioni:

  • Concedi l'autorizzazione per elencare i cluster nella posizione specificata: managedkafka.connectClusters.list
  • Concedi l'autorizzazione per visualizzare i dettagli del cluster nella posizione specificata: managedkafka.connectClusters.get

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Visualizzare i dettagli di un cluster di connessione

Console

  1. Nella console Google Cloud , vai alla pagina Connetti cluster.

    Vai a Connetti cluster

  2. Fai clic sul cluster Connect che vuoi visualizzare.

  3. Viene visualizzata la pagina Connetti cluster con quattro schede:

    • Risorse: fornisce una visualizzazione mirata dei connettori in esecuzione sul tuo cluster, inclusi il tipo e lo stato operativo.
    • Configurazioni: mostra le proprietà e le impostazioni essenziali del cluster di connessione, come il cluster Kafka principale, lo stato, l'allocazione delle risorse e le impostazioni di rete.
    • Log: fornisce un flusso in tempo reale di voci di log dal cluster Connect per il monitoraggio e la risoluzione dei problemi.
    • Monitoraggio: fornisce metriche per aiutarti a monitorare il rendimento e l'utilizzo delle risorse del cluster Connect.

gcloud

  1. Nella console Google Cloud , attiva Cloud Shell.

    Attiva Cloud Shell

    Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.

  2. Utilizza il comando gcloud managed-kafka connect-clusters describe per visualizzare i dettagli di un cluster Connect:

    gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
    --location=LOCATION

  3. Sostituisci quanto segue:

    • CONNECT_CLUSTER: l'ID del cluster Connect che vuoi visualizzare.
    • LOCATION: la posizione del cluster Connect.

Output di esempio:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Prima di provare questo esempio, segui le istruzioni di configurazione di Go in Installare le librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Go di Managed Service per Apache Kafka.

Per eseguire l'autenticazione in Managed Service per Apache Kafka, configura le Credenziali predefinite dell'applicazione(ADC). Per saperne di più, vedi Configura ADC per un ambiente di sviluppo locale.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java in Installare le librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Java di Managed Service per Apache Kafka.

Per eseguire l'autenticazione in Managed Service per Apache Kafka, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura ADC per un ambiente di sviluppo locale.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Prima di provare questo esempio, segui le istruzioni di configurazione di Python in Installare le librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Python di Managed Service per Apache Kafka.

Per eseguire l'autenticazione in Managed Service per Apache Kafka, configura le Credenziali predefinite dell'applicazione. Per saperne di più, vedi Configura ADC per un ambiente di sviluppo locale.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Panoramica dei dettagli del cluster di connessione

Viene visualizzata la pagina Connetti cluster con quattro schede chiamate Risorse, Configurazioni, Monitoraggio e Log.

Risorse

La scheda Risorse nella pagina Connetti cluster riepiloga i tipi di connettori di cui è stato eseguito il deployment e il relativo stato operativo. Vengono visualizzate le seguenti informazioni:

  • Tabella dei connettori: una tabella che elenca tutti i connettori del cluster Connect.

    • Nome: il nome assegnato a ogni connettore.

    • Stato: lo stato operativo attuale del connettore.

    • Tipo di connettore: indica il tipo di connettore, ad esempio MirrorMaker 2.0 Source, BigQuery Sink, Cloud Storage Sink o Pub/Sub Sink.

  • Filtro: una barra di ricerca che puoi utilizzare per filtrare i connettori in base alle loro proprietà.

Per monitorare l'integrità del connettore, utilizza la scheda Risorse.

Configurazioni

La scheda Configurazioni mostra informazioni sullo stato del cluster, sull'allocazione delle risorse, sulle impostazioni della rete e sulla configurazione DNS.

  • Cluster Kafka principale: mostra il nome del cluster Managed Service per Apache Kafka associato a questo cluster di connessione. Il cluster di connessione archivia le configurazioni e gli offset nel cluster Managed Service per Apache Kafka.

  • Stato: mostra lo stato attuale del cluster di connessione. Gli stati possibili includono Active, Creating, Deleting e State_unspecified.

  • Regione: indica la regione del cluster di connessione.

  • vCPUs: mostra il numero di CPU virtuali allocate al cluster Connect. Un numero maggiore di vCPU aumenta la capacità di elaborazione del cluster.

  • Memoria: mostra la memoria totale di cui è stato eseguito il provisioning del cluster di connessione.

  • Etichette: mostra le etichette associate al cluster di connessione.

  • Risorse secret: elenca i secret associati al cluster di connessione.

  • Subnet: elenca le subnet associate al cluster di connessione. La tabella include colonne per Nome, Regione e Progetto.

  • Nomi DNS: mostra eventuali nomi DNS personalizzati configurati per il cluster Connect. Se non sono configurati nomi DNS personalizzati, la tabella è vuota.

Monitoraggio

La scheda Monitoraggio fornisce metriche che ti aiutano a comprendere il rendimento e l'utilizzo delle risorse dei tuoi connettori. Le metriche includono:

  • Utilizzo CPU worker:utilizzo totale della CPU, in secondi vCPU, per ogni worker. Questa metrica consente di identificare i limiti delle risorse.

  • Utilizzo della memoria del worker:utilizzo attuale della memoria, in byte, per ogni worker. Questa metrica aiuta a prevenire errori di memoria insufficiente.

  • Tasso di byte in entrata del connettore:tasso di byte in entrata medio al secondo, dalle connessioni client, per ogni connettore. Questa metrica consente di valutare i tassi di importazione dei dati.

  • Tasso di byte in uscita del connettore:tasso medio di byte in uscita al secondo verso i server dalle connessioni client per ogni connettore. Questa metrica consente di monitorare i tassi di pubblicazione dei dati.

Log

La scheda Log fornisce un flusso in tempo reale delle voci di log del tuo cluster Connect. Utilizza questa scheda per monitorare l'integrità e l'attività del connettore e risolvere i problemi. Queste funzionalità ti aiutano a monitorare e eseguire il debug del cluster Connect in modo efficace:

  • Filtra per gravità:filtra le voci di log in base al livello di gravità per individuare rapidamente i problemi critici.

  • Cerca:cerca voci di log per parole chiave o frasi specifiche per trovare eventi correlati a un connettore o a un'attività particolari.

  • Timestamp:i timestamp di ogni voce di log aiutano a monitorare le sequenze di eventi e a identificare quando si sono verificate le azioni.

  • Riepilogo:le voci di log forniscono dettagli su vari eventi, ad esempio avvio e arresto del connettore, esecuzione delle attività ed elaborazione dei dati.

Passaggi successivi

Apache Kafka® è un marchio registrato di Apache Software Foundation o delle sue affiliate negli Stati Uniti e/o in altri paesi.