Cómo ver un clúster de Connect

Puedes ver los detalles de un clúster de Connect para obtener más información sobre sus detalles de configuración, incluido el nombre del clúster principal de Google Cloud Managed Service para Apache Kafka, el estado del clúster de Connect, la asignación de recursos, la configuración de red y los conectores alojados por el clúster de Connect.

Para ver tus clústeres de Connect, puedes usar la Google Cloud consola, gcloud CLI, la biblioteca cliente o la API de Kafka administrado. No puedes usar la API de Apache Kafka de código abierto para enumerar clústeres de Connect.

Roles y permisos obligatorios para ver un clúster de Connect

Para obtener los permisos que necesitas para enumerar tus clústeres de Connect, pídele a tu administrador que te otorgue el rol de IAM de visualizador de Kafka administrado(roles/managedkafka.viewer) en tu proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para enumerar tus clústeres de Connect. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para enumerar tus clústeres de Connect:

  • Otorga el permiso de clústeres de lista en la ubicación especificada: managedkafka.connectClusters.list
  • Otorga el permiso para obtener detalles del clúster en la ubicación especificada: managedkafka.connectClusters.get

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Cómo ver los detalles de un clúster de Connect

Console

  1. En la consola de Google Cloud , ve a la página Connect Clusters.

    Ir a Connect Clusters

  2. Haz clic en el clúster de Connect que deseas ver.

  3. Se muestra la página Connect cluster con cuatro pestañas:

    • Recursos: Proporciona una vista enfocada de los conectores que se ejecutan en tu clúster, incluidos su estado operativo y tipo.
    • Configurations: Muestra las propiedades y la configuración esenciales del clúster de Connect, como el clúster principal de Kafka, el estado, la asignación de recursos y la configuración de red.
    • Registros: Proporciona una transmisión en tiempo real de las entradas de registro de tu clúster de Connect para la supervisión y la solución de problemas.
    • Supervisión: Proporciona métricas para ayudarte a supervisar el rendimiento y la utilización de recursos de tu clúster de Connect.

gcloud

  1. En la consola de Google Cloud , activa Cloud Shell.

    Activa Cloud Shell

    En la parte inferior de la consola de Google Cloud , se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.

  2. Usa el comando gcloud managed-kafka connect-clusters describe para ver los detalles de un clúster de Connect:

    gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
        --location=LOCATION
    
  3. Reemplaza lo siguiente:

    • CONNECT_CLUSTER: Es el ID del clúster de Connect que deseas ver.
    • LOCATION: Es la ubicación del clúster de Connect.

Resultado de ejemplo:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Antes de probar este ejemplo, sigue las instrucciones de configuración para Go en Instala las bibliotecas cliente. Si deseas obtener más información, consulta la documentación de referencia de la API de Go de Managed Service para Apache Kafka.

Para autenticarte en Managed Service para Apache Kafka, configura las credenciales predeterminadas de la aplicación(ADC). Para obtener más información, consulta Configura ADC para un entorno de desarrollo local.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Antes de probar este ejemplo, sigue las instrucciones de configuración para Java que se encuentran en Cómo instalar las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Managed Service para Apache Kafka en Java.

Para autenticarte en Managed Service para Apache Kafka, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Antes de probar este ejemplo, sigue las instrucciones de configuración para Python que se encuentran en Instala las bibliotecas cliente. Si deseas obtener más información, consulta la documentación de referencia de la API de Python de Managed Service para Apache Kafka.

Para autenticarte en Managed Service para Apache Kafka, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura ADC para un entorno de desarrollo local.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Descripción general de los detalles del clúster de Connect

Se muestra la página del clúster de Connect con cuatro pestañas llamadas Recursos, Configuraciones, Supervisión y Registros.

Recursos

En la pestaña Recursos de la página Conectar clúster, se resumen los tipos de conectores implementados y su estado operativo. Se muestra la siguiente información:

  • Tabla de conectores: Es una tabla que enumera todos los conectores del clúster de conexión.

    • Nombre: Es el nombre asignado a cada conector.

    • Estado: Es el estado operativo actual del conector.

    • Tipo de conector: Indica el tipo de conector, como MirrorMaker 2.0 Source, BigQuery Sink, Cloud Storage Sink o Pub/Sub Sink.

  • Filtro: Barra de búsqueda que puedes usar para filtrar conectores por sus propiedades.

Para supervisar el estado del conector, usa la pestaña Recursos.

Parámetros de configuración

En la pestaña Configurations, se muestra información sobre el estado del clúster, la asignación de recursos, la configuración de red y la configuración de DNS.

  • Clúster principal de Kafka: Muestra el nombre del clúster de Managed Service para Apache Kafka asociado con este clúster de Connect. El clúster de Connect almacena sus configuraciones y desplazamientos en el clúster de Managed Service para Apache Kafka.

  • Estado: Muestra el estado actual del clúster de Connect. Los estados posibles incluyen Active, Creating, Deleting y State_unspecified.

  • Región: Indica la región del clúster de Connect.

  • vCPUs: Muestra la cantidad de CPU virtuales asignadas al clúster de Connect. Un recuento más alto de CPU virtuales aumenta la capacidad de procesamiento del clúster.

  • Memoria: Muestra la memoria total aprovisionada del clúster de Connect.

  • Etiquetas: Muestra las etiquetas adjuntas al clúster de Connect.

  • Recursos de Secret: Enumera los secretos asociados con el clúster de Connect.

  • Subredes: Enumera las subredes asociadas con el clúster de Connect. La tabla incluye columnas para Nombre, Región y Proyecto.

  • Nombres de DNS: Muestra los nombres de DNS personalizados configurados para el clúster de Connect. Si no se configuró ningún nombre de DNS personalizado, la tabla estará vacía.

Supervisión

En la pestaña Monitoring, se proporcionan métricas que te ayudan a comprender el rendimiento y el uso de recursos de tus conectores. Las métricas incluyen lo siguiente:

  • Uso de CPU del trabajador: Uso total de CPU, en segundos de CPU virtual, para cada trabajador. Esta métrica ayuda a identificar las limitaciones de recursos.

  • Uso de memoria del trabajador: Uso de memoria actual, en bytes, para cada trabajador. Esta métrica ayuda a evitar errores de falta de memoria.

  • Tasa de bytes entrantes del conector: Tasa promedio de bytes entrantes por segundo, desde las conexiones del cliente, para cada conector. Esta métrica ayuda a evaluar las tasas de transferencia de datos.

  • Tasa de bytes salientes del conector: Tasa promedio de bytes salientes por segundo, a los servidores, desde las conexiones de clientes, para cada conector. Esta métrica ayuda a supervisar las tasas de entrega de datos.

Registros

En la pestaña Registros, se proporciona una transmisión en tiempo real de las entradas de registro de tu clúster de Connect. Usa esta pestaña para supervisar el estado y la actividad del conector, y solucionar problemas. Estas funciones te ayudan a supervisar y depurar tu clúster de Connect de manera eficaz:

  • Filtrar por gravedad: Filtra las entradas de registro por nivel de gravedad para identificar rápidamente los problemas críticos.

  • Búsqueda: Busca entradas de registro para palabras clave o frases específicas para encontrar eventos relacionados con un conector o una tarea en particular.

  • Marcas de tiempo: Las marcas de tiempo en cada entrada de registro ayudan a hacer un seguimiento de las secuencias de eventos y a identificar cuándo ocurrieron las acciones.

  • Resumen: Las entradas de registro proporcionan detalles sobre varios eventos, como el inicio y el cierre del conector, la ejecución de tareas y el procesamiento de datos.

Próximos pasos

Apache Kafka® es una marca registrada de The Apache Software Foundation o sus afiliados en Estados Unidos y otros países.