Connect-Cluster ansehen

Sie können sich die Details eines Connect-Clusters ansehen, um mehr über seine Konfigurationsdetails zu erfahren, einschließlich des Namens des primären Google Cloud Managed Service for Apache Kafka-Clusters, des Status des Connect-Clusters, der Ressourcenzuweisung, der Netzwerkeinstellungen und der vom Connect-Cluster gehosteten Connectors.

Sie können Ihre Connect-Cluster über die Google Cloud -Konsole, die gcloud CLI, die Clientbibliothek oder die Managed Kafka API aufrufen. Sie können die Open-Source-Apache Kafka API nicht verwenden, um Connect-Cluster aufzulisten.

Erforderliche Rollen und Berechtigungen zum Aufrufen eines Connect-Clusters

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Betrachter für verwaltetes Kafka“ (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Auflisten Ihrer Connect-Cluster benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Auflisten Ihrer Connect-Cluster erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Ihre Connect-Cluster aufzulisten:

  • Erteilen Sie die Berechtigung „Cluster auflisten“ für den angegebenen Standort: managedkafka.connectClusters.list
  • Erteilen Sie die Berechtigung zum Abrufen von Clusterdetails für den angegebenen Standort: managedkafka.connectClusters.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Details zu einem Connect-Cluster ansehen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Connect Clusters auf.

    Zu „Connect Clusters“

  2. Klicken Sie auf den Connect-Cluster, den Sie aufrufen möchten.

  3. Die Seite „Cluster verbinden“ wird mit vier Tabs angezeigt:

    • Ressourcen: Bietet eine fokussierte Ansicht der Connectors, die in Ihrem Cluster ausgeführt werden, einschließlich ihres Betriebsstatus und Typs.
    • Konfigurationen: Hier werden die wichtigsten Eigenschaften und Einstellungen des Connect-Clusters angezeigt, z. B. der primäre Kafka-Cluster, der Status, die Ressourcenzuweisung und die Netzwerkeinstellungen.
    • Logs: Bietet einen Echtzeitstream von Logeinträgen aus Ihrem Connect-Cluster für Monitoring und Fehlerbehebung.
    • Monitoring: Stellt Messwerte zur Verfügung, mit denen Sie die Leistung und Ressourcennutzung Ihres Connect-Clusters überwachen können.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Verwenden Sie den Befehl gcloud managed-kafka connect-clusters describe, um Details zu einem Connect-Cluster aufzurufen:

    gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
        --location=LOCATION
    
  3. Ersetzen Sie Folgendes:

    • CONNECT_CLUSTER: Die ID des Connect-Clusters, den Sie aufrufen möchten.
    • LOCATION: Der Standort des Connect-Clusters.

Beispielausgabe:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Go-Einrichtungsanleitung unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Go API für Managed Service for Apache Kafka.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung zur Einrichtung von Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Folgen Sie der Einrichtungsanleitung für Python unter Clientbibliotheken installieren, bevor Sie dieses Beispiel ausprobieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Übersicht über Details zum Connect-Cluster

Die Seite „Connect-Cluster“ wird mit vier Tabs angezeigt: Ressourcen, Konfigurationen, Monitoring und Logs.

Ressourcen

Auf dem Tab Ressourcen auf der Seite „Connect-Cluster“ werden die Arten der bereitgestellten Connectors und ihr Betriebsstatus zusammengefasst. Folgende Informationen werden angezeigt:

  • Tabelle mit Connectors: Eine Tabelle mit allen Connectors im Connect-Cluster.

    • Name: Der zugewiesene Name jedes Connectors.

    • Status: Der aktuelle Betriebszustand des Connectors.

    • Connectortyp: Gibt den Connectortyp an, z. B. MirrorMaker 2.0-Quelle, BigQuery-Senke, Cloud Storage-Senke oder Pub/Sub-Senke.

  • Filter: Eine Suchleiste, mit der Sie Connectors nach ihren Eigenschaften filtern können.

Verwenden Sie den Tab Ressourcen, um den Connector-Zustand zu überwachen.

Konfigurationen

Auf dem Tab Konfigurationen werden Informationen zum Clusterstatus, zur Ressourcenzuweisung, zu Netzwerkeinstellungen und zur DNS-Konfiguration angezeigt.

  • Primärer Kafka-Cluster: Hier wird der Name des Managed Service for Apache Kafka-Clusters angezeigt, der diesem Connect-Cluster zugeordnet ist. Der Connect-Cluster speichert seine Konfigurationen und Offsets im Managed Service for Apache Kafka-Cluster.

  • Status: Zeigt den aktuellen Status des Connect-Clusters an. Mögliche Status sind Active, Creating, Deleting und State_unspecified.

  • Region: Gibt die Region des Connect-Clusters an.

  • vCPUs: Zeigt die Anzahl der virtuellen CPUs an, die dem Connect-Cluster zugewiesen sind. Eine höhere Anzahl von vCPUs erhöht die Verarbeitungskapazität des Clusters.

  • Arbeitsspeicher: Zeigt den gesamten bereitgestellten Arbeitsspeicher des Connect-Clusters an.

  • Labels: Hier werden die Labels angezeigt, die an den Connect-Cluster angehängt sind.

  • Secret-Ressourcen: Hier werden die Secrets aufgeführt, die dem Connect-Cluster zugeordnet sind.

  • Subnetzwerke: Hier werden die Subnetzwerke aufgeführt, die mit dem Connect-Cluster verknüpft sind. Die Tabelle enthält Spalten für Name, Region und Projekt.

  • DNS-Namen: Hier werden alle benutzerdefinierten DNS-Namen angezeigt, die für den Connect-Cluster konfiguriert sind. Wenn keine benutzerdefinierten DNS-Namen konfiguriert sind, ist die Tabelle leer.

Monitoring

Auf dem Tab Monitoring finden Sie Messwerte, mit denen Sie die Leistung und Ressourcennutzung Ihrer Connectors nachvollziehen können. Zu den Messwerten gehören:

  • Worker-CPU-Nutzung:Gesamte CPU-Nutzung in vCPU-Sekunden für jeden Worker. Mit diesem Messwert lassen sich Ressourcenbeschränkungen erkennen.

  • Worker-Arbeitsspeichernutzung:Aktuelle Arbeitsspeichernutzung in Byte für jeden Worker. Dieser Messwert hilft, Fehler aufgrund mangelnden Arbeitsspeichers zu vermeiden.

  • Rate der eingehenden Connector-Bytes:Durchschnittliche Rate der eingehenden Bytes pro Sekunde aus Clientverbindungen für jeden Connector. Mit diesem Messwert lassen sich die Raten für die Datenerfassung bewerten.

  • Rate der ausgehenden Connector-Bytes:Durchschnittliche Rate der ausgehenden Bytes pro Sekunde für Server über Clientverbindungen für jeden Connector. Mit diesem Messwert lassen sich die Datenbereitstellungsraten überwachen.

Logs

Auf dem Tab Logs wird ein Echtzeitstream von Logeinträgen aus Ihrem Connect-Cluster angezeigt. Auf diesem Tab können Sie den Status und die Aktivitäten von Connectors überwachen und Probleme beheben. Mit diesen Funktionen können Sie Ihren Connect-Cluster effektiv überwachen und Fehler beheben:

  • Nach Schweregrad filtern:Filtern Sie Logeinträge nach Schweregrad, um kritische Probleme schnell zu identifizieren.

  • Suchen:Suchen Sie in Logeinträgen nach bestimmten Keywords oder Wortgruppen, um Ereignisse zu finden, die mit einem bestimmten Connector oder einer bestimmten Aufgabe zusammenhängen.

  • Zeitstempel:Anhand der Zeitstempel für jeden Logeintrag lassen sich Ereignissequenzen nachvollziehen und der Zeitpunkt von Aktionen ermitteln.

  • Zusammenfassung:Logeinträge enthalten Details zu verschiedenen Ereignissen, z. B. zum Starten und Herunterfahren von Connectors, zur Ausführung von Aufgaben und zur Datenverarbeitung.

Nächste Schritte

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder ihrer verbundenen Unternehmen in den USA und/oder anderen Ländern.