Connect-Cluster ansehen

Sie können sich die Details eines Connect-Clusters ansehen, um mehr über seine Konfigurationsdetails zu erfahren, einschließlich des Namens des primären Google Cloud Managed Service for Apache Kafka-Clusters, des Status des Connect-Clusters, der Ressourcenzuweisung, der Netzwerkeinstellungen und der vom Connect-Cluster gehosteten Connectors.

Sie können Ihre Connect-Cluster über die Google Cloud -Konsole, die gcloud CLI, die Clientbibliothek oder die Managed Kafka API aufrufen. Sie können die Open-Source-Apache Kafka API nicht verwenden, um Connect-Cluster aufzulisten.

Erforderliche Rollen und Berechtigungen zum Aufrufen eines Connect-Clusters

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Betrachter für verwaltetes Kafka“ (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Auflisten Ihrer Connect-Cluster benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Auflisten Ihrer Connect-Cluster erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Ihre Connect-Cluster aufzulisten:

Erteilen Sie die Berechtigung „Cluster auflisten“ für den angegebenen Standort: managedkafka.connectClusters.list
Erteilen Sie die Berechtigung „Clusterdetails abrufen“ für den angegebenen Standort: managedkafka.connectClusters.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zur Rolle „Managed Kafka Viewer“ finden Sie unter Vordefinierte Rollen für Managed Service for Apache Kafka.

Details zu einem Connect-Cluster ansehen

Console

Rufen Sie in der Google Cloud Console die Seite Connect Clusters auf.

Zu „Cluster verbinden“
Klicken Sie auf den Connect-Cluster, den Sie sich ansehen möchten.
Die Seite „Cluster verbinden“ wird mit vier Tabs angezeigt:
- Ressourcen: Bietet eine fokussierte Ansicht der Connectors, die in Ihrem Cluster ausgeführt werden, einschließlich ihres Betriebsstatus und Typs.
- Konfigurationen: Hier werden die wichtigsten Eigenschaften und Einstellungen des Connect-Clusters angezeigt, z. B. der primäre Kafka-Cluster, der Status, die Ressourcenzuweisung und die Netzwerkeinstellungen.
- Logs: Bietet einen Echtzeitstream von Logeinträgen aus Ihrem Connect-Cluster für Monitoring und Fehlerbehebung.
- Monitoring: Stellt Messwerte bereit, mit denen Sie die Leistung und Ressourcennutzung Ihres Connect-Clusters überwachen können.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Verwenden Sie den Befehl gcloud managed-kafka connect-clusters describe, um Details zu einem Connect-Cluster aufzurufen:
```
gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
    --location=LOCATION
```
Ersetzen Sie Folgendes:
- CONNECT_CLUSTER: Die ID des Connect-Clusters, den Sie aufrufen möchten.
- LOCATION: Der Standort des Connect-Clusters.

Beispielausgabe:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Go API für Managed Service for Apache Kafka.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung für die Einrichtung von Python unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Übersicht über Details zum Connect-Cluster

Die Seite „Cluster verbinden“ wird mit vier Tabs angezeigt: Ressourcen, Konfigurationen, Monitoring und Logs.

Ressourcen

Auf dem Tab Ressourcen auf der Seite „Cluster verbinden“ werden die bereitgestellten Connectortypen und ihr Betriebsstatus zusammengefasst. Folgende Informationen werden angezeigt:

Tabelle mit Connectors: Eine Tabelle mit allen Connectors im Connect-Cluster.
- Name: Der zugewiesene Name jedes Connectors.
- Status: Der aktuelle Betriebszustand des Connectors.
- Connectortyp: Gibt den Connectortyp an, z. B. MirrorMaker 2.0-Quelle, BigQuery-Senke, Cloud Storage-Senke oder Pub/Sub-Senke.
Filter: Eine Suchleiste, mit der Sie Connectors nach ihren Eigenschaften filtern können.

Verwenden Sie zum Überwachen des Connector-Zustands den Tab Ressourcen.

Konfigurationen

Auf dem Tab Konfigurationen werden Informationen zum Clusterstatus, zur Ressourcenzuweisung, zu Netzwerkeinstellungen und zur DNS-Konfiguration angezeigt.

Primärer Kafka-Cluster: Hier wird der Name des Managed Service for Apache Kafka-Clusters angezeigt, der mit diesem Connect-Cluster verknüpft ist. Der Connect-Cluster speichert seine Konfigurationen und Offsets im Managed Service for Apache Kafka-Cluster.
Status: Hier wird der aktuelle Status des Connect-Clusters angezeigt. Mögliche Status sind Active, Creating, Deleting und State_unspecified.
Region: Gibt die Region des Connect-Clusters an.
vCPUs: Zeigt die Anzahl der virtuellen CPUs an, die dem Connect-Cluster zugewiesen sind. Eine höhere Anzahl von vCPUs erhöht die Verarbeitungskapazität des Clusters.
Arbeitsspeicher: Zeigt den gesamten bereitgestellten Arbeitsspeicher des Connect-Clusters an.
Labels: Hier werden die Labels angezeigt, die an den Connect-Cluster angehängt sind.
Secret-Ressourcen: Hier werden die Secrets aufgeführt, die mit dem Connect-Cluster verknüpft sind.
Subnetzwerke: Hier werden die Subnetzwerke aufgeführt, die dem Connect-Cluster zugeordnet sind. Die Tabelle enthält Spalten für Name, Region und Projekt.
DNS-Namen: Hier werden alle benutzerdefinierten DNS-Namen angezeigt, die für den Connect-Cluster konfiguriert sind. Wenn keine benutzerdefinierten DNS-Namen konfiguriert sind, ist die Tabelle leer.

Monitoring

Auf dem Tab Monitoring finden Sie Messwerte, mit denen Sie die Leistung und Ressourcennutzung Ihrer Connectors nachvollziehen können. Zu den Messwerten gehören:

Worker-CPU-Nutzung:Gesamte CPU-Nutzung in vCPU-Sekunden für jeden Worker. Mit diesem Messwert lassen sich Ressourcenbeschränkungen ermitteln.
Worker-Arbeitsspeichernutzung:Aktuelle Arbeitsspeichernutzung in Byte für jeden Worker. Dieser Messwert hilft, Fehler aufgrund mangelnden Arbeitsspeichers zu vermeiden.
Rate der eingehenden Connector-Bytes:durchschnittliche Rate der eingehenden Byte pro Sekunde aus Clientverbindungen für jeden Connector. Mit diesem Messwert lassen sich die Raten für die Datenerfassung bewerten.
Rate der ausgehenden Connector-Bytes:durchschnittliche Rate der ausgehenden Bytes pro Sekunde für jeden Connector, die von Clientverbindungen an Server gesendet werden. Mit diesem Messwert lassen sich die Datenübertragungsraten überwachen.

Logs

Auf dem Tab Logs wird ein Echtzeitstream von Logeinträgen aus Ihrem Connect-Cluster angezeigt. Auf diesem Tab können Sie den Zustand und die Aktivität von Connectors überwachen und Probleme beheben. Mit diesen Funktionen können Sie Ihren Connect-Cluster effektiv überwachen und Fehler beheben:

Nach Schweregrad filtern:Logeinträge nach Schweregrad filtern, um kritische Probleme schnell zu identifizieren.
Suchen:Suchen Sie in Logeinträgen nach bestimmten Keywords oder Wortgruppen, um Ereignisse zu finden, die mit einem bestimmten Connector oder einer bestimmten Aufgabe zusammenhängen.
Zeitstempel:Anhand der Zeitstempel für die einzelnen Logeinträge lassen sich Ereignissequenzen nachvollziehen und der Zeitpunkt von Aktionen ermitteln.
Zusammenfassung:Protokolleinträge enthalten Details zu verschiedenen Ereignissen, z. B. zum Starten und Herunterfahren von Connectors, zur Ausführung von Aufgaben und zur Datenverarbeitung.

Nächste Schritte

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder deren Tochtergesellschaften in den USA und/oder anderen Ländern.

Connect-Cluster ansehen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.