Alle Connectors auflisten

Wenn Sie alle Connectors auflisten, die in einem Connect-Cluster ausgeführt werden, erhalten Sie einen Überblick über die konfigurierten Datenintegrationen. Sie können den Zustand und Status Ihrer Connectors überwachen, potenzielle Probleme identifizieren und Ihre Datenflüsse effektiv verwalten.

Wenn Sie alle Connectors in einem Connect-Cluster auflisten möchten, können Sie die Google Cloud Console, die gcloud CLI, die Clientbibliothek für Managed Service for Apache Kafka oder die Managed Kafka API verwenden. Sie können die Open-Source-Apache Kafka API nicht verwenden, um die Connectors aufzulisten.

Erforderliche Rollen und Berechtigungen zum Auflisten aller Connectors

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Auflisten aller Connectors benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Auflisten aller Connectors erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um alle Connectors aufzulisten:

  • Erteilen Sie die Berechtigung „list connectors“ für den übergeordneten Connect-Cluster: managedkafka.connectors.list
  • Erteilen Sie die Berechtigung zum Abrufen von Connector-Details für den übergeordneten Connect-Cluster: managedkafka.connectors.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Alle Connectors ansehen

In dieser Ansicht können Sie den Status Ihrer Connectors schnell im Blick behalten und alle Connectors identifizieren, die Aufmerksamkeit erfordern. Anschließend können Sie sich die Details und Konfigurationen einzelner Connectors ansehen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Cluster verbinden auf.

    Zu „Connect Clusters“

  2. Klicken Sie auf den Connect-Cluster, für den Sie die Connectors auflisten möchten.

    Die Seite Clusterdetails verbinden wird angezeigt.

  3. Auf dem Tab Ressourcen wird eine Liste aller Connectors angezeigt, die im Cluster ausgeführt werden. Die Liste enthält die folgenden Informationen zu den einzelnen Connectors:

    • Name: Der Name des Connectors.
    • Status: Der Betriebsstatus des Connectors. Beispiel: „Running, Failed“ (Wird ausgeführt, fehlgeschlagen).
    • Connector-Typ: Der Typ des Connector-Plug‑ins.

    Mit der Option Filter können Sie nach bestimmten Connectors suchen.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Verwenden Sie den Befehl gcloud managed-kafka connectors list, um Connectors aufzulisten:

    gcloud managed-kafka connectors list CONNECT_CLUSTER_ID \
        --location=LOCATION
    
  3. Sie können die Liste der Connectors mit zusätzlichen Flags weiter eingrenzen:

    gcloud managed-kafka connectors list CONNECT_CLUSTER_ID \
        --location=LOCATION \
        [--filter=EXPRESSION] \
        [--limit=LIMIT] \
        [--page-size=PAGE_SIZE] \
        [--sort-by=SORT_BY]
    

    Ersetzen Sie Folgendes:

    • CONNECT_CLUSTER_ID: erforderlich. Die ID des Connect-Clusters, der die Connectors enthält, die Sie auflisten möchten.
    • LOCATION: erforderlich. Der Standort des Connect-Clusters, der die Connectors enthält, die Sie auflisten möchten.
    • EXPRESSION: (Optional) Ein boolescher Filterausdruck, der auf die Liste angewendet werden soll. Wenn der Ausdruck als True ausgewertet wird, wird das Element in die Liste aufgenommen. Führen Sie für weitere Informationen und Beispiele gcloud topic filters aus.

      Beispiele:

      • So listen Sie nur Connectors auf, die den Status „RUNNING“ haben:

        --filter="state=RUNNING"
        
      • So listen Sie nur Connectors vom Typ „Pub/Sub Sink“ auf:

        --filter="connector_plugin='Pub/Sub Sink'"
        
      • So listen Sie Connectors mit einem Namen auf, der „prod“ enthält:

        --filter="name ~ 'prod'"
        
      • So listen Sie Connectors auf, die entweder „FAILED“ sind oder „Pub/Sub Source“-Plug-ins:

        --filter="state=FAILED OR connector_plugin='Pub/Sub Source'"
        
    • LIMIT: (Optional) Die maximale Anzahl der anzuzeigenden Connectors. Wenn nichts angegeben ist, werden alle Connectors aufgeführt.

    • PAGE_SIZE: (Optional) Die Anzahl der Ergebnisse, die pro Seite angezeigt werden sollen. Wenn nichts angegeben ist, bestimmt der Dienst eine geeignete Seitengröße.

    • SORT_BY: (Optional) Eine durch Kommas getrennte Liste von Feldern, nach denen sortiert werden soll. Die Standardsortierreihenfolge ist aufsteigend. Wenn Sie absteigend sortieren möchten, stellen Sie dem Feld ~ voran. Die unterstützten Felder sind wahrscheinlich name und state.

Beispielbefehl mit Sortierung:

gcloud managed-kafka connectors list test-connect-cluster \
    --location=us-central1 \
    --sort-by=~state,name

Beispielbefehl mit Filtern und Begrenzen:

gcloud managed-kafka connectors list test-connect-cluster \
    --location=us-central1 \
    --filter="state=RUNNING AND connector_plugin='Pub/Sub Sink'" \
    --limit=5

Beispielausgabe:

NAME                                    STATE     CONNECTOR_PLUGIN
pubsub-sink-connector                   RUNNING   Pub/Sub Sink
another-pubsub-sink                     RUNNING   Pub/Sub Sink
prod-pubsub-sink                        RUNNING   Pub/Sub Sink

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Go-Einrichtungsanleitung unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Go API für Managed Service for Apache Kafka.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/iterator"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func listConnectors(w io.Writer, projectID, region, connectClusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// connectClusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	parent := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, connectClusterID)
	req := &managedkafkapb.ListConnectorsRequest{
		Parent: parent,
	}
	connectorIter := client.ListConnectors(ctx, req)
	for {
		connector, err := connectorIter.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return fmt.Errorf("connectorIter.Next() got err: %w", err)
		}
		fmt.Fprintf(w, "Got connector: %v", connector)
	}
	return nil
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung zur Einrichtung von Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.Connector;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class ListConnectors {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    listConnectors(projectId, region, clusterId);
  }

  public static void listConnectors(String projectId, String region, String clusterId)
      throws IOException {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      ConnectClusterName parent = ConnectClusterName.of(projectId, region, clusterId);
      // This operation is handled synchronously.
      for (Connector connector : managedKafkaConnectClient.listConnectors(parent).iterateAll()) {
        System.out.println(connector.getAllFields());
      }
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.listConnectors got err: %s\n", e.getMessage());
    }
  }
}

Python

Folgen Sie der Einrichtungsanleitung für Python unter Clientbibliotheken installieren, bevor Sie dieses Beispiel ausprobieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

from google.cloud import managedkafka_v1
from google.cloud.managedkafka_v1.services.managed_kafka_connect import (
    ManagedKafkaConnectClient,
)
from google.api_core.exceptions import GoogleAPICallError

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

connect_client = ManagedKafkaConnectClient()

request = managedkafka_v1.ListConnectorsRequest(
    parent=connect_client.connect_cluster_path(project_id, region, connect_cluster_id),
)

try:
    response = connect_client.list_connectors(request=request)
    for connector in response:
        print("Got connector:", connector)
except GoogleAPICallError as e:
    print(f"Failed to list connectors with error: {e}")

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder ihrer verbundenen Unternehmen in den USA und/oder anderen Ländern.