Alle Connectors auflisten

Wenn Sie alle Connectors auflisten, die in einem Connect-Cluster ausgeführt werden, erhalten Sie einen Überblick über die konfigurierten Datenintegrationen. Sie können den Zustand und Status Ihrer Connectors im Blick behalten, potenzielle Probleme erkennen und Ihre Datenflüsse effektiv verwalten.

Wenn Sie alle Connectors in einem Connect-Cluster auflisten möchten, können Sie die Google Cloud Console, die gcloud CLI, die Clientbibliothek für Managed Service for Apache Kafka oder die Managed Kafka API verwenden. Sie können die Open-Source-Apache Kafka API nicht verwenden, um die Connectors aufzulisten.

Erforderliche Rollen und Berechtigungen zum Auflisten aller Connectors

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Auflisten aller Connectors benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Auflisten aller Connectors erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um alle Connectors aufzulisten:

  • Erteilen Sie die Berechtigung „Connectors auflisten“ für den übergeordneten Connect-Cluster: managedkafka.connectors.list
  • Gewähren Sie die Berechtigung zum Abrufen von Connector-Details für den übergeordneten Connect-Cluster: managedkafka.connectors.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zur Rolle „Managed Kafka Viewer“ finden Sie unter Vordefinierte Rollen für Managed Service for Apache Kafka.

Alle Connectors ansehen

In dieser Ansicht können Sie den Status Ihrer Connectors schnell im Blick behalten und alle Connectors identifizieren, die Ihre Aufmerksamkeit erfordern. Anschließend können Sie einzelne Connectors aufschlüsseln, um bei Bedarf ihre Details und Konfigurationen aufzurufen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Cluster verbinden auf.

    Zu „Cluster verbinden“

  2. Klicken Sie auf den Connect-Cluster, für den Sie die Connectors auflisten möchten.

    Die Seite Clusterdetails verbinden wird angezeigt.

  3. Auf dem Tab Ressourcen wird eine Liste aller Connectors angezeigt, die im Cluster ausgeführt werden. Die Liste enthält die folgenden Informationen zu den einzelnen Connectors:

    • Name: Der Name des Connectors.
    • Status: Der Betriebsstatus des Connectors. Beispiel: „Wird ausgeführt, fehlgeschlagen“.
    • Connector-Typ: Der Typ des Connector-Plug‑ins.

    Mit der Option Filter können Sie nach bestimmten Connectors suchen.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Verwenden Sie den Befehl gcloud managed-kafka connectors list, um Connectors aufzulisten:

    gcloud managed-kafka connectors list CONNECT_CLUSTER_ID \
        --location=LOCATION
    
  3. Sie können die Liste der Connectors mit zusätzlichen Flags weiter eingrenzen:

    gcloud managed-kafka connectors list CONNECT_CLUSTER_ID \
        --location=LOCATION \
        [--filter=EXPRESSION] \
        [--limit=LIMIT] \
        [--page-size=PAGE_SIZE] \
        [--sort-by=SORT_BY]
    

    Ersetzen Sie Folgendes:

    • CONNECT_CLUSTER_ID: erforderlich. Die ID des Connect-Clusters, der die Connectors enthält, die Sie auflisten möchten.
    • LOCATION: erforderlich. Der Standort des Connect-Clusters, der die Connectors enthält, die Sie auflisten möchten.
    • EXPRESSION: (Optional) Ein boolescher Filterausdruck, der auf die Liste angewendet werden soll. Wenn der Ausdruck True ergibt, wird das Element in die Liste aufgenommen. Weitere Informationen und Beispiele erhalten Sie durch Ausführung von gcloud topic filters.

      Beispiele:

      • So listen Sie nur Connectors auf, die den Status „RUNNING“ haben:

        --filter="state=RUNNING"
        
      • So listen Sie nur „Pub/Sub Sink“-Connectors auf:

        --filter="connector_plugin='Pub/Sub Sink'"
        
      • So listen Sie Connectors mit einem Namen auf, der „prod“ enthält:

        --filter="name ~ 'prod'"
        
      • So listen Sie Connectors auf, die entweder „FAILED“ sind oder „Pub/Sub Source“-Plug-ins sind:

        --filter="state=FAILED OR connector_plugin='Pub/Sub Source'"
        
    • LIMIT: (Optional) Die maximale Anzahl der anzuzeigenden Connectors. Wenn nichts angegeben ist, werden alle Connectors aufgeführt.

    • PAGE_SIZE: (Optional) Die Anzahl der Ergebnisse, die pro Seite angezeigt werden sollen. Wenn keine Angabe erfolgt, ermittelt der Dienst eine geeignete Seitengröße.

    • SORT_BY: (Optional) Eine durch Kommas getrennte Liste von Feldern, nach denen sortiert werden soll. Die Standardsortierreihenfolge ist aufsteigend. Wenn Sie in absteigender Reihenfolge sortieren möchten, stellen Sie dem Feld ~ voran. Die unterstützten Felder sind wahrscheinlich name und state.

  4. Beispielbefehl mit Sortierung:

    gcloud managed-kafka connectors list test-connect-cluster \
        --location=us-central1 \
        --sort-by=~state,name
    

    Beispiel für einen Befehl mit Filterung und Begrenzung:

    gcloud managed-kafka connectors list test-connect-cluster \
        --location=us-central1 \
        --filter="state=RUNNING AND connector_plugin='Pub/Sub Sink'" \
        --limit=5
    

    Beispielausgabe:

    NAME                                    STATE     CONNECTOR_PLUGIN
    pubsub-sink-connector                   RUNNING   Pub/Sub Sink
    another-pubsub-sink                     RUNNING   Pub/Sub Sink
    prod-pubsub-sink                        RUNNING   Pub/Sub Sink
    

    Go

    Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Go API für Managed Service for Apache Kafka.

    Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

    import (
    	"context"
    	"fmt"
    	"io"
    
    	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
    	"google.golang.org/api/iterator"
    	"google.golang.org/api/option"
    
    	managedkafka "cloud.google.com/go/managedkafka/apiv1"
    )
    
    func listConnectors(w io.Writer, projectID, region, connectClusterID string, opts ...option.ClientOption) error {
    	// projectID := "my-project-id"
    	// region := "us-central1"
    	// connectClusterID := "my-connect-cluster"
    	ctx := context.Background()
    	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
    	if err != nil {
    		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
    	}
    	defer client.Close()
    
    	parent := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, connectClusterID)
    	req := &managedkafkapb.ListConnectorsRequest{
    		Parent: parent,
    	}
    	connectorIter := client.ListConnectors(ctx, req)
    	for {
    		connector, err := connectorIter.Next()
    		if err == iterator.Done {
    			break
    		}
    		if err != nil {
    			return fmt.Errorf("connectorIter.Next() got err: %w", err)
    		}
    		fmt.Fprintf(w, "Got connector: %v", connector)
    	}
    	return nil
    }
    

    Java

    Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.

    Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

    import com.google.api.gax.rpc.ApiException;
    import com.google.cloud.managedkafka.v1.ConnectClusterName;
    import com.google.cloud.managedkafka.v1.Connector;
    import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
    import java.io.IOException;
    
    public class ListConnectors {
    
      public static void main(String[] args) throws Exception {
        // TODO(developer): Replace these variables before running the example.
        String projectId = "my-project-id";
        String region = "my-region"; // e.g. us-east1
        String clusterId = "my-connect-cluster";
        listConnectors(projectId, region, clusterId);
      }
    
      public static void listConnectors(String projectId, String region, String clusterId)
          throws IOException {
        try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
          ConnectClusterName parent = ConnectClusterName.of(projectId, region, clusterId);
          // This operation is handled synchronously.
          for (Connector connector : managedKafkaConnectClient.listConnectors(parent).iterateAll()) {
            System.out.println(connector.getAllFields());
          }
        } catch (IOException | ApiException e) {
          System.err.printf("managedKafkaConnectClient.listConnectors got err: %s\n", e.getMessage());
        }
      }
    }

    Python

    Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung für die Einrichtung von Python unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.

    Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

    from google.cloud import managedkafka_v1
    from google.cloud.managedkafka_v1.services.managed_kafka_connect import (
        ManagedKafkaConnectClient,
    )
    from google.api_core.exceptions import GoogleAPICallError
    
    # TODO(developer)
    # project_id = "my-project-id"
    # region = "us-central1"
    # connect_cluster_id = "my-connect-cluster"
    
    connect_client = ManagedKafkaConnectClient()
    
    request = managedkafka_v1.ListConnectorsRequest(
        parent=connect_client.connect_cluster_path(project_id, region, connect_cluster_id),
    )
    
    try:
        response = connect_client.list_connectors(request=request)
        for connector in response:
            print("Got connector:", connector)
    except GoogleAPICallError as e:
        print(f"Failed to list connectors with error: {e}")
    

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder deren Tochtergesellschaften in den USA und/oder anderen Ländern.