Google Cloud Managed Service for Apache Kafka-Thema ansehen

Wenn Sie detaillierte Informationen zu einem einzelnen Thema aufrufen möchten, können Sie die Google Cloud Console, die Google Cloud CLI, die Clientbibliothek, die Managed Kafka API oder die Open-Source-Apache Kafka APIs verwenden.

Erforderliche Rollen und Berechtigungen zum Aufrufen eines Themas

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen eines Themas benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Aufrufen eines Themas erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Zum Aufrufen eines Themas sind die folgenden Berechtigungen erforderlich:

  • Themen auflisten: managedkafka.topics.list
  • Thema abrufen: managedkafka.topics.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zur IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) finden Sie unter Vordefinierte Rollen für Managed Service for Apache Kafka.

Themenattribute in der Console

In der Console können Sie die folgenden Themenattribute aufrufen:

  • Konfigurationen: Auf diesem Tab finden Sie allgemeine Konfigurationsdetails zu dem Thema, einschließlich der folgenden:

    • Name: Die eindeutige Kennung des Themas im Cluster.

    • Partitionen: Die Anzahl der Partitionen im Thema. Partitionen unterteilen die Daten des Themas in Segmente, um die Skalierbarkeit und Parallelität zu verbessern.

    • Replikate: Die Anzahl der Kopien (Replikate), die für jede Partition verwaltet werden, um Datenredundanz und Verfügbarkeit zu gewährleisten.

    • Cluster: Der Name des Managed Service for Apache Kafka-Clusters, zu dem das Thema gehört.

    • Region: Die Google Cloud Region, in der sich der Cluster und das Thema befinden.

    • Nicht standardmäßige Themenparameter: Alle Konfigurationsüberschreibungen auf Themenebene, die für das Thema festgelegt wurden und von den clusterweiten Standardeinstellungen abweichen.

  • Monitoring: Auf diesem Tab finden Sie visuelle Diagramme mit wichtigen Messwerten zur Aktivität und Leistung des Themas. Diese Diagramme umfassen Folgendes:

    • Anzahl der Byte: Ein Zeitachsendiagramm, das die Rate zeigt, mit der Byte erstellt oder an das Thema gesendet werden. Dies gibt das Datenvolumen an, das im Laufe der Zeit im Thema veröffentlicht wurde. Der entsprechende Messwert ist managedkafka.googleapis.com/byte_in_count.

    • Anzahl der Anfragen: Ein Zeitachsendiagramm, das die Rate der Anfragen an das Thema darstellt. Es spiegelt die Gesamtaktivität und Nutzung des Themas wider. Der zugehörige Messwert ist managedkafka.googleapis.com/topic_request_count.

    • Logsegmente nach Partition: In diesem Diagramm wird die Anzahl der aktiven Logsegmente für jede Partition im Thema angezeigt. Logsegmente sind die physischen Dateien auf der Festplatte, in denen Kafka die Themendaten speichert. Der relevante Messwert ist managedkafka.googleapis.com/log_segments.

  • Nutzergruppen: In diesem Abschnitt werden die Nutzergruppen aufgeführt, die das Thema abonniert haben. Eine Nutzergruppe ist eine Gruppe von Nutzern, die zusammenarbeiten, um Nachrichten aus dem Thema zu lesen.

Thema ansehen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Cluster auf.

    Zu den Clustern

    Die in einem Projekt erstellten Cluster werden aufgelistet.

  2. Klicken Sie auf den Cluster, dessen Themen Sie sehen möchten.

    Die Seite mit den Clusterdetails wird angezeigt. Auf der Seite mit den Clusterdetails werden auf dem Tab Ressourcen die Themen aufgelistet.

  3. Wenn Sie ein bestimmtes Thema aufrufen möchten, klicken Sie auf den Namen des Themas.

    Die Seite mit den Details zum Thema wird angezeigt.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell Sitzung gestartet und eine Befehlszeilenaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Führen Sie den gcloud managed-kafka topics describe Befehl aus:

    gcloud managed-kafka topics describe TOPIC_ID \
  --cluster=CLUSTER_ID --location=LOCATION_ID

    Mit diesem Befehl werden umfassende Details zum angegebenen Thema abgerufen und angezeigt. Dazu gehören die Konfigurationseinstellungen wie die Anzahl der Partitionen, der Replikationsfaktor und alle Konfigurationsüberschreibungen auf Themenebene.

    Ersetzen Sie Folgendes:

    • TOPIC_ID: Die ID des Themas.
    • CLUSTER_ID: Die ID des Clusters, der das Thema enthält.
    • LOCATION_ID: Der Standort des Clusters.

Der Befehl gcloud managed-kafka topics describe zeigt nur minimale Informationen zu einem Thema an, z. B. die Anzahl der Partitionen und den Replikationsfaktor. Ausführlichere Informationen, einschließlich der Partitionszuweisungen und aller Konfigurationseinstellungen, erhalten Sie mit dem Befehlszeilentool kafka-topics.sh.

Kafka-Befehlszeile

Bevor Sie diesen Befehl ausführen, installieren Sie die Kafka-Befehlszeilentools auf einer Compute Engine-VM. Die VM muss ein Subnetz erreichen können, das mit Ihrem Managed Service for Apache Kafka Cluster verbunden ist. Folgen Sie der Anleitung unter Nachrichten mit den Kafka-Befehlszeilentools produzieren und nutzen.

Führen Sie den Befehl kafka-topics.sh --describe aus, um Details zu einem Thema aufzurufen:

kafka-topics.sh --describe \
  --bootstrap-server=BOOTSTRAP_ADDRESS \
  --command-config client.properties \
  --topic TOPIC_ID

Ersetzen Sie Folgendes:

  • BOOTSTRAP_ADDRESS: Die Bootstrap-Adresse des Managed Service for Apache Kafka-Clusters.
  • TOPIC_ID: Die ID des Themas.

Dieser Befehl gibt eine Teilmenge der Attribute des Themas zurück, einschließlich der folgenden:

  • Anzahl der Partitionen
  • Replikationsfaktor
  • Partitionszuweisungen
  • Dynamische Konfiguration (Einstellungen, die Sie explizit festgelegt haben)
  • Statische Konfiguration (Einstellungen, die beim Starten des Clusters angewendet werden)

Führen Sie den Befehl kafka-configs.sh --describe aus, um alle Konfigurationseinstellungen für ein Thema aufzurufen, einschließlich der Einstellungen mit Standardwerten:

kafka-configs.sh --describe \
--bootstrap-server=BOOTSTRAP_ADDRESS \
--command-config client.properties \
--entity-type topics \
--entity-name TOPIC_ID \
--all

Die Ausgabe ist eine Liste von Einstellungen als Schlüssel/Wert-Paare. Das Flag --all gibt alle Konfigurationseinstellungen zurück. Wenn Sie nur eine Liste der dynamischen Konfigurationseinstellungen erhalten möchten, lassen Sie das Flag --all weg.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ihre Google Cloud Projekt-ID
  • LOCATION: Der Standort des Clusters
  • CLUSTER_ID: Die ID des Clusters
  • TOPIC_ID: Die ID des Themas

HTTP-Methode und URL: 

GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID",
  "partitionCount": PARTITION_COUNT,
  "replicationFactor": REPLICATION_FACTOR
}

Go

Folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Go API.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getTopic(w io.Writer, projectID, region, clusterID, topicID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-cluster"
	// topicID := "my-topic"
	ctx := context.Background()
	client, err := managedkafka.NewClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/clusters/%s", projectID, region, clusterID)
	topicPath := fmt.Sprintf("%s/topics/%s", clusterPath, topicID)
	req := &managedkafkapb.GetTopicRequest{
		Name: topicPath,
	}
	topic, err := client.GetTopic(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetTopic got err: %w", err)
	}
	fmt.Fprintf(w, "Got topic: %#v\n", topic)
	return nil
}

Java

Folgen Sie der Einrichtungsanleitung für Java unter Clientbibliotheken installieren, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Java API.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ManagedKafkaClient;
import com.google.cloud.managedkafka.v1.Topic;
import com.google.cloud.managedkafka.v1.TopicName;
import java.io.IOException;

public class GetTopic {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-cluster";
    String topicId = "my-topic";
    getTopic(projectId, region, clusterId, topicId);
  }

  public static void getTopic(String projectId, String region, String clusterId, String topicId)
      throws Exception {
    try (ManagedKafkaClient managedKafkaClient = ManagedKafkaClient.create()) {
      // This operation is being handled synchronously.
      Topic topic =
          managedKafkaClient.getTopic(TopicName.of(projectId, region, clusterId, topicId));
      System.out.println(topic.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaClient.getTopic got err: %s", e.getMessage());
    }
  }
}

Python

Folgen Sie der Einrichtungsanleitung für Python unter Clientbibliotheken installieren, bevor Sie dieses Beispiel anwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Python API.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

from google.api_core.exceptions import NotFound
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# cluster_id = "my-cluster"
# topic_id = "my-topic"

client = managedkafka_v1.ManagedKafkaClient()

topic_path = client.topic_path(project_id, region, cluster_id, topic_id)
request = managedkafka_v1.GetTopicRequest(
    name=topic_path,
)

try:
    topic = client.get_topic(request=request)
    print("Got topic:", topic)
except NotFound as e:
    print(f"Failed to get topic {topic_id} with error: {e.message}")

Nächste Schritte