Google Cloud Managed Service for Apache Kafka-Thema ansehen

Wenn Sie detaillierte Informationen zu einem einzelnen Thema aufrufen möchten, können Sie dieGoogle Cloud -Konsole, die Google Cloud CLI, die Clientbibliothek, die Managed Kafka API oder die Open-Source-Apache Kafka APIs verwenden.

Erforderliche Rollen und Berechtigungen zum Aufrufen eines Themas

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen eines Themas benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Aufrufen eines Themas erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um ein Thema aufzurufen:

Themen auflisten: managedkafka.topics.list
Thema abrufen: managedkafka.topics.get

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zur IAM-Rolle „Managed Kafka Viewer“ (roles/managedkafka.viewer) finden Sie unter Vordefinierte Rollen für Managed Service for Apache Kafka.

Themenattribute in der Console

In der Console können Sie sich die folgenden Thema-Properties ansehen:

Konfigurationen: Auf diesem Tab finden Sie allgemeine Konfigurationsdetails zum Thema, darunter:
- Name: Die eindeutige Kennung des Themas innerhalb des Clusters.
- Partitionen: Die Anzahl der Partitionen im Thema. Partitionen unterteilen die Daten des Themas in Segmente, um die Skalierbarkeit und Parallelität zu verbessern.
- Replikate: Die Anzahl der Kopien (Replikate), die für jede Partition verwaltet werden, um Datenredundanz und ‑verfügbarkeit zu gewährleisten.
- Cluster: Der Name des Managed Service for Apache Kafka-Clusters, zu dem das Thema gehört.
- Region: Die Google Cloud Region, in der sich der Cluster und das Thema befinden.
- Nicht standardmäßige Themenparameter: Alle Konfigurationsüberschreibungen auf Themenebene, die für das Thema festgelegt wurden und sich von den clusterweiten Standardeinstellungen unterscheiden.
Monitoring: Auf diesem Tab finden Sie visuelle Diagramme mit wichtigen Messwerten zur Aktivität und Leistung des Themas. Diese Diagramme enthalten Folgendes:
- Byte-Anzahl: Ein Zeitachsendiagramm, das die Rate zeigt, mit der Byte für das Thema erstellt oder an das Thema gesendet werden. Hier sehen Sie, wie viele Daten im Zeitverlauf zu diesem Thema veröffentlicht wurden. Der entsprechende Messwert ist managedkafka.googleapis.com/byte_in_count.
- Anzahl der Anfragen: Ein Zeitreihendiagramm, das die Rate der Anfragen an das Thema darstellt. Sie spiegelt die allgemeine Aktivität und Nutzung des Themas wider. Der zugehörige Messwert ist managedkafka.googleapis.com/topic_request_count.
- Logsegmente nach Partition: In diesem Diagramm wird die Anzahl der aktiven Logsegmente für jede Partition im Thema dargestellt. Logsegmente sind die physischen Dateien auf der Festplatte, in denen Kafka die Themadaten speichert. Der relevante Messwert ist managedkafka.googleapis.com/log_segments.
Nutzergruppen: In diesem Abschnitt werden die Nutzergruppen aufgeführt, die das Thema abonniert haben. Eine Nutzergruppe ist eine Gruppe von Nutzern, die zusammenarbeiten, um Nachrichten aus dem Thema zu lesen.

Thema ansehen

Console

Rufen Sie in der Google Cloud Console die Seite Cluster auf.

Zu den Clustern

Die Cluster, die Sie in einem Projekt erstellt haben, werden aufgelistet.
Klicken Sie auf den Cluster, dessen Themen Sie sehen möchten.

Die Seite mit den Clusterdetails wird angezeigt. Auf der Seite mit den Clusterdetails werden die Themen auf dem Tab Ressourcen aufgeführt.
Klicken Sie auf den Namen eines Themas, um es aufzurufen.

Die Seite mit den Themendetails wird angezeigt.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Zum Abrufen der aktuellen Richtlinie führen Sie den Befehl gcloud managed-kafka topics describe aus:
```
gcloud managed-kafka topics describe TOPIC_ID \
  --cluster=CLUSTER_ID --location=LOCATION_ID
```
Mit diesem Befehl werden umfassende Details zum angegebenen Thema abgerufen und angezeigt. Dazu gehören die Konfigurationseinstellungen, z. B. die Anzahl der Partitionen, der Replikationsfaktor und alle Konfigurationsüberschreibungen auf Themenebene.

Ersetzen Sie Folgendes:
- TOPIC_ID: Die ID des Themas.
- CLUSTER_ID: Die ID des Clusters, der das Thema enthält.
- LOCATION_ID: Der Standort des Clusters.

Mit dem Befehl gcloud managed-kafka topics describe werden minimale Informationen zu einem Thema angezeigt, z. B. die Anzahl der Partitionen und der Replikationsfaktor. Wenn Sie detailliertere Informationen, einschließlich der Partitionszuweisungen und der vollständigen Konfigurationseinstellungen, abrufen möchten, verwenden Sie das kafka-topics.sh-Befehlszeilentool.

Kafka-Befehlszeile

Bevor Sie diesen Befehl ausführen, installieren Sie die Kafka-Befehlszeilentools auf einer Compute Engine-VM. Die VM muss ein Subnetz erreichen können, das mit Ihrem Managed Service for Apache Kafka-Cluster verbunden ist. Folgen Sie der Anleitung unter Nachrichten mit den Kafka-Befehlszeilentools erstellen und verarbeiten.

Führen Sie den Befehl kafka-topics.sh --describe aus, um Details zu einem Thema aufzurufen:

kafka-topics.sh --describe \
  --bootstrap-server=BOOTSTRAP_ADDRESS \
  --command-config client.properties \
  --topic TOPIC_ID

Ersetzen Sie Folgendes:

BOOTSTRAP_ADDRESS: Die Bootstrap-Adresse des Managed Service for Apache Kafka-Clusters.
TOPIC_ID: Die ID des Themas.

Dieser Befehl gibt eine Teilmenge der Eigenschaften des Themas zurück, einschließlich der folgenden:

Anzahl der Partitionen
Replikationsfaktor
Partitionszuweisungen
Dynamische Konfiguration (Einstellungen, die Sie explizit festgelegt haben)
Statische Konfiguration (Einstellungen, die beim Start des Clusters angewendet werden)

Wenn Sie sich alle Konfigurationseinstellungen für ein Thema ansehen möchten, einschließlich der Einstellungen mit Standardwerten, führen Sie den Befehl kafka-configs.sh --describe aus:

kafka-configs.sh --describe \
--bootstrap-server=BOOTSTRAP_ADDRESS \
--command-config client.properties \
--entity-type topics \
--entity-name TOPIC_ID \
--all

Die Ausgabe ist eine Liste von Einstellungen als Schlüssel/Wert-Paare. Das Flag --all gibt alle Konfigurationseinstellungen zurück. Wenn Sie nur die dynamischen Konfigurationseinstellungen auflisten möchten, lassen Sie das Flag --all weg.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

PROJECT_ID: Ihre Google Cloud Projekt-ID
LOCATION: Der Standort des Clusters
CLUSTER_ID: Die ID des Clusters
TOPIC_ID: ID des Themas

HTTP-Methode und URL:

GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt haben, die Sie automatisch in der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID"

PowerShell (Windows)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto in der gcloud-Befehlszeile angemeldet haben, indem Sie gcloud init oder gcloud auth login ausgeführt haben. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID" | Select-Object -Expand Content

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/topics/TOPIC_ID",
  "partitionCount": PARTITION_COUNT,
  "replicationFactor": REPLICATION_FACTOR
}

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Go API für Managed Service for Apache Kafka.

Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getTopic(w io.Writer, projectID, region, clusterID, topicID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-cluster"
	// topicID := "my-topic"
	ctx := context.Background()
	client, err := managedkafka.NewClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/clusters/%s", projectID, region, clusterID)
	topicPath := fmt.Sprintf("%s/topics/%s", clusterPath, topicID)
	req := &managedkafkapb.GetTopicRequest{
		Name: topicPath,
	}
	topic, err := client.GetTopic(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetTopic got err: %w", err)
	}
	fmt.Fprintf(w, "Got topic: %#v\n", topic)
	return nil
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ManagedKafkaClient;
import com.google.cloud.managedkafka.v1.Topic;
import com.google.cloud.managedkafka.v1.TopicName;
import java.io.IOException;

public class GetTopic {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-cluster";
    String topicId = "my-topic";
    getTopic(projectId, region, clusterId, topicId);
  }

  public static void getTopic(String projectId, String region, String clusterId, String topicId)
      throws Exception {
    try (ManagedKafkaClient managedKafkaClient = ManagedKafkaClient.create()) {
      // This operation is being handled synchronously.
      Topic topic =
          managedKafkaClient.getTopic(TopicName.of(projectId, region, clusterId, topicId));
      System.out.println(topic.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaClient.getTopic got err: %s", e.getMessage());
    }
  }
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung für die Einrichtung von Python unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.

from google.api_core.exceptions import NotFound
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# cluster_id = "my-cluster"
# topic_id = "my-topic"

client = managedkafka_v1.ManagedKafkaClient()

topic_path = client.topic_path(project_id, region, cluster_id, topic_id)
request = managedkafka_v1.GetTopicRequest(
    name=topic_path,
)

try:
    topic = client.get_topic(request=request)
    print("Got topic:", topic)
except NotFound as e:
    print(f"Failed to get topic {topic_id} with error: {e.message}")

Google Cloud Managed Service for Apache Kafka-Thema ansehen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Erforderliche Rollen und Berechtigungen zum Aufrufen eines Themas

Erforderliche Berechtigungen

Themenattribute in der Console

Thema ansehen

Console

gcloud

Kafka-Befehlszeile

REST

curl (Linux, macOS oder Cloud Shell)

PowerShell (Windows)

Go

Java

Python

Nächste Schritte

Google Cloud Managed Service for Apache Kafka-Thema ansehen