Kafka-Themen mit MirrorMaker 2.0 replizieren

In dieser Anleitung wird beschrieben, wie Sie Daten zwischen Managed Service for Apache Kafka-Clustern mit dem MirrorMaker 2.0-Quell-Connector replizieren.

Die Cluster können sich im selben oder in verschiedenen Projekten und in derselben oder in verschiedenen Regionen befinden. In dieser Anleitung richten Sie die Replikation regionsübergreifend, aber innerhalb desselben Projekts ein. Die Schritte sind jedoch für andere Kombinationen gleich.

Architektur

In diesem Szenario gibt es drei Cluster:

  • Ein Kafka-Cluster, dessen Daten repliziert werden. Dieser Cluster wird als Quellcluster bezeichnet, da er die Quelle der Daten ist.

  • Ein Kafka-Cluster, in den die replizierten Daten geschrieben werden. Dieser Cluster wird als Zielcluster bezeichnet.

  • Ein Connect-Cluster, mit dem Sie den MirrorMaker 2.0-Quellconnector erstellen und verwalten können.

Der Connect-Cluster ist an den Zielcluster angehängt. Um die Latenz für Schreibvorgänge zu minimieren, platzieren Sie den Connect-Cluster in derselben Region wie den Zielcluster.

Das folgende Diagramm zeigt diese Komponenten:

Architektur des Kafka-Datenreplikationsszenarios

Die Datenreplikation wird vom MirrorMaker 2.0-Quellconnector ausgeführt. Zwei weitere MirrorMaker 2.0-Connectors sind für dieses Szenario optional:

  • Prüfpunkt-Connector von MirrorMaker 2.0: Ermöglicht ein nahtloses Failover, da dafür gesorgt wird, dass Nutzer im Zielcluster die Verarbeitung an derselben Stelle wie im Quellcluster fortsetzen können.

  • Heartbeat-Connector von MirrorMaker 2.0: Generiert regelmäßig Heartbeat-Nachrichten im Kafka-Quellcluster, mit denen Sie den Zustand und Status der Datenreplikation überwachen können.

In dieser Anleitung werden diese optionalen Connectors nicht verwendet. Weitere Informationen finden Sie unter Wann sollte MirrorMaker 2.0 verwendet werden?.

Hinweis

Console

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    8.

  8. Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben: Managed Kafka Cluster Editor, Managed Kafka Connect Cluster Editor, Managed Kafka Connector Editor

    Rollen prüfen

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.

    3. Suchen Sie in der Spalte Hauptkonto nach allen Zeilen, in denen Sie oder eine Gruppe, zu der Sie gehören, angegeben sind. Fragen Sie Ihren Administrator, zu welchen Gruppen Sie gehören.

    4. Prüfen Sie in allen Zeilen, in denen Sie angegeben oder enthalten sind, die Spalte Rolle, um zu sehen, ob die Liste der Rollen die erforderlichen Rollen enthält.

    Rollen zuweisen

    1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

      IAM aufrufen
    2. Wählen Sie das Projekt aus.
    3. Klicken Sie auf Zugriffsrechte erteilen.

    4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

    5. Klicken Sie auf Rolle auswählen und suchen Sie dann nach der Rolle.
    6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
    7. Klicken Sie auf Speichern.

gcloud

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Installieren Sie die Google Cloud CLI.

  3. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  4. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  5. Google Cloud Projekt erstellen oder auswählen

    Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch Ihren Google Cloud Projektnamen.

  6. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud Projekt aktiviert ist.

  7. Aktivieren Sie die Managed Kafka API, falls sie noch nicht aktiviert ist:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen 

    gcloud services enable managedkafka.googleapis.com

  8. Installieren Sie die Google Cloud CLI.

  9. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  10. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  11. Google Cloud Projekt erstellen oder auswählen

    Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch Ihren Google Cloud Projektnamen.

  12. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud Projekt aktiviert ist.

  13. Aktivieren Sie die Managed Kafka API, falls sie noch nicht aktiviert ist:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen 

    gcloud services enable managedkafka.googleapis.com
    14.

  14. Weisen Sie Ihrem Nutzerkonto Rollen zu. Führen Sie den folgenden Befehl für jede der folgenden IAM-Rollen einmal aus: roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • USER_IDENTIFIER: Die Kennung für Ihr Nutzerkonto . Beispiel: myemail@example.com
    • ROLE: Die IAM-Rolle, die Sie Ihrem Nutzerkonto zuweisen.

Quell-Kafka-Cluster erstellen

In diesem Schritt erstellen Sie einen Managed Service for Apache Kafka-Cluster. Dieser Cluster ist der Quellcluster, der die zu replizierenden Daten enthält.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf Erstellen.

  3. Geben Sie im Feld Clustername einen Namen für den Cluster ein.

  4. Wählen Sie in der Liste Region einen Standort für den Cluster aus.

  5. Konfigurieren Sie unter Netzwerkkonfiguration das Subnetz, in dem der Cluster zugänglich ist.

    1. Wählen Sie unter Projekt Ihr Projekt aus.
    2. Wählen Sie für Netzwerk ein VPC-Netzwerk in Ihrem Projekt aus.
    3. Wählen Sie für Subnetz ein Subnetz aus.
    4. Klicken Sie auf Fertig.

  6. Klicken Sie auf Erstellen.

Während der Cluster erstellt wird, ist der Clusterstatus Creating. Wenn das Erstellen des Clusters abgeschlossen ist, lautet der Status Active.

gcloud

Führen Sie den Befehl managed-kafka clusters create aus, um den Kafka-Quellcluster zu erstellen.

gcloud managed-kafka clusters create SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/SOURCE_REGION/subnetworks/SOURCE_SUBNET \
--async

Ersetzen Sie Folgendes:

  • SOURCE_KAFKA_CLUSTER: ein Name für den Kafka-Cluster

  • SOURCE_REGION: Der Standort des Clusters

    Informationen zu unterstützten Standorten finden Sie unter Managed Service for Apache Kafka-Standorte.

  • PROJECT_ID: Ihre Projekt-ID.

  • SOURCE_SUBNET: Das Subnetz, in dem Sie den Cluster bereitstellen möchten, z. B. default

Der Befehl wird asynchron ausgeführt und gibt eine Vorgangs-ID zurück:

Check operation [projects/PROJECT_ID/locations/SOURCE_SUBNET/operations/OPERATION_ID] for status.

Verwenden Sie den Befehl gcloud managed-kafka operations describe, um den Fortschritt des Erstellungsvorgangs zu verfolgen:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=SOURCE_REGION

Weitere Informationen finden Sie unter Vorgang zum Erstellen von Clustern überwachen.

Kafka-Thema erstellen

Wenn der Quellcluster bereit ist, erstellen Sie ein Thema so:

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf den Namen des Clusters.

  3. Klicken Sie auf der Cluster-Detailseite auf Thema erstellen.

  4. Geben Sie im Feld Themenname einen Namen für das Thema ein.

  5. Klicken Sie auf Erstellen.

gcloud

Führen Sie den Befehl managed-kafka topics create aus, um ein Kafka-Thema zu erstellen.

gcloud managed-kafka topics create TOPIC_NAME \
--cluster=SOURCE_KAFKA_CLUSTER \
--location=SOURCE_REGION \
--partitions=10 \
--replication-factor=3

Ersetzen Sie Folgendes:

  • TOPIC_NAME: Der Name des Kafka-Themas, das erstellt werden soll.
  • SOURCE_KAFKA_CLUSTER: der Name des Quellclusters
  • SOURCE_REGION: Region, in der Sie den Quellcluster erstellt haben

Ziel-Kafka-Cluster erstellen

In diesem Schritt erstellen Sie einen zweiten Managed Service for Apache Kafka-Cluster. Dieser Cluster ist der Zielcluster, in den MirrorMaker 2.0 Daten repliziert.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf Erstellen.

  3. Geben Sie im Feld Clustername einen Namen für den Cluster ein.

  4. Wählen Sie in der Liste Region einen Standort für den Cluster aus. Wählen Sie eine andere Region als die aus, in der sich der Quellcluster befindet.

  5. Konfigurieren Sie unter Netzwerkkonfiguration das Subnetz, in dem der Zielcluster zugänglich ist. Das Subnetz muss sich im selben VPC-Netzwerk wie das Subnetz des Quellclusters befinden.

    1. Wählen Sie unter Projekt Ihr Projekt aus.
    2. Wählen Sie für Netzwerk dasselbe VPC-Netzwerk wie das Subnetz des Quellclusters aus.
    3. Wählen Sie für Subnetz das Subnetz aus.
    4. Klicken Sie auf Fertig.

  6. Klicken Sie auf Erstellen.

Während der Cluster erstellt wird, ist der Clusterstatus Creating. Wenn das Erstellen des Clusters abgeschlossen ist, lautet der Status Active.

gcloud

Führen Sie den Befehl managed-kafka clusters create aus, um den Ziel-Kafka-Cluster zu erstellen.

gcloud managed-kafka clusters create TARGET_KAFKA_CLUSTER \
--location=TARGET_REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
--async

Ersetzen Sie Folgendes:

  • TARGET_KAFKA_CLUSTER: ein Name für den Kafka-Cluster

  • TARGET_REGION: Der Standort des Clusters. Wählen Sie eine andere Region als die des Quellclusters aus.

    Informationen zu unterstützten Standorten finden Sie unter Managed Service for Apache Kafka-Standorte.

  • PROJECT_ID: Ihre Projekt-ID.

  • TARGET_SUBNET: Das Subnetz, in dem Sie den Cluster bereitstellen möchten, z. B. default

    Wählen Sie ein Subnetz in derselben VPC wie der Quellcluster aus.

Connect-Cluster erstellen

In diesem Schritt erstellen Sie einen Connect-Cluster. Die Erstellung eines Connect-Clusters dauert in der Regel 20 bis 30 Minuten.

Bevor Sie mit diesem Schritt beginnen, muss der Ziel-Kafka-Cluster aus dem vorherigen Schritt vollständig erstellt sein.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Connect-Cluster auf.

    Zu „Connect Clusters“

  2. Klicken Sie auf Erstellen.

  3. Geben Sie unter Name des Connect-Clusters einen String ein. Beispiel: my-connect-cluster.

  4. Wählen Sie unter Primärer Kafka-Cluster den Ziel-Kafka-Cluster aus, den Sie im vorherigen Schritt erstellt haben. Wählen Sie nicht Ihren Kafka-Quellcluster aus.

  5. Für Speicherort, Netzwerkkonfiguration und Worker-Subnetz können Sie entweder die Standardwerte verwenden oder sie an Ihre spezifischen Anforderungen anpassen.

  6. Führen Sie die folgenden Schritte aus, damit der Connect-Cluster die DNS-Domain des Quellclusters auflösen kann:

    1. Maximieren Sie den Abschnitt Auflösbare DNS-Domains.

    2. Klicken Sie auf DNS-Domain hinzufügen.

    3. Wählen Sie in der Liste Kafka-Cluster den Kafka-Quellcluster aus.

  7. Klicken Sie auf Erstellen.

Während der Cluster erstellt wird, ist der Clusterstatus Creating. Wenn das Erstellen des Clusters abgeschlossen ist, lautet der Status Active.

gcloud

Führen Sie den Befehl gcloud managed-kafka connect-clusters create aus, um einen Connect-Cluster zu erstellen.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=TARGET_REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/TARGET_REGION/subnetworks/TARGET_SUBNET \
  --kafka-cluster=TARGET_KAFKA_CLUSTER \
  --dns-name=SOURCE_KAFKA_CLUSTER.SOURCE_REGION.managedkafka.PROJECT_ID.cloud.goog. \
  --async

Ersetzen Sie Folgendes:

  • CONNECT_CLUSTER: ein Name für den Connect-Cluster
  • TARGET_REGION: die Region, in der Sie den Ziel-Kafka-Cluster erstellt haben
  • PROJECT_ID: Ihre Projekt-ID.
  • TARGET_SUBNET: Das Subnetz, in dem Sie den Ziel-Kafka-Cluster erstellt haben.
  • TARGET_KAFKA_CLUSTER: der Name des Ziel-Kafka-Clusters
  • SOURCE_KAFKA_CLUSTER: der Name des Kafka-Quellclusters
  • SOURCE_REGION: Die Region, in der Sie den Kafka-Quellcluster erstellt haben

Der Befehl wird asynchron ausgeführt und gibt eine Vorgangs-ID zurück:

Check operation [projects/PROJECT_ID/locations/TARGET_REGION/operations/OPERATION_ID] for status.

Verwenden Sie den Befehl gcloud managed-kafka operations describe, um den Fortschritt des Erstellungsvorgangs zu verfolgen:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=TARGET_REGION

Weitere Informationen finden Sie unter Vorgang zum Erstellen von Clustern überwachen.

MirrorMaker 2.0-Quell-Connector erstellen

In diesem Schritt erstellen Sie einen MirrorMaker 2.0-Quellconnector. Dieser Connector repliziert Nachrichten vom Kafka-Quellcluster in den Kafka-Zielcluster.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Connect-Cluster auf.

    Zu „Connect Clusters“

  2. Klicken Sie auf den Namen des Connect-Clusters.

  3. Klicken Sie auf  Connector erstellen.

  4. Geben Sie für Connector-Name einen String ein. Beispiel: mm2-connector.

  5. Wählen Sie in der Liste Connector-Plug-in die Option MirrorMaker 2.0 Source aus.

  6. Wählen Sie für Quellcluster die Option Managed Service for Apache Kafka-Cluster aus.

  7. Wählen Sie in der Liste Kafka-Cluster Ihren Quellcluster aus.

  8. Geben Sie im Feld Kommagetrennte Themennamen oder ein Themen-Regex den Namen des Kafka-Themas oder der Kafka-Themen ein, die Sie replizieren möchten.

  9. Klicken Sie auf Erstellen.

gcloud

  1. Führen Sie den Befehl gcloud managed-kafka clusters describe aus, um die Bootstrap-Adresse des Kafka-Quellclusters abzurufen.

    gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
  --location=SOURCE_REGION \
  --project=PROJECT_ID \
  --format="value(bootstrapAddress)"

    Ersetzen Sie Folgendes:

    • SOURCE_KAFKA_CLUSTER: der Name des Kafka-Quellclusters
    • SOURCE_REGION: die Region des Quellclusters
    • PROJECT_ID: Ihre Projekt-ID.

  2. Führen Sie den vorherigen Befehl noch einmal aus, um die Bootstrap-Adresse des Ziel-Kafka-Clusters abzurufen.

    gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
  --location=TARGET_REGION \
  --project=PROJECT_ID \
  --format="value(bootstrapAddress)"

    Ersetzen Sie Folgendes:

    • TARGET_KAFKA_CLUSTER: der Name des Ziel-Kafka-Clusters
    • TARGET_REGION: die Region des Zielclusters

  3. Führen Sie den Befehl gcloud managed-kafka connectors create aus, um einen MirrorMaker 2.0-Quellconnector zu erstellen.

    gcloud managed-kafka connectors create CONNECTOR_NAME \
  --location=TARGET_REGION \
  --connect-cluster=CONNECT_CLUSTER \
  --configs=connector.class=org.apache.kafka.connect.mirror.MirrorSourceConnector,\
source.cluster.alias=source,\
source.cluster.bootstrap.servers=SOURCE_CLUSTER_BOOTSTRAP_ADDRESS,\
target.cluster.alias=target,\
target.cluster.bootstrap.servers=TARGET_CLUSTER_BOOTSTRAP_ADDRESS,\
tasks.max=3,\
topics=TOPIC_NAME

    Ersetzen Sie Folgendes:

    • CONNECTOR_NAME: ein Name für den Connector, z. B. mm2-connector
    • CONNECT_CLUSTER: der Name Ihres Connect-Clusters
    • SOURCE_CLUSTER_BOOTSTRAP_ADDRESS: Die Bootstrap-Adresse des Quellclusters aus Schritt 1.
    • TARGET_CLUSTER_BOOTSTRAP_ADDRESS: die Bootstrap-Adresse des Zielclusters aus Schritt 2.
    • TOPIC_NAME: der Name des zu replizierenden Themas. Mit diesem Parameter kann auch eine durch Kommas getrennte Liste von Themennamen oder ein regulärer Ausdruck angegeben werden.

Der Quell-Connector von MirrorMaker 2.0 erstellt im Zielcluster ein neues Thema mit dem Namen "source.TOPIC_NAME", wobei TOPIC_NAME der Name des Themas im Quellcluster ist.

Ergebnisse ansehen

Mit den Kafka-Befehlszeilentools können Sie prüfen, ob Nachrichten repliziert werden. Informationen zum Einrichten der Kafka-Befehlszeile finden Sie im Dokument Nachrichten mit der Befehlszeile senden und empfangen unter Clientcomputer einrichten.

Wenn Sie beispielsweise eine Nachricht an den Quellcluster senden möchten, geben Sie Folgendes in der Befehlszeile ein:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe SOURCE_KAFKA_CLUSTER \
 --location=SOURCE_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

for msg in {1..10}; do
  echo "message $msg"
done | kafka-console-producer.sh --topic TOPIC_NAME \
       --bootstrap-server $BOOTSTRAP --producer.config client.properties

Geben Sie Folgendes in die Befehlszeile ein, um die duplizierten Nachrichten aus dem Zielcluster zu lesen:

export BOOTSTRAP=$(gcloud managed-kafka clusters describe TARGET_KAFKA_CLUSTER \
 --location=TARGET_REGION \
 --project=PROJECT_ID \
 --format="value(bootstrapAddress)"
)

kafka-console-consumer.sh --topic source.TOPIC_NAME --from-beginning \
 --bootstrap-server $BOOTSTRAP --consumer.config client.properties

Die Ausgabe sieht etwa so aus:

message 1
message 2
message 3
message 4
[...]

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Console

  1. Löschen Sie den Connect-Cluster.

    1. Rufen Sie die Seite Managed Service for Apache Kafka > Connect-Cluster auf.

      Zu „Connect Clusters“

    2. Wählen Sie den Connect-Cluster aus und klicken Sie auf Löschen.

  2. Löschen Sie den Kafka-Quellcluster.

    1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

      Zu den Clustern

    2. Wählen Sie den Kafka-Cluster aus und klicken Sie auf Löschen.

  3. Wiederholen Sie den vorherigen Schritt, um den Ziel-Kafka-Cluster zu löschen.

gcloud

  1. Verwenden Sie den Befehl gcloud managed-kafka connect-clusters delete, um den Connect-Cluster zu löschen.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
  --location=TARGET_REGION --async

  2. Verwenden Sie den Befehl gcloud managed-kafka clusters delete, um den Kafka-Quellcluster zu löschen.

    gcloud managed-kafka clusters delete SOURCE_KAFKA_CLUSTER \
  --location=SOURCE_REGION --async

  3. Wiederholen Sie den vorherigen Schritt, um den Ziel-Kafka-Cluster zu löschen.

    gcloud managed-kafka clusters delete TARGET_KAFKA_CLUSTER \
  --location=TARGET_REGION --async

Nächste Schritte