Managed Service for Apache Kafka-Cluster erstellen und ansehen

Hier erfahren Sie, wie Sie einen Managed Service for Apache Kafka-Cluster mit einem Thema erstellen und Details zum Cluster ansehen. Sie können diese Anleitung mit der Google Cloud Console oder der Google Cloud CLI ausführen.

Hinweis

Console

  1. Melden Sie sich in Ihrem Google-Konto an.

    Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Managed Kafka API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Managed Kafka API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    10.

gcloud

  1. Melden Sie sich in Ihrem Google-Konto an.

    Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.

  2. Installieren Sie die Google Cloud CLI.

  3. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  4. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  5. Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

    Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Weitere Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud -Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud -Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts in Google Cloud .

  6. Wenn Sie für diese Anleitung ein vorhandenes Projekt verwenden, prüfen Sie, ob Sie die erforderlichen Berechtigungen haben. Wenn Sie ein neues Projekt erstellt haben, haben Sie bereits die erforderlichen Berechtigungen.

  7. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

  8. Aktivieren Sie die Managed Kafka API:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen 

    gcloud services enable managedkafka.googleapis.com

  9. Installieren Sie die Google Cloud CLI.

  10. Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

  11. Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

    gcloud init

  12. Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

    Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Weitere Informationen zum Zuweisen von Rollen

    • So erstellen Sie ein Google Cloud -Projekt:

      gcloud projects create PROJECT_ID

      Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud -Projekt, das Sie erstellen.

    • Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts in Google Cloud .

  13. Wenn Sie für diese Anleitung ein vorhandenes Projekt verwenden, prüfen Sie, ob Sie die erforderlichen Berechtigungen haben. Wenn Sie ein neues Projekt erstellt haben, haben Sie bereits die erforderlichen Berechtigungen.

  14. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

  15. Aktivieren Sie die Managed Kafka API:

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen 

    gcloud services enable managedkafka.googleapis.com
    16.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Erstellen des Clusters haben:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Cluster erstellen

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf Erstellen.
  3. Geben Sie in das Feld Clustername einen Namen für den Cluster ein.
  4. Wählen Sie in der Liste Region einen Standort für den Cluster aus.
  5. Konfigurieren Sie unter Netzwerkkonfiguration das Subnetz, in dem der Cluster zugänglich ist:
    1. Wählen Sie unter Projekt Ihr Projekt aus.
    2. Wählen Sie unter Netzwerk das VPC-Netzwerk aus.
    3. Wählen Sie das Subnetz für Subnetz aus.
    4. Klicken Sie auf Fertig.
  6. Klicken Sie auf Erstellen.

Nachdem Sie auf Erstellen geklickt haben, ist der Clusterstatus Creating. Wenn der Cluster bereit ist, lautet der Status Active.

gcloud

Führen Sie den Befehl managed-kafka clusters create aus, um einen Kafka-Cluster zu erstellen. 

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Ersetzen Sie Folgendes:

  • KAFKA_CLUSTER: ein Name für den Kafka-Cluster
  • REGION: Der Standort des Clusters
  • PROJECT_ID: Ihre Projekt-ID.
  • SUBNET_NAME: Das Subnetz, in dem Sie den Cluster erstellen möchten, z. B. default

Informationen zu unterstützten Standorten finden Sie unter Managed Service for Apache Kafka-Standorte.

Der Befehl wird asynchron ausgeführt und gibt eine Vorgangs-ID zurück:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Verwenden Sie den Befehl gcloud managed-kafka operations describe, um den Fortschritt des Erstellungsvorgangs zu verfolgen: 

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Wenn der Cluster bereit ist, enthält die Ausgabe dieses Befehls den Eintrag state: ACTIVE. Weitere Informationen finden Sie unter Vorgang zum Erstellen von Clustern überwachen.

Nachdem Sie diese Schritte ausgeführt haben, kann es bis zu 30 Minuten dauern, bis der Cluster bereit ist.

Während Sie warten, bis dieser Vorgang abgeschlossen ist, können Sie sich optional die Tutorials unter Nächste Schritte ansehen. Sie zeigen, wie Nachrichten für den Cluster mit verschiedenen Methoden erstellt werden. Sobald der Cluster bereit ist, können Sie eines dieser Tutorials durcharbeiten.

Thema erstellen

Wenn der Managed Service for Apache Kafka-Cluster bereit ist, erstellen Sie ein Thema.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf den Namen des Clusters.

  3. Klicken Sie auf der Seite mit den Clusterdetails auf Thema erstellen.

  4. Geben Sie im Feld Themenname einen Namen für das Thema ein.

  5. Klicken Sie auf Erstellen.

gcloud

Führen Sie den Befehl managed-kafka topics create aus, um ein Kafka-Thema zu erstellen.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Ersetzen Sie Folgendes:

  • KAFKA_TOPIC_NAME: Der Name des Kafka-Themas, das erstellt werden soll.
  • KAFKA_CLUSTER: Der Name des Kafka-Clusters
  • REGION: Die Region, in der Sie den Kafka-Cluster erstellt haben

Cluster ansehen

Sobald der Cluster bereit ist, können Sie Informationen dazu aufrufen, z. B. zu den Themen, Verbrauchergruppen, Netzwerken und anderen Details.

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf den Namen des Clusters. Auf der Seite Clusterdetails werden Informationen zum Cluster angezeigt. Auf dem Tab Ressourcen werden die mit dem Cluster verknüpften Ressourcen angezeigt, einschließlich Themen.

  3. Wenn Sie Details zu einem Thema aufrufen möchten, wählen Sie den Tab Ressourcen aus und klicken Sie auf den Namen des Themas. Auf der Seite Themendetails werden Informationen zum Thema angezeigt, z. B. die Anzahl der Partitionen und Replikate.

  4. Wenn Sie zur Seite Clusterdetails zurückkehren möchten, klicken Sie auf  Zurück zur übergeordneten Seite.

gcloud

  1. Führen Sie den Befehl gcloud managed-kafka clusters describe aus, um Informationen zum Cluster aufzurufen.

    gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION

    Ersetzen Sie Folgendes:

    • KAFKA_CLUSTER ist der Name des Clusters.
    • REGION: Die Region, in der Sie den Cluster erstellt haben

    Die Ausgabe dieses Befehls ist eine Liste von Clustereigenschaften, die in etwa so aussieht:

    bootstrapAddress: BOOTSTRAP_ADDRESS
capacityConfig:
  memoryBytes: '3221225472'
  vcpuCount: '3'
createTime: 'TIMESTAMP'

  2. Führen Sie den Befehl gcloud managed-kafka topics list aus, um eine Liste der Themen im Cluster abzurufen.

    gcloud managed-kafka topics list KAFKA_CLUSTER \
  --location=REGION \
  --format="value(name)"

    Die Ausgabe enthält die Themen, die Sie erstellt haben, sowie Themen, die von Managed Service for Apache Kafka für die interne Verwendung erstellt werden.

  3. Führen Sie den Befehl gcloud managed-kafka topics describe aus, um Informationen zu einem Thema aufzurufen.

    gcloud managed-kafka topics describe TOPIC_NAME \
  --cluster=KAFKA_CLUSTER \
  --location=REGION

    Ersetzen Sie TOPIC_NAME durch den Namen des Themas.

    Die Ausgabe dieses Befehls ist eine Liste von Themenattributen, die in etwa so aussieht:

     name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
 partitionCount: 10
 replicationFactor: 3

Bootstrap-Adresse abrufen

Kafka-Clients verwenden die Bootstrap-Adresse des Clusters, um eine Verbindung zum Cluster herzustellen. So rufen Sie die Bootstrap-Adresse ab:

Console

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Klicken Sie auf den Namen des Clusters.

  3. Wählen Sie den Tab Konfigurationen aus.

  4. Die Bootstrap-URL wird unter Bootstrap-URL aufgeführt. Klicken Sie auf  Kopieren, um den Wert zu kopieren.

gcloud

Führen Sie den Befehl managed-kafka clusters describe aus, um die Bootstrap-URL zu erhalten.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Ersetzen Sie Folgendes:

  • KAFKA_CLUSTER ist der Name des Clusters.
  • REGION: Die Region, in der Sie den Cluster erstellt haben

Sie können jetzt Nachrichten an den Cluster senden. Weitere Informationen finden Sie in diesem Dokument im Abschnitt Weitere Informationen.

Bereinigen

Löschen Sie das Projekt von Google Cloud zusammen mit den Ressourcen, damit Ihrem Konto von Google Cloud die auf dieser Seite verwendeten Ressourcen nicht in Rechnung gestellt werden.

Console

Cluster löschen

  1. Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.

    Zu den Clustern

  2. Wählen Sie den Kafka-Cluster aus und klicken Sie auf Löschen.

gcloud

  1. Verwenden Sie den Befehl gcloud managed-kafka clusters delete, um den Cluster zu löschen.

    gcloud managed-kafka clusters delete KAFKA_CLUSTER \
  --location=REGION --async

Nächste Schritte

Erstellen Sie Nachrichten für Kafka entweder mit den Kafka-Befehlszeilentools oder durch Erstellen einer Clientanwendung: