Sie können einen Cluster über die Google Cloud -Konsole, die Google Cloud CLI, die Clientbibliothek oder die Managed Kafka API aufrufen. Sie können die Open-Source-Apache Kafka API nicht verwenden, um einen Cluster aufzurufen.
Erforderliche Rollen und Berechtigungen zum Aufrufen eines Clusters
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Managed Kafka Viewer (roles/managedkafka.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen eines Clusters benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Aufrufen eines Clusters erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Für das Aufrufen eines Clusters sind die folgenden Berechtigungen erforderlich:
-
Cluster auflisten:
managedkafka.clusters.list -
Clusterdetails abrufen:
managedkafka.clusters.get
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Cluster ansehen
So rufen Sie einen Cluster auf:
Console
Rufen Sie in der Google Cloud Console die Seite Cluster auf.
Die Cluster, die Sie in einem Projekt erstellt haben, werden aufgelistet.
Wenn Sie einen bestimmten Cluster aufrufen möchten, klicken Sie auf den Clusternamen.
Die Cluster-Detailseite wird geöffnet. Diese Seite enthält die folgenden Tabs:
- Ressourcen: Hier wird die Liste der Themen und Verbrauchergruppen angezeigt, die mit dem Cluster verknüpft sind.
- Zugriffssteuerung: Hier werden die ACL-Einträge für den Cluster angezeigt.
- Konfigurationen: Hier wird die Konfiguration des Clusters angezeigt, einschließlich der Liste der Subnetze, die dem Cluster zugeordnet sind.
- Monitoring: Hier werden die Monitoring-Benachrichtigungen angezeigt, die mit dem Cluster verknüpft sind.
- Logs: Hier werden die Logs für Cluster aus dem Log-Explorer angezeigt.
- Quellen: Bietet Verknüpfungen zum Erstellen von Kafka Connect-Quell-Connectors oder zum Generieren von synthetischen Testdaten.
- Sinks (Senken): Bietet Verknüpfungen zum Erstellen von Kafka Connect-Senken-Connectors.
gcloud
-
Aktivieren Sie Cloud Shell in der Google Cloud Console.
Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Ersetzen Sie folgende Werte, bevor sie einen der Befehlsdaten verwenden:
-
PROJECT_ID: Projekt-ID. -
LOCATION: Der Standort des Clusters. -
CLUSTER_ID: die ID des Clusters.
Führen Sie folgenden Befehl aus:
Linux, macOS oder Cloud Shell
gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --project=PROJECT_ID
Windows (PowerShell)
gcloud managed-kafka clusters describe CLUSTER_ID ` --location=LOCATION ` --project=PROJECT_ID
Windows (cmd.exe)
gcloud managed-kafka clusters describe CLUSTER_ID ^ --location=LOCATION ^ --project=PROJECT_ID
Sie sollten eine Antwort ähnlich der folgenden erhalten:
bootstrapAddress: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9092 bootstrapAddressMTLS: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9192 brokerCapacityConfig: {} capacityConfig: memoryBytes: 'MEMORY' vcpuCount: 'CPU_COUNT' createTime: 'CREATE_TIME' gcpConfig: accessConfig: networkConfigs: - subnet: projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET_ID publicClusterConfig: allowedSourceIpRanges: - 203.0.113.5/32 labels: goog-terraform-provisioned: 'true' name: projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID publicClusterDetails: discoveryDnsRecords: - discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog externalIpAddresses: - 203.0.113.1 - 203.0.113.2 - 203.0.113.3 - 203.0.113.4 rebalanceConfig: mode: AUTO_REBALANCE_ON_SCALE_UP satisfiesPzi: false satisfiesPzs: false state: ACTIVE tlsConfig: trustConfig: {} updateOptions: {} updateTime: 'UPDATE_TIME'-
REST
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
-
PROJECT_ID: Ihre Google Cloud Projekt-ID -
LOCATION: Der Standort des Clusters. -
CLUSTER_ID: die ID des Clusters. -
CLUSTER_VIEW: Die Menge der zurückzugebenden Metadaten. Geben Sie einen der folgenden Werte an:CLUSTER_VIEW_BASIC: Gibt die grundlegenden Metadaten für den Cluster zurück.CLUSTER_VIEW_FULL: Gibt alle Metadaten für den Cluster zurück, einschließlich Informationen zu den Brokern des Clusters und der Kafka-Versionsnummer, die auf dem Cluster ausgeführt wird.
Wenn nichts angegeben ist, wird standardmäßig die Methode
CLUSTER_VIEW_BASICverwendet.
HTTP-Methode und URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten in etwa folgende JSON-Antwort erhalten:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
Go
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Go unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Managed Service for Apache Kafka Go API.
Richten Sie zur Authentifizierung bei Managed Service for Apache Kafka die Standardanmeldedaten für Anwendungen(Application Default Credentials, ADC) ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Java
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Java unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Java API für Managed Service for Apache Kafka.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Python
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Anleitung zur Einrichtung von Python unter Clientbibliotheken installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API für Managed Service for Apache Kafka.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Managed Service for Apache Kafka zu authentifizieren. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Clusterattribute und ‑ressourcen ansehen
In den folgenden Abschnitten wird beschrieben, wie Sie Details zu verschiedenen Eigenschaften und Ressourcen abrufen, die einem Google Cloud Managed Service for Apache Kafka-Cluster zugeordnet sind.
Bootstrap-Adresse
Kafka-Clients verwenden die Bootstrap-Adresse des Clusters, um eine Verbindung zum Cluster herzustellen. Die Bootstrap-Adresse ist für die Lebensdauer eines Clusters festgelegt, das Format der Bootstrap-URL kann sich jedoch zwischen Clustern unterscheiden.
Wenn für Ihren Cluster der öffentliche Zugriff aktiviert ist, wird die Bootstrap-Adresse automatisch in öffentliche oder private IP-Adressen aufgelöst, je nachdem, von wo aus der Client eine Verbindung herstellt (mit Split-Horizon-DNS). Sowohl interne als auch externe Clients sollten diese Bootstrap-Adresse verwenden, um eine Verbindung zum Cluster herzustellen. Konfigurieren Sie Kafka-Clients nicht so, dass sie eine Verbindung zu Discovery-DNS-Einträgen herstellen. Diese sind nur für die Konfiguration externer Firewalls für ausgehenden Traffic reserviert.
So rufen Sie die Bootstrap-Adresse ab:
Console
Rufen Sie die Seite Managed Service for Apache Kafka > Cluster auf.
Klicken Sie auf den Namen des Clusters.
Wählen Sie den Tab Konfigurationen aus.
Wenn Sie SASL zur Authentifizierung verwenden, wird die Bootstrap-URL unter Bootstrap URL aufgeführt.
Wenn Sie gegenseitiges TLS (mTLS) zur Authentifizierung verwenden, wird die Bootstrap-URL unter mTLS-Bootstrap-URL aufgeführt.
Klicken Sie auf Kopieren, um den Wert zu kopieren.
gcloud
Verwenden Sie den Befehl managed-kafka clusters
describe, um die Bootstrap-URL abzurufen.
Wenn Sie SASL zur Authentifizierung verwenden, führen Sie den folgenden Befehl aus:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION \
--format="value(bootstrapAddress)"
Wenn Sie gegenseitige TLS-Authentifizierung (mTLS) verwenden, führen Sie den folgenden Befehl aus:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION \
--format="value(bootstrapAddressMTLS)"
Ersetzen Sie Folgendes:
- CLUSTER_ID: Die ID oder der Name des Clusters.
- LOCATION: Der Standort des Clusters.
Weitere Informationen zur SASL- und mTLS-Authentifizierung finden Sie unter Authentifizierungstypen für Kafka-Broker.
Makler
Informationen zum Ansehen der Broker in Ihrem Cluster finden Sie unter Broker in einem Managed Service for Apache Kafka-Cluster ansehen.
Verbrauchergruppen
Eine Nutzergruppe ist eine Gruppe von Nutzern, die zusammenarbeiten, um Daten aus verschiedenen Themen zu nutzen. Informationen zum Aufrufen der Consumer-Gruppen für einen Cluster finden Sie auf den folgenden Seiten:
Subnetzwerke
Führen Sie die folgenden Schritte aus, um die Subnetzwerke aufzurufen, die mit Ihrem Cluster verbunden sind:
Console
Rufen Sie in der Google Cloud Console die Seite Cluster auf.
Klicken Sie auf den Namen des Clusters.
Klicken Sie auf der Cluster-Detailseite auf den Tab Konfigurationen. Verbundene Subnetzwerke werden unter Subnetzwerke aufgeführt.
gcloud
Zum Abrufen der aktuellen Richtlinie führen Sie den Befehl
gcloud managed-kafka clusters describeaus:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(gcpConfig.accessConfig.networkConfigs)"Ersetzen Sie Folgendes:
- CLUSTER_ID: Die ID oder der Name des Clusters.
- LOCATION: Der Standort des Clusters.
Weitere Informationen finden Sie unter Netzwerk für Managed Service for Apache Kafka konfigurieren.
Zulässige Quell-IP-Bereiche
So rufen Sie die zulässigen Quell-IP-Bereiche für einen öffentlichen Cluster auf:
Console
Rufen Sie in der Google Cloud Console die Seite Cluster auf.
Klicken Sie auf den Namen des Clusters.
Klicken Sie auf den Tab Konfigurationen. Die zulässigen Quell-IP-Bereiche sind in der Tabelle Zulässige Quell-IP-Bereiche in der Spalte IP-Bereich aufgeführt.
gcloud
Wenn Sie die zulässigen Quell-IP-Bereiche mit
gcloudaufrufen möchten, sehen Sie sich das FeldgcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRangesin der Antwort des Befehlsgcloud managed-kafka clusters describean:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges)"Ersetzen Sie Folgendes:
- CLUSTER_ID: Die ID oder der Name des Clusters.
- LOCATION: Der Standort des Clusters.
REST
Wenn Sie die zulässigen Quell-IP-Bereiche über die REST API aufrufen möchten, sehen Sie sich das Feld gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges in der Antwort einer GET-Anfrage an:
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
-
PROJECT_ID: Ihre Google Cloud Projekt-ID -
LOCATION: Der Standort des Clusters. -
CLUSTER_ID: die ID des Clusters. -
CLUSTER_VIEW: Die Menge der zurückzugebenden Metadaten. Geben Sie einen der folgenden Werte an:CLUSTER_VIEW_BASIC: Gibt die grundlegenden Metadaten für den Cluster zurück.CLUSTER_VIEW_FULL: Gibt alle Metadaten für den Cluster zurück, einschließlich Informationen zu den Brokern des Clusters und der Kafka-Versionsnummer, die auf dem Cluster ausgeführt wird.
Wenn nichts angegeben ist, wird standardmäßig die Methode
CLUSTER_VIEW_BASICverwendet.
HTTP-Methode und URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
Weitere Informationen zu zulässigen Quell-IP-Bereichen finden Sie unter Öffentliche Cluster.
Details zum öffentlichen Cluster
So rufen Sie die Details des öffentlichen Clusters auf, einschließlich der externen IP-Adressen und der DNS-Einträge für die Ermittlung:
Console
Rufen Sie in der Google Cloud Console die Seite Cluster auf.
Klicken Sie auf den Namen des Clusters.
Klicken Sie auf den Tab Konfigurationen. Die externen IP-Adressen und DNS-Einträge für die Ermittlung werden in den Feldern Externe IP-Adressen und DNS-Einträge für die Ermittlung aufgeführt.
gcloud
Zum Abrufen der aktuellen Richtlinie führen Sie den Befehl
gcloud managed-kafka clusters describeaus:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(publicClusterDetails)"Ersetzen Sie Folgendes:
- CLUSTER_ID: Die ID oder der Name des Clusters.
- LOCATION: Der Standort des Clusters.
REST
So rufen Sie die öffentlichen Clusterdetails mit der REST API auf: Prüfen Sie das Feld publicClusterDetails in der Antwort einer GET-Anfrage:
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
-
PROJECT_ID: Ihre Google Cloud Projekt-ID -
LOCATION: Der Standort des Clusters. -
CLUSTER_ID: die ID des Clusters. -
CLUSTER_VIEW: Die Menge der zurückzugebenden Metadaten. Geben Sie einen der folgenden Werte an:CLUSTER_VIEW_BASIC: Gibt die grundlegenden Metadaten für den Cluster zurück.CLUSTER_VIEW_FULL: Gibt alle Metadaten für den Cluster zurück, einschließlich Informationen zu den Brokern des Clusters und der Kafka-Versionsnummer, die auf dem Cluster ausgeführt wird.
Wenn nichts angegeben ist, wird standardmäßig die Methode
CLUSTER_VIEW_BASICverwendet.
HTTP-Methode und URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
Themen
Informationen dazu, wie Sie die Themen in einem Cluster aufrufen, finden Sie auf den folgenden Seiten: