In Managed Service for Apache Kafka können Sie ändern, welche Broker einer Themenpartition zugewiesen sind. Durch die Neuzuweisung von Themenpartitionen können Sie die Last auf den einzelnen Brokern ausgleichen oder die Last auf einem Broker mit hohem Traffic isolieren.
Übersicht
Wenn Sie ein neues Thema in Managed Service for Apache Kafka erstellen, wählen Sie die Anzahl der Partitionen und den Replikationsfaktor aus.
Der Replikationsfaktor ist die Anzahl der Broker, die ein Replikat jeder Partition im Thema speichern. Einer dieser Broker fungiert als Leader und die anderen sind Follower. Der Leader verarbeitet Schreibanfragen für die Partition und die Follower replizieren die Daten. Wenn der Leader ausfällt, wird einer der Follower zum Leader gewählt.
Wenn die automatische Neugewichtung für einen Cluster aktiviert ist, kann das Hochskalieren des Clusters dazu führen, dass Partitionen neu zugewiesen werden, um ungefähr die gleiche Anzahl von Partitionen pro Broker beizubehalten.
Möglicherweise möchten Sie die Partitionszuweisung aus folgenden Gründen ändern:
Sie skalieren einen Cluster hoch, für den das automatische Rebalancing deaktiviert ist, und ein neu hinzugefügter Broker verarbeitet keine Last.
Eine Partition empfängt viel mehr Traffic als andere Partitionen und Sie möchten die Last isolieren, indem Sie andere Partitionen auf andere Broker verschieben.
Sie können Partitionen mit den Kafka-Befehlszeilentools neu zuweisen, wie im nächsten Abschnitt beschrieben.
Partitionszuweisung ändern
So ändern Sie, welche Broker Partitionen zugewiesen sind:
Installieren Sie die Kafka-Befehlszeilentools auf einer Compute Engine-VM. Die VM muss ein Subnetz erreichen können, das mit Ihrem Cluster verbunden ist. Weitere Informationen finden Sie unter Nachrichten mit den Kafka-Befehlszeilentools erstellen und nutzen.
Rufen Sie mit dem Befehl
kafka-configs.sh --describeeine Liste der Broker im Cluster ab.kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesErsetzen Sie BOOTSTRAP_ADDRESS durch die Bootstrap-Adresse des Clusters. Der Befehl gibt eine Liste von Broker-IDs und dynamischen Broker-Einstellungen zurück.
Beispielausgabe:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:In diesem Beispiel sind die Broker-IDs
10,11und12. Es gibt keine dynamischen Broker-Einstellungen.Erstellen Sie eine JSON-Datei, in der die Themen aufgeführt sind, die anderen Brokern neu zugewiesen werden sollen. Formatieren Sie die Datei wie im folgenden Beispiel:
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }Rufen Sie den Befehl
kafka-reassign-partitions.shmit dem Flag--generateauf, um die aktuelle Partitionszuordnung abzurufen und eine mögliche Neuzuweisung von Partitionen zu generieren.kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.propertiesErsetzen Sie Folgendes:
- TOPICS_FILE: Der Pfad zur JSON-Datei aus dem vorherigen Schritt.
- BROKER_LIST: Eine durch Kommas getrennte Liste von Brokern, denen die Partitionen des Topics neu zugewiesen werden sollen. Beispiel:
11,10.
Beispielausgabe:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}In diesem Beispiel wird Partition 0 von
topic-1den Brokern12und10zugewiesen.Erstellen Sie eine JSON-Datei, in der eine Zuordnung von Brokern zu Partitionen definiert ist. Sie können mit der vorgeschlagenen Neuzuweisung aus dem vorherigen Schritt beginnen und sie nach Bedarf ändern.
Mit der folgenden Zuordnung wird beispielsweise Partition 0 von
topic-1zu den Brokern11und10verschoben.{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }Weisen Sie die Partitionen mit dem Befehl
kafka-reassign-partitions.sh --executezu.kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesErsetzen Sie PARTITION_MAP durch den Pfad zur JSON-Datei aus dem vorherigen Schritt.
Nächste Schritte
- Übersicht über Broker in Managed Service for Apache Kafka
- Managed Service for Apache Kafka-Cluster überwachen
- Größe des Managed Service for Apache Kafka-Clusters planen