Partitionszuweisung in einem Managed Service for Apache Kafka-Cluster ändern

In Managed Service for Apache Kafka können Sie ändern, welche Broker einer Themenpartition zugewiesen sind. Durch die Neuzuweisung von Themenpartitionen können Sie die Last auf den einzelnen Brokern ausgleichen oder die Last auf einem Broker mit hohem Traffic isolieren.

Übersicht

Wenn Sie ein neues Thema in Managed Service for Apache Kafka erstellen, wählen Sie die Anzahl der Partitionen und den Replikationsfaktor aus.

Der Replikationsfaktor ist die Anzahl der Broker, die ein Replikat jeder Partition im Thema speichern. Einer dieser Broker fungiert als Leader und die anderen sind Follower. Der Leader verarbeitet Schreibanfragen für die Partition und die Follower replizieren die Daten. Wenn der Leader ausfällt, wird einer der Follower zum Leader gewählt.

Wenn die automatische Neugewichtung für einen Cluster aktiviert ist, kann das Hochskalieren des Clusters dazu führen, dass Partitionen neu zugewiesen werden, um ungefähr die gleiche Anzahl von Partitionen pro Broker beizubehalten.

Möglicherweise möchten Sie die Partitionszuweisung aus folgenden Gründen ändern:

  • Sie skalieren einen Cluster hoch, für den das automatische Rebalancing deaktiviert ist, und ein neu hinzugefügter Broker verarbeitet keine Last.

  • Eine Partition empfängt viel mehr Traffic als andere Partitionen und Sie möchten die Last isolieren, indem Sie andere Partitionen auf andere Broker verschieben.

Sie können Partitionen mit den Kafka-Befehlszeilentools neu zuweisen, wie im nächsten Abschnitt beschrieben.

Partitionszuweisung ändern

So ändern Sie, welche Broker Partitionen zugewiesen sind:

  1. Installieren Sie die Kafka-Befehlszeilentools auf einer Compute Engine-VM. Die VM muss ein Subnetz erreichen können, das mit Ihrem Cluster verbunden ist. Weitere Informationen finden Sie unter Nachrichten mit den Kafka-Befehlszeilentools erstellen und nutzen.

  2. Rufen Sie mit dem Befehl kafka-configs.sh --describe eine Liste der Broker im Cluster ab.

    kafka-configs.sh --describe --entity-type brokers \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Ersetzen Sie BOOTSTRAP_ADDRESS durch die Bootstrap-Adresse des Clusters. Der Befehl gibt eine Liste von Broker-IDs und dynamischen Broker-Einstellungen zurück.

    Beispielausgabe:

    Dynamic configs for broker 10 are:
    Dynamic configs for broker 11 are:
    Dynamic configs for broker 12 are:
    Default configs for brokers in the cluster are:
    

    In diesem Beispiel sind die Broker-IDs 10, 11 und 12. Es gibt keine dynamischen Broker-Einstellungen.

  3. Erstellen Sie eine JSON-Datei, in der die Themen aufgeführt sind, die anderen Brokern neu zugewiesen werden sollen. Formatieren Sie die Datei wie im folgenden Beispiel:

     {
       "topics": [
         { "topic": "topic-1" },
         { "topic": "topic-2" }
       ]
     }
    
  4. Rufen Sie den Befehl kafka-reassign-partitions.sh mit dem Flag --generate auf, um die aktuelle Partitionszuordnung abzurufen und eine mögliche Neuzuweisung von Partitionen zu generieren.

    kafka-reassign-partitions.sh --generate \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --topics-to-move-json-file TOPICS_FILE \
      --broker-list BROKER_LIST \
      --command-config client.properties
    

    Ersetzen Sie Folgendes:

    • TOPICS_FILE: Der Pfad zur JSON-Datei aus dem vorherigen Schritt.
    • BROKER_LIST: Eine durch Kommas getrennte Liste von Brokern, denen die Partitionen des Topics neu zugewiesen werden sollen. Beispiel: 11,10.

    Beispielausgabe:

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}
    

    In diesem Beispiel wird Partition 0 von topic-1 den Brokern 12 und 10 zugewiesen.

  5. Erstellen Sie eine JSON-Datei, in der eine Zuordnung von Brokern zu Partitionen definiert ist. Sie können mit der vorgeschlagenen Neuzuweisung aus dem vorherigen Schritt beginnen und sie nach Bedarf ändern.

    Mit der folgenden Zuordnung wird beispielsweise Partition 0 von topic-1 zu den Brokern 11 und 10 verschoben.

    {
      "version":1,
      "partitions":[
        {
          "topic":"topic-1",
          "partition":0,
          "replicas":[11,10]
        }
      ]
    }
    
  6. Weisen Sie die Partitionen mit dem Befehl kafka-reassign-partitions.sh --execute zu.

    kafka-reassign-partitions.sh --execute \
      --reassignment-json-file PARTITION_MAP \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    Ersetzen Sie PARTITION_MAP durch den Pfad zur JSON-Datei aus dem vorherigen Schritt.

Nächste Schritte

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder deren Tochtergesellschaften in den USA und/oder anderen Ländern.