Managed Service for Apache Kafka クラスタのパーティション割り当てを変更する

Managed Service for Apache Kafka では、トピック パーティションに割り当てられるブローカーを変更できます。トピック パーティションを再割り当てすると、各ブローカーの負荷を分散したり、トラフィックの多いブローカーの負荷を分離したりできます。

概要

Managed Service for Apache Kafka で新しいトピックを作成するときに、パーティションの数とレプリケーション係数を選択します。

レプリケーション ファクタは、トピック内の各パーティションのレプリカを保存するブローカーの数です。これらのブローカーの 1 つがリーダーとして機能し、他のブローカーはフォロワーになります。リーダーはパーティションの書き込みリクエストを処理し、フォロワーはデータを複製します。リーダーに障害が発生すると、フォロワーの 1 つがリーダーに選出されます。

クラスタで自動リバランスが有効になっている場合、クラスタをスケールアップすると、ブローカーあたりのパーティション数をほぼ同じに保つために、パーティションが再割り当てされることがあります。

次のような理由で、パーティションの割り当てを変更することがあります。

  • 自動リバランスが無効になっているクラスタをスケールアップすると、新しく追加されたブローカーが負荷を処理しません。

  • 1 つのパーティションが他のパーティションよりも多くのトラフィックを受信しているため、他のパーティションを別のブローカーに移動して負荷を分離する。

次のセクションで説明するように、Kafka コマンドライン ツールを使用してパーティションを再割り当てできます。

パーティションの割り当てを変更する

パーティションに割り当てられているブローカーを変更するには、次の操作を行います。

  1. Compute Engine VM に Kafka コマンドライン ツールをインストールします。VM は、クラスタに接続されているサブネットにアクセスできる必要があります。詳細については、Kafka コマンドライン ツールを使用してメッセージを生成、消費するをご覧ください。

  2. kafka-configs.sh --describe コマンドを呼び出して、クラスタ内のブローカーのリストを取得します。

    kafka-configs.sh --describe --entity-type brokers \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    BOOTSTRAP_ADDRESS は、クラスタのブートストラップ アドレスに置き換えます。このコマンドは、ブローカー ID と動的ブローカー設定のリストを返します。

    出力例:

    Dynamic configs for broker 10 are:
    Dynamic configs for broker 11 are:
    Dynamic configs for broker 12 are:
    Default configs for brokers in the cluster are:
    

    この例では、ブローカー ID は 10、11、12 です。動的ブローカー設定はありません。

  3. 別のブローカーに再割り当てするトピックを一覧表示する JSON ファイルを作成します。次の例のようにファイルをフォーマットします。

     {
       "topics": [
         { "topic": "topic-1" },
         { "topic": "topic-2" }
       ]
     }
    
  4. --generate フラグを指定して kafka-reassign-partitions.sh コマンドを呼び出し、現在のパーティション マッピングを取得して、候補となるパーティションの再割り当てを生成します。

    kafka-reassign-partitions.sh --generate \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --topics-to-move-json-file TOPICS_FILE \
      --broker-list BROKER_LIST \
      --command-config client.properties
    

    次のように置き換えます。

    • TOPICS_FILE: 前の手順で作成した JSON ファイルのパス。
    • BROKER_LIST: トピックのパーティションを再割り当てするブローカーのカンマ区切りのリスト。例: 11,10

    出力例:

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}
    

    この例では、topic-1 のパーティション 0 がブローカー 12 と 10 に割り当てられています。

  5. ブローカーとパーティションのマッピングを定義する JSON ファイルを作成します。前のステップで提案された再割り当てから始めて、必要に応じて変更できます。

    たとえば、次のマッピングでは、topic-1 のパーティション 0 がブローカー 11 と 10 に移動されます。

    {
      "version":1,
      "partitions":[
        {
          "topic":"topic-1",
          "partition":0,
          "replicas":[11,10]
        }
      ]
    }
    
  6. kafka-reassign-partitions.sh --execute コマンドを呼び出してパーティションを割り当てます。

    kafka-reassign-partitions.sh --execute \
      --reassignment-json-file PARTITION_MAP \
      --bootstrap-server=BOOTSTRAP_ADDRESS \
      --command-config client.properties
    

    PARTITION_MAP は、前の手順で作成した JSON ファイルのパスに置き換えます。

次のステップ

Apache Kafka® は、Apache Software Foundation または米国その他の諸国における関連会社の商標です。