Managed Service for Apache Kafka では、トピック パーティションに割り当てられるブローカーを変更できます。トピック パーティションを再割り当てすると、各ブローカーの負荷を分散したり、トラフィックの多いブローカーの負荷を分離したりできます。
概要
Managed Service for Apache Kafka で新しいトピックを作成するときに、パーティションの数とレプリケーション係数を選択します。
レプリケーション ファクタは、トピック内の各パーティションのレプリカを保存するブローカーの数です。これらのブローカーの 1 つがリーダーとして機能し、他のブローカーはフォロワーになります。リーダーはパーティションの書き込みリクエストを処理し、フォロワーはデータを複製します。リーダーに障害が発生すると、フォロワーの 1 つがリーダーに選出されます。
クラスタで自動リバランスが有効になっている場合、クラスタをスケールアップすると、ブローカーあたりのパーティション数をほぼ同じに保つために、パーティションが再割り当てされることがあります。
次のような理由で、パーティションの割り当てを変更することがあります。
自動リバランスが無効になっているクラスタをスケールアップすると、新しく追加されたブローカーが負荷を処理しません。
1 つのパーティションが他のパーティションよりも多くのトラフィックを受信しているため、他のパーティションを別のブローカーに移動して負荷を分離する。
次のセクションで説明するように、Kafka コマンドライン ツールを使用してパーティションを再割り当てできます。
パーティションの割り当てを変更する
パーティションに割り当てられているブローカーを変更するには、次の操作を行います。
Compute Engine VM に Kafka コマンドライン ツールをインストールします。VM は、クラスタに接続されているサブネットにアクセスできる必要があります。詳細については、Kafka コマンドライン ツールを使用してメッセージを生成、消費するをご覧ください。
kafka-configs.sh --describeコマンドを呼び出して、クラスタ内のブローカーのリストを取得します。kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesBOOTSTRAP_ADDRESS は、クラスタのブートストラップ アドレスに置き換えます。このコマンドは、ブローカー ID と動的ブローカー設定のリストを返します。
出力例:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:この例では、ブローカー ID は
10、11、12です。動的ブローカー設定はありません。別のブローカーに再割り当てするトピックを一覧表示する JSON ファイルを作成します。次の例のようにファイルをフォーマットします。
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }--generateフラグを指定してkafka-reassign-partitions.shコマンドを呼び出し、現在のパーティション マッピングを取得して、候補となるパーティションの再割り当てを生成します。kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.properties次のように置き換えます。
- TOPICS_FILE: 前の手順で作成した JSON ファイルのパス。
- BROKER_LIST: トピックのパーティションを再割り当てするブローカーのカンマ区切りのリスト。例:
11,10
出力例:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}この例では、
topic-1のパーティション 0 がブローカー12と10に割り当てられています。ブローカーとパーティションのマッピングを定義する JSON ファイルを作成します。前のステップで提案された再割り当てから始めて、必要に応じて変更できます。
たとえば、次のマッピングでは、
topic-1のパーティション 0 がブローカー11と10に移動されます。{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }kafka-reassign-partitions.sh --executeコマンドを呼び出してパーティションを割り当てます。kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesPARTITION_MAP は、前の手順で作成した JSON ファイルのパスに置き換えます。
次のステップ
- Managed Service for Apache Kafka のブローカーの概要
- Managed Service for Apache Kafka クラスタをモニタリングする
- Managed Service for Apache Kafka クラスタのサイズを計画する