このドキュメントでは、Managed Service for Apache Kafka が Kafka クラスタのストレージを管理する方法と、クラスタでディスク容量を構成する方法について説明します。クラスタを作成すると、サービスはディスクを自動的にプロビジョニングしますが、Kafka ワークロードによっては、デフォルトよりも多くのディスク容量を割り当てる必要がある場合があります。
概要
Managed Service for Apache Kafka は、階層型ストレージを使用します。階層型ストレージは、次の 2 つのストレージ階層を組み合わせたものです。
- ブローカーにアタッチされた事前プロビジョニング ディスクの形式で、高速なローカル ストレージの量が制限されています。
- 実質的に無制限のリモート ストレージ。リモート ストレージは安価で、事前プロビジョニングは不要です。
階層型ストレージ システムを使用すると、ディスク容量が不足するリスクを軽減しながら、大量のデータを保存できます。ローカル ストレージのみを使用するよりもコストを削減できます。
ブローカーはメッセージを受信すると、メッセージをローカル セグメント ファイルに書き込みます。セグメント ファイルが最大サイズまたは最大経過時間に達すると、閉じられ(ロールオーバー)、リモート ストレージに移動されます。パーティションごとに開いているセグメント ファイルは 1 つだけなので、ローカル ストレージの容量はパーティションの数とセグメント ファイルの最大サイズに応じてスケーリングされます。より多くのパーティションを処理するブローカーには、より多くのローカル ストレージ容量が必要です。
セグメント ファイルのサイズを設定するには、log.roll.ms と log.segment.bytes のブローカー構成を設定します。
ログの圧縮を有効にすると、そのトピックにはローカル ストレージのみが使用されます。
デフォルトのディスク構成
デフォルトでは、Managed Service for Apache Kafka は、すべてのブローカーに対して vCPU あたり 100 GiB 以上のディスク容量をプロビジョニングします。クラスタをスケールアップすると、サービスはブローカーに CPU あたり 100 GiB 以上のメモリが割り当てられるようにします。ブローカーあたりの vCPU 数が減少しても、ブローカーあたりのディスク容量が減少することはありません。
割り当てられたディスク容量を確認するには、クラスタの有効ディスク容量を表示します。
カスタム ディスク構成
デフォルトのディスク構成は、ほとんどのユーザーにとって安全で費用対効果の高いローカル ストレージのバランスを提供します。ただし、クラスタの作成または更新時にカスタム ディスク構成を設定して、ローカル ディスクサイズを指定することもできます。
ディスクサイズを増やす理由としては、次のようなものがあります。
大きなキー空間でのログ圧縮。トピックでログ圧縮が有効になっている場合、Kafka は各キーの最新のメッセージをディスクに保存します。キー空間が大きいと、大量のメッセージがディスクに無期限に保持される可能性があります。
パーティションの数が多すぎる。各パーティションには、ロールされたセグメントを保存するのに十分なスペースと、ブローカーがロールされたセグメント ファイルをリモート ストレージにコピーする間に新しいセグメント ファイルを保存するスペースが必要です。vCPU あたりのパーティション数が 200 を超える場合は、カスタム ストレージ構成の設定を検討してください。
高負荷。ブローカーが過負荷状態になると、ロールオーバーされたファイルをリモート ストレージに迅速に移動するのに十分なディスク容量がないため、ローカル ストレージの容量を増やす必要がある場合があります。
ディスク容量不足エラー。クラスタのブローカーでディスク容量が不足した場合は、ディスク容量を増やしてクラスタを運用できます。
詳細については、必要なディスクサイズを見積もるをご覧ください。
ディスク構成の要件
カスタム ディスク構成は、次の要件を満たす必要があります。
ブローカーあたりのディスクサイズは、各ブローカーの vCPU 数に 100 GiB を掛けた値以上にしてください。
たとえば、6 個の vCPU と 3 個のブローカーを含むクラスタには、ブローカーあたり少なくとも 200 GiB が必要です。
ブローカーあたりのディスクサイズは 32,768 GiB(32 TiB)を超えることはできません。
ブローカーあたりのディスクサイズを減らすことはできません。クラスタを更新する場合、新しいディスクサイズは現在の有効ディスク容量以上である必要があります。
クラスタをスケールアップする場合、更新された vCPU 数とディスクサイズは、新しいブローカーが追加される可能性があることを考慮して、以前の要件を満たしている必要があります。ブローカーの数を計算するには、クラスタのスケーリングをご覧ください。
たとえば、ブローカーごとに 3 個の vCPU と 200 GiB のディスクを備えたクラスタがあるとします。クラスタを 9 個の vCPU にスケーリングする場合、最小ディスクサイズは 300 GiB(9 個の vCPU / 3 個のブローカー × 100 GiB)です。この要件を満たすには、同じ更新リクエストでディスクサイズと vCPU 数を設定する必要があります。
カスタム ディスク構成を設定する
カスタム ディスク構成は、クラスタの作成時、または既存のクラスタの更新時に設定できます。この構成は、クラスタ内のすべてのブローカーに適用されます。
コンソール
[Kafka クラスタの作成] ページまたは [Kafka クラスタの編集] ページで、次の操作を行います。
[容量構成] で、[カスタム ローカル ストレージ サイズを有効にする] 切り替えボタンをクリックしてオンにします。
[カスタム ローカル ストレージ] フィールドに、ブローカーあたりのディスクサイズを GiB 単位で入力します。値は、ディスク構成の要件を満たしている必要があります。満たしていない場合は、エラーが発生します。
[保存] をクリックします。
gcloud
gcloud managed-kafka clusters create コマンドまたは gcloud managed-kafka clusters update コマンドで --broker-disk-size-gib フラグを指定します。
クラスタを作成します。
gcloud managed-kafka clusters create CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
# Other configruration flags
...
クラスタを更新する:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
次のように置き換えます。
- CLUSTER_ID: クラスタの名前。
- LOCATION: クラスタのロケーション。
- DISK_SIZE: ブローカーあたりのディスクサイズ(GiB)。値はディスク構成の要件を満たしている必要があります。満たしていない場合、エラーが発生します。
Kafka クラスタの作成と更新の詳細については、次のドキュメントをご覧ください。
カスタム ディスク構成を表示する
Managed Service for Apache Kafka クラスタでカスタム ディスク構成を表示するには、次の操作を行います。
コンソール
Google Cloud コンソールで、[クラスタ] ページに移動します。
クラスタのリストで、表示するクラスタをクリックします。
[構成] タブを選択します。
[容量] で、クラスタにカスタム ディスク構成がある場合、[カスタム ローカル ストレージ] 行にブローカーあたりのディスクサイズが表示されます。それ以外の場合は、行に
Disabledが表示されます。
gcloud
gcloud managed-kafka clusters describe コマンドを実行します。
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION
次のように置き換えます。
- CLUSTER_ID: クラスタの名前。
- LOCATION: クラスタのロケーション。
返されたクラスタの説明では、brokerCapacityConfig フィールドに構成が表示されます。
brokerCapacityConfig:
diskSizeGib: '3000'
カスタム ディスク構成を設定していない場合、このフィールドは空になります。
brokerCapacityConfig: {}
有効なディスク容量を表示する
クラスタの有効ディスク容量は、ブローカーごとにプロビジョニングされたディスク容量です。クラスタの有効ディスク容量を表示するには、--full フラグを指定して gcloud managed-kafka clusters describe コマンドを実行します。
コンソール
Google Cloud コンソールで、[クラスタ] ページに移動します。
クラスタのリストで、表示するクラスタをクリックします。
[構成] タブを選択します。
[容量] の [有効なローカル ストレージ] 行に、ブローカーあたりのディスクサイズが表示されます。
gcloud
gcloud managed-kafka clusters describe CLUSTER_ID --full \
--location=LOCATION
次のように置き換えます。
- CLUSTER_ID: クラスタの名前。
- LOCATION: クラスタのロケーション。
返されたクラスタの説明の effectiveCapacityConfig フィールドには、ブローカーあたりのディスクサイズとブローカーの数が含まれています。
effectiveCapacityConfig:
brokerCount: '3'
brokerDiskSizeGib: '1024'
ディスクの合計容量は brokerCount × brokerDiskSizeGib に等しくなります。
料金
クラスタがデフォルトのディスク構成を使用している場合、ブローカーあたりの実際のディスクサイズがこの値を超えることがあっても、クラスタ vCPU あたり 100 GiB の料金が請求されます。
クラスタにカスタム ディスク構成を設定すると、すべてのブローカーのディスクの実際のサイズに対して課金されます。