オープンソースの Apache Kafka トピックから Managed Service for Apache Kafka にデータを移動する必要がある場合は、Dataflow テンプレートを使用できます。 コンソール、REST API、Google Cloud CLI を使用できます。 Google Cloud Kafka トピックのメッセージは、AVRO または JSON スキーマとエンコードを使用してパブリッシュする必要があります。
このドキュメントでは、 Kafka to Kafka Dataflow テンプレートを Google Cloud コンソールを使用して構成する方法について説明します。
Google Cloud 使用する プロダクト
Kafka to Kafka Dataflow テンプレート は、次の課金対象 Google Cloud プロダクトを使用します。 料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを出すことができます。
- Dataflow: Dataflow はフルマネージドのデータ処理サービスです。The Kafka to Kafka Dataflow テンプレートは、 Dataflow を使用して、外部 Kafka トピックからデータを読み取り、Managed Service for Apache Kafka トピックに書き込むパイプラインを作成します。 Dataflow の自動スケーリングと 自己修復機能により、パイプラインは信頼性と効率性を維持して実行されます。
- Cloud Storage: Cloud Storage provides object storage. 外部 Kafka ソースに TLS 認証を使用する場合にのみ使用されます。TLS 証明書を含むキーストア ファイルとトラストストア ファイルを Cloud Storage に保存すると、 Dataflow パイプラインは Cloud Storage からこれらのファイルにアクセスします。
- Secret Manager: Secret Manager は、シークレットと認証情報の管理サービスです。このプロダクトは、外部 Kafka ソースに TLS 認証または SASL_PLAIN 認証を選択した場合にのみ使用されます。ユーザー名、パスワード、証明書などの認証情報を保存します。 これらの認証情報は、外部 Kafka クラスタに安全に接続するために使用されます。
また、このソリューションでは Managed Service for Apache Kafka も使用します。
- Google Cloud Managed Service for Apache Kafka: Apache Kafka の実行を支援する Google Cloud サービス 。このソリューションでは、Managed Service for Apache Kafka がデータの宛先として使用されます。外部 Kafka トピックから Managed Service for Apache Kafka クラスタ内のトピックにデータをストリーミングします。 Managed Service for Apache Kafka の料金の詳細については、 料金ガイドをご覧ください。
始める前に
Kafka to Kafka Dataflow テンプレートを起動する前に、次のことを確認してください。
Managed Service for Apache Kafka クラスタとトピックを作成します。
クラスタとトピックを作成する方法の 1 つは、 Managed Service for Apache Kafka クイックスタートの手順に沿って行うことです。
トピックに Avro レコードが含まれている場合は、リソース 要件の詳細について、 メッセージ形式を指定するをご覧ください。
次の Google Cloud API を有効にします。
Dataflow
Secret Manager(外部 Kafka ソースに SASL_PLAIN 認証または TLS 認証を使用する場合のみ)
Cloud Storage(外部 Kafka ソースに TLS 認証を使用する場合のみ)
gcloud services enable dataflow.googleapis.com \ secretmanager.googleapis.com storage.googleapis.com
SASL_PLAIN 認証リソースを準備する
外部 Kafka ソースに SASL_PLAIN 認証情報を使用する場合は、このセクションの手順に沿って操作してください。
コンソールで、Secret Manager に移動します。 Google Cloud
2 つのシークレットを作成します。1 つは Kafka ユーザー名用、もう 1 つは Kafka パスワード用です。
各シークレットに、「kafka-username」や「kafka-password」などのわかりやすい名前を付けます。
必要な ロールと権限など、シークレットの作成方法の詳細については、シークレットを作成するをご覧ください。
TLS 認証リソースを準備する
外部 Kafka ソースに TLS 認証情報を使用する場合は、このセクションの手順に沿って操作してください。
コンソールで、Secret Manager に移動します。 Google Cloud
キーストア ファイル(JKS 形式)に、Kafka クラスタでクライアントを認証するために必要な TLS 証明書と秘密鍵が含まれていることを確認します。
トラストストア ファイル(JKS 形式)に、Kafka ブローカーの ID を確認するために必要な信頼された証明書が含まれていることを確認します。
キーストア ファイルとトラストストア ファイルを Cloud Storage にアップロードします。
Cloud Storage にファイルをアップロードする方法については、 ファイル システムからオブジェクトをアップロードするをご覧ください。
TLS 構成用に 3 つのシークレットを作成します。
トラストストア パスワード: トラストストア ファイルへのアクセスに使用するパスワードを保存します。
キーストア パスワード: キーストア ファイルへのアクセスに使用するパスワードを保存します。
秘密鍵パスワード: キーストア ファイル内の秘密鍵へのアクセスに使用するパスワードを保存します。
各シークレットにわかりやすい名前を付けます。
必要な ロールと権限など、シークレットの作成方法の詳細については、シークレットを作成するをご覧ください。
Managed Kafka クライアント ロールを Dataflow ワーカー サービス アカウントに付与する
Dataflow ジョブを Managed Service for Apache Kafka に接続するには、Dataflow ワーカー サービス アカウントに特定の権限を付与する必要があります。このサービス アカウントは、Dataflow ジョブ内のすべてのワーカー VM に使用される ID であり、これらの VM から行われたリクエストはこのアカウントを使用します。
Kafka リソースへのアクセスを許可するには、Dataflow ワーカー サービス アカウントに roles/managedkafka.client ロールを付与する必要があります。このロールには、接続を確立するために必要な managedkafka.clusters.connect 権限が含まれています。
ワーカー サービス アカウントの詳細については、 Google Cloud 上のパイプラインのセキュリティと権限をご覧ください。
Managed Kafka クライアント ロールを Dataflow サービス アカウントに付与する手順は次のとおりです。
コンソール
- コンソールで、[IAM] ページに移動します。 Google Cloud
IAM に移動 - プロジェクトが、Managed Service for Apache Kafka クライアントがアクセスするコンシューマー プロジェクトに設定されていることを確認します。
- [アクセス権を付与] をクリックします。
- 新しいページの [新しいプリンシパル] に、使用している Dataflow ワーカー サービス アカウントのメールアドレスを入力します。
- [ロールを割り当てる] で、[Managed Kafka クライアント] ロールを選択します。
- [保存] をクリックします。
gcloud CLI
-
コンソールで Cloud Shell をアクティブにします。 Google Cloud
コンソールの下部にある Google Cloud Cloud Shell セッションが開始し、コマンドライン プロンプトが表示されます。Cloud Shell はシェル環境です 。Google Cloud CLI がすでにインストールされており、現在のプロジェクトの値もすでに設定されています 。セッションが初期化されるまで数秒かかることがあります。
-
gcloud projects add-iam-policy-bindingコマンドを実行します。gcloud projects add-iam-policy-binding PROJECT_ID \ --member serviceAccount:SERVICE_ACCOUNT_EMAIL \ --role roles/managedkafka.client
次のように置き換えます。
-
PROJECT_ID は、プロジェクト ID です。
-
SERVICE_ACCOUNT_EMAIL は、Dataflow ワーカー サービス アカウントのメールアドレスです。
-
Kafka to Kafka Dataflow テンプレートを起動する
コンソールのクラスタの詳細ページから Kafka to Kafka Dataflow テンプレートを起動できます。
-
コンソールで、[クラスタ] ページに移動します。 Google Cloud
プロジェクトで作成したクラスタが一覧表示されます。
- クラスタの詳細ページを表示するには、クラスタ名をクリックします。
- クラスタの詳細ページで、[データをインポート] をクリックします。
[テンプレート「Kafka to Kafka」を使用して Dataflow ジョブを作成する] ページが開きます。
以降のセクションの情報に従って、テンプレートのフィールドを構成します。
ジョブ名を入力する
[ジョブ名] フィールドに、Dataflow ジョブの名前を入力します。
名前は、プロジェクトで現在実行中のすべてのジョブで一意である必要があります。
パイプラインのリージョン エンドポイントを選択する
[リージョン エンドポイント] フィールドで、リージョン エンドポイントを Kafka クラスタの場所に設定して、リージョン間のデータ移転料金を最小限に抑えます。
Dataflow ワーカーは、Kafka クラスタのリージョンとは独立して実行できます。ただし、Kafka クラスタのリージョンの外部でワーカーを起動すると、リージョン間の下り(外向き)の費用が発生します。
クラスタの場所を確認するには、 Managed Service for Apache Kafka クラスタを一覧表示するの手順に沿って操作します。
ソースの構成
[**ソース**] で、[**セルフマネージドまたは外部 Kafka**] を選択します。
[Kafka ブートストラップ サーバー] に、外部 Kafka クラスタ ブートストラップ サーバーのアドレスを入力します。
[ソース Kafka ブートストラップ サーバーとトピック] に、 外部 Kafka ブートストラップ サーバーとトピックのアドレスを入力します。
[Kafka ソース認証モード] で、表示された選択肢から認証モードを選択します。外部 Kafka の場合、次の 3 つのオプションがあります。
SASL_PLAIN
TLS
なし
SASL_PLAIN Kafka ソース認証の場合
このセクションに進む前に、 SASL_PLAIN 認証リソースを準備するをご覧ください。
Kafka ソース認証として SASL_PLAIN を選択した場合は、次の追加フィールドに入力します。
[**Kafka SASL/PLAIN ユーザー名のシークレット バージョン ID**] に、 ユーザー名のバージョン ID を入力します。
[Kafka SASL/PLAIN パスワードのシークレット バージョン ID] に、パスワードの バージョン ID を入力します。
TLS Kafka ソース認証の場合
このセクションに進む前に、 TLS 認証リソースを準備するをご覧ください。
Kafka ソース認証として TLS を選択した場合は、次の追加フィールドに入力します。
[キーストアの場所] に、Cloud Storage パスを Java キーストア(JKS)ファイルに入力します。このファイルには、Kafka クラスタでパイプラインを認証するために必要な TLS 証明書と秘密鍵が含まれています。例: gs://your-bucket/keystore.jks
[トラストストア ファイルの場所] フィールドに、Java トラストストア(JKS)ファイルの Cloud Storage パスを入力します。このファイルには、Kafka ブローカーの ID を確認するために使用される信頼された証明書が含まれています。
[**トラストストア パスワードのシークレット バージョン ID**] に、トラストストア JKS ファイルにアクセスするためのパスワードを保存する Secret Manager のシークレット ID を指定します。
[**キーストア パスワードのシークレット バージョン ID**] に、 JKS ファイルにアクセスするためのパスワードを保存する Secret Manager のシークレット ID を指定します。
[秘密鍵パスワードのシークレット バージョン ID] フィールドで、キーストア内の秘密鍵に個別のパスワードがある場合は、そのパスワードを含む Secret Manager のシークレット ID を入力します。
Kafka にオフセットを commit する
この設定は、パイプラインが外部 Kafka ソースから処理されたメッセージを追跡する方法を制御します。この設定を有効にすると、パイプラインがメッセージを確実に処理し、再起動時のエラーを回避できます。
Kafka はオフセットを使用してメッセージを追跡します。これは、各メッセージ ストリーム内のパイプラインの位置を記憶するブックマークと考えることができます。この設定を有効にすると、パイプラインはブックマークを Kafka に定期的に保存します。エラー、更新、計画メンテナンスによりパイプラインが再起動した場合、保存されたブックマークを使用して中断したところから再開できます。これにより、メッセージの欠落や同じメッセージの誤った処理を回避できます。
[Kafka にオフセットを commit する] を有効にします。
コンシューマー グループ ID を指定します。これは、Kafka に対してパイプラインを識別する名前です。
[デフォルトの Kafka 開始オフセット] で、次のいずれかを選択します。
Earliest: Kafka トピックの先頭からメッセージを処理します。
Latest: 最新のメッセージから始まるメッセージを処理します。
宛先の構成
宛先として [Managed Service for Apache Kafka] を選択します。
[Kafka クラスタ] で、すでに作成したクラスタを選択します。
既存のトピックを選択することも、新しいトピックを作成することもできます。
[**Kafka 宛先認証方法**] で、 [**アプリケーションのデフォルト認証情報**] を選択します。
暗号化を構成する
デフォルトでは、保存データと転送中のデータはすべて Google-owned and Google-managed encryption keyによって暗号化されます。顧客管理の暗号鍵(CMEK)がある場合は、独自の鍵を選択できます。 CMEK を構成する方法の詳細については、 メッセージ暗号化を構成するをご覧ください。
ネットワークを構成する
Dataflow テンプレートで、クラスタのネットワークとサブネットワークを指定する必要があります。テンプレートの [オプション パラメータ] セクションでは、Dataflow ワーカーのネットワークを定義できます。
Kafka to Kafka Dataflow テンプレートは、デフォルトでプロジェクトのデフォルト ネットワークに Dataflow ワーカーをプロビジョニングします。外部 Kafka クラスタが Dataflow を介して Managed Service for Apache Kafka にデータを送信できるようにするには、Dataflow ワーカーがクラスタのネットワークにアクセスできることを確認します。
Kafka クラスタがプロジェクトのデフォルト ネットワークのサブネットに接続されていない場合は、Kafka クラスタにプロジェクトのデフォルト ネットワークを使用することをおすすめします。
Dataflow パイプラインでネットワークを設定する方法の詳細については、以下をご覧ください。
Dataflow ネットワークの構成で問題が発生した場合は、 Dataflow ネットワークのトラブルシューティング ガイドをご覧ください。
オプションの Dataflow パラメータを構成する
オプションの Dataflow パラメータは、構成が Dataflow ワーカーに与える影響を把握している場合にのみ構成してください。設定が正しくないと、パフォーマンスや費用に影響する可能性があります。各オプションの詳細については、 オプション パラメータをご覧ください。
モニタリング
Kafka to Managed Service for Apache Kafka の Dataflow テンプレートには、コンソール内でログ、指標、エラーを確認できるモニタリング機能が用意されています。このモニタリング ツールスイートは、Dataflow ユーザー インターフェースの一部として使用できます。
[ジョブ指標] タブでは、カスタム ダッシュボードを作成できます。Kafka to Managed Service for Apache Kafka テンプレートでは、次の項目をモニタリングするジョブ指標ダッシュボードを設定することをおすすめします。
スループット: いずれかの時点で処理されたデータの量。これは、ジョブを介したデータフローをモニタリングし、パフォーマンスの問題を特定するのに役立ちます。
詳細については、Dataflow スループットのモニタリングをご覧ください。
データの更新速度: データ要素のタイムスタンプとパイプラインでイベントが処理される時間との差を秒単位で示します。これにより、パフォーマンスやデータソースのボトルネック、頻繁な再試行を特定できます。
詳細については、 Dataflow の更新頻度のモニタリングをご覧ください。
バックログ: 処理待ちのバイト数。 この情報は、自動スケーリングの判断に役立ちます。
Dataflow モニタリングの詳細については、 Dataflow モニタリングのドキュメントをご覧ください。
トラブルシューティング
Dataflow パイプラインでパフォーマンスの問題が発生した場合、Dataflow には包括的なトラブルシューティング ツールと診断ツールが用意されています。
一般的なシナリオと、それぞれのトラブルシューティング ガイドを次に示します。
Dataflow パイプラインのデバッグの概要については、 Dataflow パイプラインのトラブルシューティングとデバッグをご覧ください。