このチュートリアルでは、Kafka Connect を使用して、Managed Service for Apache Kafka クラスタから Cloud Storage にメッセージを書き込む方法について説明します。
Kafka Connect は、Kafka クラスタと他のシステム間のデータ移動を管理します。このチュートリアルでは、Connect クラスタと Cloud Storage シンクコネクタを作成します。Cloud Storage Sink コネクタは、Kafka からメッセージを読み取り、Cloud Storage バケットに書き込みます。
このシナリオでは Dataflow を使用することもできます。Kafka Connect と Dataflow のどちらを選択するかについては、Managed Service for Apache Kafka を他の Google Cloud サービスと統合するをご覧ください。
始める前に
コンソール
- Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
プロジェクトに次のロールがあることを確認します。 マネージド Kafka クラスタ編集者、 マネージド Kafka Connect クラスタ編集者、 マネージド Kafka コネクタ編集者、 マネージド Kafka トピック編集者、 ストレージ管理者
ロールを確認する
-
Google Cloud コンソールで、[IAM] ページに移動します。
IAM に移動 - プロジェクトを選択します。
-
[プリンシパル] 列で、自分または自分が所属するグループの行をすべて確認します。所属するグループについては、管理者にお問い合わせください。
- 自分のメールアドレスを含む行の [ロール] 列で、ロールのリストに必要なロールが含まれているかどうか確認します。
ロールを付与する
-
Google Cloud コンソールで、[IAM] ページに移動します。
IAM に移動 - プロジェクトを選択します。
- [ アクセスを許可] をクリックします。
-
[新しいプリンシパル] フィールドに、ユーザー ID を入力します。 これは通常、Google アカウントのメールアドレスです。
- [ロールを選択] をクリックして、ロールを検索します。
- 追加のロールを付与するには、 [別のロールを追加] をクリックして各ロールを追加します。
- [保存] をクリックします。
-
gcloud
- Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
Google Cloud CLI をインストールします。
-
外部 ID プロバイダ(IdP)を使用している場合は、まずフェデレーション ID を使用して gcloud CLI にログインする必要があります。
-
gcloud CLI を初期化するには、次のコマンドを実行します。
gcloud init -
Google Cloud プロジェクトを作成または選択します。
プロジェクトの選択または作成に必要なロール
- プロジェクトを選択する: プロジェクトを選択する際に、特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトを選択できます。
-
プロジェクトを作成する: プロジェクトを作成するには、
resourcemanager.projects.create権限を含むプロジェクト作成者のロール(roles/resourcemanager.projectCreator)が必要です。詳しくは、ロールを付与する方法をご覧ください。
-
Google Cloud プロジェクトを作成します。
gcloud projects create PROJECT_ID
PROJECT_IDは、作成する Google Cloud プロジェクトの名前に置き換えます。 -
作成した Google Cloud プロジェクトを選択します。
gcloud config set project PROJECT_ID
PROJECT_IDは、 Google Cloud プロジェクト名に置き換えます。
Managed Kafka API が有効になっていない場合は、有効にします。
API を有効にするために必要なロール
API を有効にするには、
serviceusage.services.enable権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。gcloud services enable managedkafka.googleapis.com
-
Google Cloud CLI をインストールします。
-
外部 ID プロバイダ(IdP)を使用している場合は、まずフェデレーション ID を使用して gcloud CLI にログインする必要があります。
-
gcloud CLI を初期化するには、次のコマンドを実行します。
gcloud init -
Google Cloud プロジェクトを作成または選択します。
プロジェクトの選択または作成に必要なロール
- プロジェクトを選択する: プロジェクトを選択する際に、特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトを選択できます。
-
プロジェクトを作成する: プロジェクトを作成するには、
resourcemanager.projects.create権限を含むプロジェクト作成者のロール(roles/resourcemanager.projectCreator)が必要です。詳しくは、ロールを付与する方法をご覧ください。
-
Google Cloud プロジェクトを作成します。
gcloud projects create PROJECT_ID
PROJECT_IDは、作成する Google Cloud プロジェクトの名前に置き換えます。 -
作成した Google Cloud プロジェクトを選択します。
gcloud config set project PROJECT_ID
PROJECT_IDは、 Google Cloud プロジェクト名に置き換えます。
Managed Kafka API が有効になっていない場合は、有効にします。
API を有効にするために必要なロール
API を有効にするには、
serviceusage.services.enable権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。gcloud services enable managedkafka.googleapis.com
-
ユーザー アカウントにロールを付与します。次の IAM ロールごとに次のコマンドを 1 回実行します。
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
次のように置き換えます。
PROJECT_ID: プロジェクト ID。USER_IDENTIFIER: ユーザー アカウントの識別子。 例:myemail@example.com。ROLE: ユーザー アカウントに付与する IAM ロール。
Cloud Storage バケットを作成する
このステップでは、Cloud Storage バケットを作成します。このバケットには、Cloud Storage Sink コネクタが Kafka から読み取るデータが保存されます。
コンソール
[Cloud Storage] > [バケット] ページに移動します。
[ 作成] をクリックします。
[バケットの作成] ページで、バケット名の要件を満たす名前を入力します。Cloud Storage バケット名は、グローバルに一意にする必要があります。
[作成] をクリックします。
gcloud
Cloud Storage バケットを作成するには、gcloud storage buckets create コマンドを実行します。
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION
次のように置き換えます。
Managed Service for Apache Kafka リソースを作成する
このセクションでは、次の Managed Service for Apache Kafka リソースを作成します。
- トピックを含む Kafka クラスタ。
- Cloud Storage シンクコネクタを含むコネクタを持つ Connect クラスタ。
Kafka クラスタを作成する
このステップでは、Managed Service for Apache Kafka クラスタを作成します。クラスタの作成には最大 30 分かかることがあります。
コンソール
- [Managed Service for Apache Kafka] > [クラスタ] ページに移動します。
- [ 作成] をクリックします。
- [クラスタ名] フィールドに、クラスタの名前を入力します。
- [リージョン] リストで、クラスタのロケーションを選択します。
-
[ネットワーク構成] で、クラスタがアクセス可能なサブネットを構成します。
- [プロジェクト] で、該当するプロジェクトを選択します。
- [ネットワーク] で、VPC ネットワークを選択します。
- [サブネット] でサブネットを選択します。
- [完了] をクリックします。
- [作成] をクリックします。
[作成] をクリックすると、クラスタの状態は Creating になります。クラスタの準備が整うと、状態は Active になります。
gcloud
Kafka クラスタを作成するには、managed-kafka clusters
create コマンドを実行します。
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
次のように置き換えます。
KAFKA_CLUSTER: Kafka クラスタの名前REGION: クラスタのロケーションPROJECT_ID: プロジェクト IDSUBNET_NAME: クラスタを作成するサブネット(例:default)
サポートされているロケーションについては、Managed Service for Apache Kafka のロケーションをご覧ください。
このコマンドは非同期で実行され、オペレーション ID を返します。
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
作成オペレーションの進行状況を追跡するには、gcloud managed-kafka
operations describe コマンドを使用します。
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
クラスタの準備が整うと、このコマンドの出力に state:
ACTIVE エントリが含まれます。詳細については、クラスタ作成オペレーションをモニタリングするをご覧ください。
Kafka トピックを作成する
Managed Service for Apache Kafka クラスタを作成したら、Kafka トピックを作成します。
コンソール
[Managed Service for Apache Kafka] > [クラスタ] ページに移動します。
クラスタの名前をクリックします。
クラスタの詳細ページで、 [トピックを作成] をクリックします。
[トピック名] ボックスに、トピックの名前を入力します。
[作成] をクリックします。
gcloud
Kafka トピックを作成するには、managed-kafka topics create コマンドを実行します。
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
次のように置き換えます。
KAFKA_TOPIC_NAME: 作成する Kafka トピックの名前KAFKA_CLUSTER: Kafka クラスタの名前REGION: Kafka クラスタを作成したリージョン
Connect クラスタを作成する
このステップでは、Connect クラスタを作成します。Connect クラスタの作成には最大 30 分かかることがあります。
このステップを開始する前に、Managed Service for Apache Kafka クラスタが完全に作成されていることを確認してください。
コンソール
[Managed Service for Apache Kafka] > [Connect クラスタ] ページに移動します。
[ 作成] をクリックします。
[Connect クラスタ名] に文字列を入力します。
my-connect-cluster[プライマリ Kafka クラスタ] で、先ほど作成した Kafka を選択します。
[作成] をクリックします。
クラスタの作成中は、クラスタの状態は Creating です。クラスタの作成が完了すると、状態は Active になります。
gcloud
Connect クラスタを作成するには、gcloud managed-kafka connect-clusters create コマンドを実行します。
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
次のように置き換えます。
CONNECT_CLUSTER: Connect クラスタの名前REGION: Kafka クラスタを作成したリージョンPROJECT_ID: プロジェクト IDSUBNET_NAME: Kafka クラスタを作成したサブネットKAFKA_CLUSTER: Kafka クラスタの名前
このコマンドは非同期で実行され、オペレーション ID を返します。
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
作成オペレーションの進行状況を追跡するには、gcloud managed-kafka operations describe コマンドを使用します。
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
詳細については、クラスタ作成オペレーションをモニタリングするをご覧ください。
IAM ロールを付与する
マネージド Kafka サービス アカウントに Storage オブジェクト作成者の Identity and Access Management(IAM)ロールを付与します。このロールにより、コネクタは Cloud Storage にファイルを書き込むことができます。
コンソール
Google Cloud コンソールで、[IAM] ページに移動します。
[Google 提供のロール付与を含む] を選択します。
[Managed Kafka サービス アカウント] の行を見つけて、 [プリンシパルを編集] をクリックします。
[別のロールを追加] をクリックし、[Storage オブジェクト作成者] ロールを選択します。
[保存] をクリックします。
ロール付与の詳細については、コンソールを使用して IAM ロールを付与するをご覧ください。
gcloud
サービス アカウントに IAM ロールを付与するには、gcloud projects add-iam-policy-binding コマンドを実行します。
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/storage.objectCreator
次のように置き換えます。
PROJECT_ID: プロジェクト IDPROJECT_NUMBER: プロジェクトの番号
プロジェクト番号を確認するには、gcloud projects describe コマンドを使用します。
Cloud Storage シンクコネクタを作成する
このステップでは、Cloud Storage シンクコネクタを作成します。このコネクタは、1 つ以上の Kafka トピックからメッセージを読み取り、Cloud Storage に書き込みます。
コンソール
[Managed Service for Apache Kafka] > [Connect クラスタ] ページに移動します。
Connect クラスタの名前をクリックします。
[ コネクタを作成] をクリックします。
[コネクタ名] に文字列を入力します。例:
pubsub-source[コネクタ プラグイン] リストで、[
Cloud Storage Source] を選択します。[トピック] で、以前に作成した Kafka トピックを選択し、[OK] をクリックします。
[GCS バケット] で [参照] をクリックします。
前に作成した Cloud Storage バケットを選択し、[選択] をクリックします。
[作成] をクリックします。
gcloud
Cloud Storage シンクコネクタを作成するには、gcloud managed-kafka connectors create コマンドを実行します。
gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
--location=REGION \
--connect-cluster=CONNECT_CLUSTER \
--configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false
次のように置き換えます。
STORAGE_CONNECTOR_NAME: コネクタの名前(storage-sink-connectorなど)。CONNECT_CLUSTER: Connect クラスタの名前REGION: Connect クラスタを作成したリージョンPROJECT_ID: プロジェクト IDBUCKET_NAME: Cloud Storage バケットの名前。KAFKA_TOPIC_NAME: Kafka トピックの名前
結果を表示
結果を表示するには、Kafka トピックにメッセージを送信します。Managed Service for Apache Kafka にメッセージを送信するには、次のようなさまざまな方法があります。
- Kafka コマンドライン ツールを使用する。
- Java プロデューサーを使用する。
- Python プロデューサーを使用する
- Kafka Connect を使用して Pub/Sub からメッセージをストリーミングする
Cloud Storage Sink コネクタは、Kafka メッセージを読み取り、Cloud Storage のファイルに書き込みます。最初のファイルが書き込まれるまでに数分かかることがあります。
出力ファイルを表示する手順は次のとおりです。
コンソール
- [Cloud Storage] > [バケット] ページに移動します。
バケットのリストで、先ほど作成したバケットの名前をクリックします。
Cloud Storage Sink コネクタがファイルを正常に書き込んだ場合は、[バケットの詳細] ページに一覧表示されます。1 つ以上のファイルを選択します。
[ダウンロード] をクリックして、選択したファイルをダウンロードします。
gcloud
出力ファイルを一覧表示するには、gcloud storage ls コマンドを実行します。
gcloud storage ls gs://BUCKET_NAME
ファイルをダウンロードするには、gcloud storage cp コマンドを実行します。
gcloud storage cp --recursive gs://BUCKET_NAME .
BUCKET_NAME は Cloud Storage バケットの名前で置き換えます。
クリーンアップ
このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。
コンソール
Cloud Storage バケットを削除します。
[Cloud Storage] > [バケット] ページに移動します。
バケットを選択して [削除] をクリックします。
Connect クラスタを削除します。
[Managed Service for Apache Kafka] > [Connect クラスタ] ページに移動します。
Connect クラスタを選択し、[削除] をクリックします。
Kafka クラスタを削除します。
[Managed Service for Apache Kafka] > [クラスタ] ページに移動します。
Kafka クラスタを選択して、[削除] をクリックします。
gcloud
Cloud Storage バケットとそのオブジェクトを削除するには、
gcloud storage rmコマンドを使用します。gcloud storage rm gs://BUCKET_NAME --recursiveConnect クラスタを削除するには、
gcloud managed-kafka connect-clusters deleteコマンドを使用します。gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncKafka クラスタを削除するには、
gcloud managed-kafka clusters deleteコマンドを使用します。gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async
次のステップ
- Cloud Storage シンクコネクタのトラブルシューティング。
- Cloud Storage シンクコネクタの詳細を確認する。
- Kafka Connect の詳細を確認する。