Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

BigQuery テーブルにイベントを公開する

詳細設定

このクイックスタートでは、 Google Cloudプロジェクトで Eventarc Advanced バスと登録を作成して、イベントメッセージをパブリッシュして受信する方法について説明します。

バスは、イベントソースからメッセージを受信したり、プロバイダによって公開されたメッセージを受信したりする中央ルーターとして機能します。
登録により、バスで受信したメッセージは、処理パイプラインを介して 1 つ以上の宛先に転送されます。

このクイックスタートでは、以下の操作を行います。

BigQuery テーブルを作成します。
Eventarc Advanced バスを作成します。
Eventarc Advanced 登録を作成します。
イベントメッセージをバスにパブリッシュします。
BigQuery テーブルでイベントデータを表示します。

このクイックスタートでは、gcloud CLI と bq コマンドラインツールを使用します。

始める前に

組織で定義されているセキュリティの制約により、次の手順を完了できない場合があります。トラブルシューティング情報については、制約のある Google Cloud 環境でアプリケーションを開発するをご覧ください。

Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

Google Cloud プロジェクトを作成または選択します。

プロジェクトの選択または作成に必要なロール

プロジェクトを選択する: プロジェクトの選択に特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトであれば、どのプロジェクトでも選択できます。
プロジェクトを作成する: プロジェクトを作成するには、resourcemanager.projects.create 権限を含むプロジェクト作成者ロール（roles/resourcemanager.projectCreator）が必要です。詳しくは、ロールを付与する方法をご覧ください。

Google Cloud プロジェクトを作成します。
```
gcloud projects create PROJECT_ID
```
PROJECT_ID は、作成する Google Cloud プロジェクトの名前に置き換えます。
作成した Google Cloud プロジェクトを選択します。
```
gcloud config set project PROJECT_ID
```
PROJECT_ID は、 Google Cloud プロジェクトの名前に置き換えます。

Google Cloud プロジェクトに対して課金が有効になっていることを確認します。

BigQuery API と Eventarc API を有効にします。

API を有効にするために必要なロール

API を有効にするには、serviceusage.services.enable 権限を含む Service Usage 管理者 IAM ロール（roles/serviceusage.serviceUsageAdmin）が必要です。詳しくは、ロールを付与する方法をご覧ください。

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

Google Cloud プロジェクトを作成または選択します。

プロジェクトの選択または作成に必要なロール

プロジェクトを選択する: プロジェクトの選択に特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトであれば、どのプロジェクトでも選択できます。
プロジェクトを作成する: プロジェクトを作成するには、resourcemanager.projects.create 権限を含むプロジェクト作成者ロール（roles/resourcemanager.projectCreator）が必要です。詳しくは、ロールを付与する方法をご覧ください。

Google Cloud プロジェクトを作成します。
```
gcloud projects create PROJECT_ID
```
PROJECT_ID は、作成する Google Cloud プロジェクトの名前に置き換えます。
作成した Google Cloud プロジェクトを選択します。
```
gcloud config set project PROJECT_ID
```
PROJECT_ID は、 Google Cloud プロジェクトの名前に置き換えます。

Google Cloud プロジェクトに対して課金が有効になっていることを確認します。

BigQuery API と Eventarc API を有効にします。

API を有効にするために必要なロール

gcloud services enable bigquery.googleapis.com eventarc.googleapis.com eventarcpublishing.googleapis.com

gcloud コンポーネントを更新します。
```
gcloud components update
```

アカウントを使用してログインします。
```
gcloud auth login
```

このクイックスタートで使用する構成変数を設定します。
```
REGION=REGION
```
REGION は、バスでサポートされているロケーション（us-central1 など）に置き換えます。

プロジェクト作成者には、基本オーナーロール（roles/owner）が付与されます。デフォルトでは、この Identity and Access Management（IAM）ロールには、ほとんどの Google Cloudリソースへのフルアクセスに必要な権限が含まれており、この手順は省略できます。

プロジェクト作成者でない場合は、プロジェクトで適切なプリンシパルに必要な権限を付与する必要があります。プリンシパルは Google アカウント（エンドユーザーの場合）やサービスアカウント（アプリケーションとコンピューティングワークロードの場合）になることもあります。
必要な権限

このクイックスタートを完了するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
- BigQuery データ編集者（roles/bigquery.dataEditor）
- Eventarc デベロッパー（roles/eventarc.developer）
- Eventarc メッセージバス管理者（roles/eventarc.messageBusAdmin）
- ログ表示アクセス者（roles/logging.viewAccessor）
- プロジェクト IAM 管理者（roles/resourcemanager.projectIamAdmin）
- サービスアカウント管理者（roles/iam.serviceAccountAdmin）
- サービスアカウントユーザー（roles/iam.serviceAccountUser）
- Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Eventarc Advanced に BigQuery テーブルのプロパティを更新するために必要な権限を付与するには、 Google Cloud プロジェクトの BigQuery データ編集者（roles/bigquery.dataEditor）IAM ロールをサービスアカウントに付与するよう管理者に依頼します。
1. サービスアカウントを作成します。テスト目的で、このサービスアカウントを Eventarc Advanced パイプラインに関連付けて、パイプラインの ID を示します。
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
  SERVICE_ACCOUNT_NAME をサービスアカウントの名前に置き換えます。
2. サービスアカウントに roles/bigquery.dataEditor IAM ロールを付与します。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
    --role=roles/bigquery.dataEditor
```

BigQuery テーブルを作成する

イベントの宛先として BigQuery テーブルを作成します。Pub/Sub トピック、Workflows、別の HTTP エンドポイントなど、他のイベント宛先もサポートされています。詳細については、イベントプロバイダと宛先をご覧ください。

BigQuery テーブルを作成する前に、テーブルの最上位コンテナとして機能するデータセットとテーブルスキーマを作成します。

新しいデータセットを作成するには、--dataset フラグを指定して bq mk コマンドを使用します。
```
bq --location=$REGION mk --dataset DATASET_ID
```
DATASET_ID は、BigQuery データセットの一意の名前に置き換えます（my_dataset など）。
ターミナルで、my-schema.json という名前の新しいファイルを作成します。

次のスキーマをコピーして新しいファイルに貼り付け、ファイルを保存します。

[
    {
        "name": "name",
        "type": "STRING",
        "mode": "REQUIRED"
    },
    {
        "name": "age",
        "type": "INTEGER",
        "mode": "NULLABLE"
    }
]

テーブルを作成するには、--table フラグを指定して bq mk コマンドを使用します。
```
bq mk --table PROJECT_ID:DATASET_ID.TABLE_ID my-schema.json
```
TABLE_ID は、BigQuery テーブルの一意の名前に置き換えます（my-table など）。

Eventarc Advanced バスを作成する

バスは、メッセージソースからイベントメッセージを受信するか、プロバイダによって公開されたイベントメッセージを受信し、メッセージルーターとして機能します。

詳細については、メッセージを転送するバスを作成するをご覧ください。

gcloud eventarc message-buses create コマンドを使用して、プロジェクトに Eventarc Advanced バスを作成します。

gcloud eventarc message-buses create BUS_NAME \
    --location=$REGION

BUS_NAME は、バスの ID または完全修飾名（my-bus など）に置き換えます。

Eventarc Advanced の登録を作成する

登録により、宛先にルーティングされるメッセージが決定され、イベントメッセージの宛先を構成するために使用されるパイプラインも指定されます。この場合、ターゲット宛先は BigQuery API エンドポイントです。

詳細については、イベントを受信する登録を作成するをご覧ください。

gcloud CLI を使用する場合は、まずパイプラインを作成してから登録を作成します。

gcloud eventarc pipelines create コマンドを使用してパイプラインを作成します。
```
gcloud eventarc pipelines create PIPELINE_NAME \
    --destinations=http_endpoint_uri='https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID/insertAll',http_endpoint_message_binding_template='{"headers": headers.merge({"content-type":"application/json"}), "body": {"rows":[{"json":message.data}]}}',oauth_token_authentication_service_account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
    --input-payload-format-json= \
    --location=$REGION
```
PIPELINE_NAME は、パイプラインの ID または完全修飾された名前（例: my-pipeline）に置き換えます。

次の点にご注意ください。
- http_endpoint_message_binding_template キーは、API で想定される形式にイベントを変換します。メッセージバインディングを定義するときに、ペイロードにアクセスするための入力形式を構成する必要があります。
- oauth_token_authentication_service_account キーは、サービスアカウントのメールアドレスを指定します。このメールアドレスは OAuth トークンの生成に使用されます。このトークンは通常、*.googleapis.com でホストされている Google API を呼び出す場合にのみ使用します。
- input-payload-format-json フラグは、パイプラインの入力ペイロード形式が JSON であることを指定します。この形式と一致しないメッセージは、永続エラーとして扱われます。

gcloud eventarc enrollments create コマンドを使用して登録を作成します。

gcloud eventarc enrollments create ENROLLMENT_NAME \
    --cel-match=MATCH_EXPRESSION \
    --destination-pipeline=PIPELINE_NAME \
    --message-bus=BUS_NAME \
    --message-bus-project=PROJECT_ID \
    --location=$REGION

次のように置き換えます。

ENROLLMENT_NAME: 登録の ID または完全修飾名（例: my-enrollment）。
MATCH_EXPRESSION: この登録のCEL を使用した一致式。例:
```
"message.type == 'hello-world-type'"
```

イベントメッセージをバスにパブリッシュする

バスにメッセージを直接パブリッシュするには、gcloud eventarc message-buses publish コマンドを使用するか、Eventarc Publishing REST API にリクエストを送信します。詳細については、イベントを直接パブリッシュするをご覧ください。

メッセージは、イベントデータを一般的な方法で記述するための仕様である CloudEvents 形式である必要があります。data 要素はイベントのペイロードであり、最終的には BigQuery テーブルのスキーマと一致する必要があります。このフィールドには、整形式の JSON を指定できます。CloudEvents コンテキスト属性の詳細については、イベント形式をご覧ください。

次の例は、Eventarc Advanced バスにイベントを直接パブリッシュする例です。

例 1

gcloud CLI と --event-data などのイベント属性フラグを使用して、イベントをバスにパブリッシュできます。

gcloud eventarc message-buses publish BUS_NAME \
    --event-data='{"name": "my-name", "age": "20"}' \
    --event-id=hello-world-id-1234 \
    --event-source=hello-world-source \
    --event-type=hello-world-type \
    --event-attributes="datacontenttype=application/json" \
    --location=$REGION

例 2

gcloud CLI と --json-message フラグを使用して、イベントを JSON メッセージとしてバスにパブリッシュできます。

gcloud eventarc message-buses publish BUS_NAME \
    --location=$REGION \
    --json-message='{"id": "hello-world-id-1234", "type":
 "hello-world-type", "source":
 "hello-world-source", "specversion": "1.0", "data":
 {"name": "my-name", "age": "20"}}'

イベントを公開すると、「イベントが正常に公開されました」というメッセージが表示されます。

BigQuery テーブルでイベントデータを表示する

Eventarc Advanced バスにイベントをパブリッシュした後、bq query コマンドを使用して、BigQuery テーブルに新しい行が追加されたことを確認できます。

bq query \
    --use_legacy_sql=false \
    'SELECT
      *
    FROM
      `PROJECT_ID.DATASET_ID.TABLE_ID`
    LIMIT
      10;'

Eventarc Advanced バスと登録が正常に作成され、イベントメッセージがバスに公開され、BigQuery テーブルにクエリを実行して期待どおりの結果が得られたことを確認しました。

クリーンアップ

このクイックスタートで説明されているタスクを完了したら、作成したリソースを削除することで、その後の請求を避けることができます。

また、 Google Cloud プロジェクトを削除して、料金が発生しないようにすることもできます。 Google Cloud プロジェクトを削除すると、そのプロジェクト内で使用されているすべてのリソースに対する課金が停止します。

注意: プロジェクトを削除すると、次のような影響があります。

プロジェクト内のすべてのものが削除されます。既存のプロジェクトを使用してこのドキュメントのタスクを行った場合、そのプロジェクトを削除すると、プロジェクト内で行った他の作業もすべて削除されます。
カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（例: appspot.com）を保持するには、プロジェクト全体ではなく、プロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

Google Cloud プロジェクトを削除します。

gcloud projects delete PROJECT_ID

BigQuery テーブルにイベントを公開する

始める前に

必要な権限

BigQuery テーブルを作成する

Eventarc Advanced バスを作成する

Eventarc Advanced の登録を作成する

イベント メッセージをバスにパブリッシュする

例 1

例 2

BigQuery テーブルでイベントデータを表示する

クリーンアップ

次のステップ

イベントメッセージをバスにパブリッシュする