Cloud Audit Logs を使用してワークフローをトリガーする（gcloud CLI）

Standard

このクイックスタートでは、BigQuery から Cloud Audit Logs イベントを受信する Eventarc トリガーを使用してワークフローを実行する方法について説明します。 BigQuery は、アクセスしてアプリケーションに統合できる一般公開データセットをホストしています。トリガーは、一般公開データセットに対してクエリを実行する BigQuery ジョブをリッスンしてワークフローを実行します。次に、イベントをランタイム引数として宛先ワークフローに渡します。

このクイックスタートでは Google Cloud CLI を使用します。

Workflows を使用して、イベントからデータを抽出して返すワークフローを作成してデプロイします。
BigQuery ジョブを Workflows イベントレシーバに接続する Eventarc トリガーを作成します。
bq コマンドラインツールを使用して BigQuery ジョブを実行し、イベントを生成します。このイベントは、ランタイム引数として宛先ワークフローに渡されます。
ワークフロー実行出力でイベントデータを確認します。

始める前に

組織で定義されているセキュリティの制約により、次の手順を完了できない場合があります。トラブルシューティング情報については、制約のある Google Cloud 環境でアプリケーションを開発するをご覧ください。

アカウントにログインします。 Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでプロダクトがどのように機能するかを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します:

gcloud init

プロジェクトを Google Cloud 作成または選択します。

プロジェクトを選択または作成するために必要なロール

プロジェクトを選択する: プロジェクトの選択に特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトを選択できます。
プロジェクトを作成する: プロジェクトを作成するには、プロジェクト作成者ロール（roles/resourcemanager.projectCreator）が必要です。これには resourcemanager.projects.create 権限が含まれています。ロールを付与する方法をご覧ください。

プロジェクトを作成します。 Google Cloud
```
gcloud projects create PROJECT_ID
```
PROJECT_ID は、作成する Google Cloud プロジェクトの名前に置き換えます。
作成した Google Cloud プロジェクトを選択します。
```
gcloud config set project PROJECT_ID
```
PROJECT_ID は、 Google Cloud プロジェクトの名前に置き換えます。

プロジェクトで課金が有効になっていることを確認します Google Cloud 。

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します:

gcloud init

プロジェクトを Google Cloud 作成または選択します。

プロジェクトを選択または作成するために必要なロール

プロジェクトを選択する: プロジェクトの選択に特定の IAM ロールは必要ありません。ロールが付与されているプロジェクトを選択できます。
プロジェクトを作成する: プロジェクトを作成するには、プロジェクト作成者ロール（roles/resourcemanager.projectCreator）が必要です。これには resourcemanager.projects.create 権限が含まれています。ロールを付与する方法をご覧ください。

プロジェクトを作成します。 Google Cloud
```
gcloud projects create PROJECT_ID
```
PROJECT_ID は、作成する Google Cloud プロジェクトの名前に置き換えます。
作成した Google Cloud プロジェクトを選択します。
```
gcloud config set project PROJECT_ID
```
PROJECT_ID は、 Google Cloud プロジェクトの名前に置き換えます。

プロジェクトで課金が有効になっていることを確認します Google Cloud 。

gcloud コンポーネントを更新します。
```
gcloud components update
```

アカウントを使用してログインします。
```
gcloud auth login
```

Compute Engine、Eventarc、Pub/Sub、Workflows API を有効にします。

gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com

このクイックスタートで使用する構成変数を設定します。

export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

プロジェクト作成者には、基本オーナーロール（roles/owner）が付与されます。デフォルトでは、この Identity and Access Management（IAM）ロールには、ほとんどの Google Cloud リソースへのフルアクセスに必要な権限が含まれており、この手順は省略できます。

プロジェクト作成者でない場合は、プロジェクトで適切なプリンシパルに必要な権限を付与する必要があります。プリンシパルは Google アカウント（エンドユーザーの場合）やサービスアカウント（アプリケーションとコンピューティングワークロードの場合）になることもあります。詳細については、イベントの宛先のロールと権限のページをご覧ください。
必要な権限

このクイックスタートを完了するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
- Eventarc 管理者 (roles/eventarc.admin)
- ログ表示アクセス者（roles/logging.viewAccessor）
- プロジェクト IAM 管理者（roles/resourcemanager.projectIamAdmin）
- サービスアカウント管理者（roles/iam.serviceAccountAdmin）
- サービスアカウントユーザー（roles/iam.serviceAccountUser）
- Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）
- ワークフロー管理者（roles/workflows.admin）
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
Compute Engine のデフォルトのサービスアカウントをメモしておいてください。テスト目的で、Eventarc トリガーにこのサービスアカウントを関連付け、トリガーの ID として使用します。このサービスアカウントは、Compute Engine を使用する Google Cloud サービスを有効にするか使用すると自動的に作成されます。メールアドレスの形式は次のとおりです。
```
PROJECT_NUMBER-compute@developer.gserviceaccount.com
```
PROJECT_NUMBER は、使用する Google Cloudプロジェクト番号に置き換えます。プロジェクト番号は、 Google Cloud コンソールの [ようこそ] ページで確認できます。また、次のコマンドでも確認できます。
```
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
```
本番環境では、新しいサービスアカウントを作成して、必要最小限の権限を含む、最小権限の原則に従った 1 つ以上の IAM ロールを付与することを強くおすすめします。

注:
iam.automaticIamGrantsForDefaultServiceAccounts 組織のポリシーの制約により、編集者のロールはデフォルトのサービスアカウントに自動的に付与されません。2024 年 5 月 3 日より後に組織を作成した場合、この制約はデフォルトで適用されます。

この制約を適用して、ロールの自動付与を無効にすることを強くおすすめします。ロールの自動付与を無効にする場合は、デフォルトのサービスアカウントに付与するロールを決定し、ご自身でこれらのロールを付与する必要があります。

デフォルトのサービスアカウントにすでに編集者ロールが設定されている場合は、編集者ロールを権限の低いロールに置き換えることをおすすめします。サービスアカウントのロールを安全に変更するには、Policy Simulatorを使用して変更の影響を確認してから、適切なロールを付与または取り消す操作を行います。
プロジェクトの Eventarc イベントレシーバーのロール（roles/eventarc.eventReceiver）を Compute Engine のデフォルトサービスアカウントに付与して、 Eventarc トリガーがイベントプロバイダからイベントを受信できるようにします。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
```
プロジェクトのワークフロー起動元ロール（roles/workflows.invoker）を Compute Engine のデフォルトサービスアカウントに付与し、ワークフローをトリガーする権限を付与します。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
```
ワークフローが Cloud Logging にログを送信できるように、プロジェクトの Logging ログ書き込みロール（roles/logging.logWriter）を Compute Engine のデフォルトサービスアカウントに付与します。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter
```
2021 年 4 月 8 日以前に、認証済みの Pub/Sub push リクエストをサポートするために Cloud Pub/Sub サービスエージェントを有効にした場合は、サービスアカウントトークン作成者のロール（roles/iam.serviceAccountTokenCreator）をサービスエージェントに付与します。それ以外の場合、このロールはデフォルトで付与されます。
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator
```

ワークフローを作成してデプロイする

BigQuery ジョブの完了時に実行され、HTTP リクエストでワークフローをトリガーするワークフローを作成してデプロイします。

ターミナルまたは Cloud Shell を開きます。
ホームディレクトリで、myFirstWorkflow.yaml または myFirstWorkflow.json という名前の新しいファイルを作成します。

次の内容をコピーして新しいファイルに貼り付け、保存します。

YAML

main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - data: ${event.data.protoPayload}
      - return_data:
              return:
                  data: ${data}

JSON

{
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "data": "${event.data.protoPayload}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "data": "${data}"
          }
        }
      }
    ]
  }
}

ワークフローをデプロイします。
```
export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
```
JSON バージョンのサンプルワークフローをコピーした場合は、.yaml を .json に置き換えます。

Eventarc トリガーを作成する

BigQuery から Workflows の宛先にイベントを転送する Eventarc トリガーを作成するには、gcloud eventarc triggers create コマンドを実行します。

BigQuery イベントをフィルタするトリガーを作成します。
```
gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
```
これにより、events-cal-trigger というトリガーが作成されます。

Google Cloud プロジェクトで初めて Eventarc トリガーを作成する場合は、Eventarc サービスエージェントのプロビジョニングに遅延が発生する可能性があります。この問題は通常、トリガーを再度作成することで解決できます。詳細については、権限拒否エラーをご覧ください。

events-cal-trigger が正常に作成されたことを確認するには、次のコマンドを実行します。

gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

出力には、トリガーの作成時刻とロケーションが次のように表示されます。

createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

イベントを生成して表示する

bq コマンドラインツールから BigQuery ジョブを実行し、イベントを生成してワークフローをトリガーします。

ワークフローをトリガーするには、一般公開データセットにアクセスして情報を取得する BigQuery ジョブを実行します。
```
bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'
```
生成されたイベントは、ランタイム引数としてワークフローに渡されます。ワークフローは、ワークフローの実行の結果としてペイロードデータを返します。
ワークフローがトリガーされたことを確認するには、最後の 2 つの実行を一覧表示します。
```
gcloud workflows executions list ${MY_WORKFLOW} --limit=2
```
BigQuery ジョブによって 2 つのワークフロー実行がトリガーされます（イベントの 1 つはジョブの変更、もう 1 つはジョブ挿入そのものを示すものです）。出力には、実行ごとに SUCCEEDED に等しい NAME と STATE がリストされ、次のようになります。
```
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.390549813Z
END_TIME: 2024-02-06T14:16:14.870102511Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.389882601Z
END_TIME: 2024-02-06T14:16:14.829942525Z
```
出力で、NAME フィールドの a073ad6a-c76b-4437-8d39-2ab3ade289d2 がワークフロー実行の ID です。実行 ID をコピーして、次の手順で使用します。

実行ステータスを表示するには、次のコマンドを実行します。

gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

WORKFLOW_EXECUTION_ID は、BigQuery ジョブの完了時刻に対応するワークフロー実行の ID に置き換えます。

出力例を以下に示します。

argument: [...]
duration: 0.277917625s
endTime: '2024-02-06T14:16:14.870102511Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"data": [...]}'
startTime: '2024-02-06T14:16:14.390549813Z'
state: SUCCEEDED

BigQuery ジョブが完了した startTime とワークフロー実行の START_TIME が互いに対応していることを確認します。

これで、Eventarc を使用して Workflows イベントレシーバーをトリガーする BigQuery イベントが正常に生成されました。

クリーンアップ

作成したワークフローを削除します。
```
gcloud workflows delete ${MY_WORKFLOW}
```
続行を確認するメッセージが表示されたら、「y」と入力します。

作成したトリガーを削除します。

gcloud eventarc triggers delete events-cal-trigger

また、プロジェクトを削除して課金を停止することもできます。 Google Cloud プロジェクトを削除すると、そのプロジェクト内で使用されているすべてのリソースに対する課金が停止します。 Google Cloud
注意: プロジェクトを削除すると、次のような影響があります:
- プロジェクト内のすべてのものが削除されます。既存のプロジェクトを使用してこのドキュメントのタスクを行った場合、そのプロジェクトを削除すると、プロジェクト内で行った他の作業もすべて削除されます。
- カスタムプロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタムプロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（例: appspot.com URL）を保持するには、プロジェクト全体ではなく、プロジェクト内の選択したリソースだけを削除します。
プロジェクトを削除します。 Google Cloud
```
gcloud projects delete PROJECT_ID
```

Cloud Audit Logs を使用してワークフローをトリガーする（gcloud CLI）

始める前に

必要な権限

ワークフローを作成してデプロイする

YAML

JSON

Eventarc トリガーを作成する

イベントを生成して表示する

クリーンアップ

次のステップ