エクスポートジョブ情報

このページでは、Workflows を使用して、Batch に保存されているジョブの情報を BigQuery テーブルにエクスポートする方法について説明します。具体的には、サンプルの export-jobs ワークフローを実行する方法と、生成されたジョブ情報を BigQuery で表示する方法について学習します。

ジョブの情報をエクスポートすると、ジョブが自動または手動で削除された後も情報を保持したり、Batch の外部で情報を分析したりする場合に便利です。タスクとジョブの状態変化の情報のみを BigQuery にエクスポートする場合は、通知を使用してジョブをモニタリングするをご覧ください。

他のGoogle Cloud サービスに保存されているジョブ情報をエクスポートする方法については、そのサービスのエクスポートに関するドキュメントをご覧ください。たとえば、次のページをご覧ください。

始める前に

Batch を以前に使用したことがない場合は、Batch を使ってみるを確認し、プロジェクトとユーザーの前提条件を完了して Batch を有効にします。
BigQuery API と Workflows API を有効にします。
API を有効にするために必要なロール
API を有効にするには、serviceusage.services.enable 権限を含む Service Usage 管理者 IAM ロール（roles/serviceusage.serviceUsageAdmin）が必要です。詳しくは、ロールを付与する方法をご覧ください。
API を有効にする

省略可: ジョブ情報を保存するプロジェクト内の既存の BigQuery データセットまたはテーブルを特定します。既存のテーブルには、一致するスキーマが必要です。

そうでない場合は、export-jobs ワークフローを使用して新しいデータセットまたはテーブルを作成できます。
次の手順で、export-jobs ワークフローのサービスアカウントを準備します。
1. 新しいサービスアカウントを作成するか、既存のサービスアカウントを特定します。
2. export-jobs ワークフローを実行するために必要な権限がサービスアカウントに付与されるように、プロジェクトに対する次の IAM ロールをサービスアカウントに付与するよう管理者に依頼してください。
  
  重要: これらのロールは、ユーザーアカウントではなくサービスアカウントに付与する必要があります。正しいプリンシパルにロールを付与しないと、権限エラーが発生する可能性があります。
  - ログを書き込む: ログ書き込み（roles/logging.logWriter）
  - BigQuery データセットとテーブルを作成、編集する: BigQuery 管理者（roles/bigquery.admin）
  - バッチジョブを表示して削除する: バッチジョブ編集者（roles/batch.jobsEditor）
  ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
  
  管理者は、カスタムロールや他の事前定義ロールを使用して、必要な権限をサービスアカウントに付与することもできます。
export-jobs ワークフローの作成、デプロイ、実行に必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
- ジョブを表示する: バッチジョブ閲覧者（roles/batch.jobsViewer）
- サービスアカウントを表示する: サービスアカウントの表示（roles/iam.serviceAccountViewer）
- BigQuery データセットとテーブルを表示する: BigQuery データ閲覧者（roles/bigquery.dataViewer）
- ワークフローを作成、デプロイ、実行する: ワークフロー編集者（roles/workflows.editor）
プロジェクト内のユーザーがエクスポートされたジョブ情報を表示できることを確認してください。

ユーザーにジョブ情報をエクスポートするために必要な権限が付与されるように、テーブル、データセット、またはプロジェクトに対する BigQuery データ閲覧者（roles/bigquery.dataViewer）IAM ロールをユーザーに付与するよう管理者に依頼してください。

注: 既存のリソースに対するアクセス権のみを付与できます。ジョブ情報を既存のテーブルまたはデータセットにエクスポートする予定がない限り、このアクセス権はプロジェクトで付与するか、ジョブ情報をエクスポートした後に付与する必要があります。

ジョブ情報をエクスポートする

このセクションでは、export-to-bigquery コードサンプルの export-jobs ワークフローを使用してジョブ情報をエクスポートする方法について説明します。export-jobs ワークフローは、指定されたリージョンにあり、指定されたフィルタ条件を満たすプロジェクトのジョブの情報をエクスポートします。

重要: export-jobs ワークフローでは、一度に 1 つのリージョンからのみジョブ情報をエクスポートできます。複数のリージョンのジョブまたは 1 つのリージョン内の複数のサブセットのジョブの情報をエクスポートする場合は、ユースケースごとに専用の export-jobs ワークフローを構成、作成、デプロイして実行します。

ユースケースごとに専用のワークフローを作成することをおすすめします。1 つのワークフローを変更して再実行することもできますが、専用のワークフローを使用すると、最後にどのジョブをエクスポートしたかを簡単に追跡し、ジョブを自動的にエクスポートするようにワークフローをスケジュールできます。

export-jobs ワークフローは、ジョブ情報を指定されたデータセット内の指定されたテーブルにエクスポートします。これらのテーブルは、プロジェクトにまだ存在しない場合は、ワークフローによって自動的に作成されます。デフォルトでは、export-jobs ワークフローはエクスポートされたジョブを Batch から削除しますが、必要に応じて、ジョブを削除しないように export-jobs ワークフローを編集できます。

使用する export-jobs ワークフローごとに、次の操作を行います。

ワークフロー定義を構成します。
ワークフローを作成してデプロイする。
ワークフローを実行する。指定したジョブをエクスポートするたびに、この手順を繰り返します。

ワークフロー定義を構成する

GitHub から export-to-bigquery-delete-batch-jobs.yaml ファイルをダウンロードします。
テキストエディタで export-to-bigquery-delete-batch-jobs.yaml ファイルを開きます。次に、以下の編集を行います。
1. sys.get_env("GOOGLE_CLOUD_PROJECT_ID") は、文字列としてフォーマットされたプロジェクト ID に置き換えます（例: "my-project-id"）。
2. sys.get_env("GOOGLE_CLOUD_LOCATION") は、エクスポートするジョブを含むリージョンに置き換えます。リージョンは文字列形式で指定します（例: "us-central1"）。
3. 省略可: エクスポートするジョブを指定するフィルタ条件を編集します。
  
  デフォルトでは、export-jobs ワークフローはフィルタ条件 "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"" を指定します。このデフォルトのフィルタ条件では、SUCCEEDED、FAILED、CANCELLED の状態にあり、2023-05-01T00:00:00Z RFC 3339 タイムスタンプより前またはそのタイムスタンプまでに作成されたジョブの情報のみがエクスポートされます。
4. 省略可: default_dataset_id は、export-jobs ワークフローで使用または作成するデータセットの別の名前に置き換えます。
5. 省略可: default_table_id は、export-jobs ワークフローで使用または作成するテーブルの別の名前に置き換えます。
6. エクスポートされたジョブがワークフローで削除されないようにするには、次の操作を行います。
  
  ヒント: エクスポートされたジョブを削除しない場合、同じ export-jobs ワークフローを再実行すると、重複する行が作成される可能性があります。これを回避するには、再実行のたびに create_time フィルタ条件を更新して、前回の実行後に作成されたジョブのみを含めるようにします。ワークフローが以前に実行された日時を確認する方法については、ワークフローの実行結果にアクセスするをご覧ください。
  1. 次の行を削除します。
```
        - log_delete_step:
            call: sys.log
            args:
              text: ${"Deleting Batch job " + j.name}
              severity: NOTICE
        - delete_job:
            call: googleapis.batch.v1.projects.locations.jobs.delete
            args:
              name: ${j.name}
```
  2. + " and deleted" を削除します。
7. ファイルを保存します。ファイルを開いたままにします。

ワークフローを作成してデプロイする。

Google Cloud コンソールで、[ワークフロー] ページに移動します。

[ワークフロー] に移動
[ワークフロー] ページで、 [作成] をクリックします。
[ワークフロー名] フィールドに、ワークフローの名前を入力します（例: export-batch-jobs-us-central1）。
[サービスアカウント] リストで、事前に準備したサービスアカウントを選択します。
[次へ] をクリックします。
ワークフローエディタで、サンプルワークフローを export-to-bigquery-delete-batch-jobs.yaml ファイルの内容に置き換えます。その後、ファイルを閉じることができます。
[デプロイ] をクリックします。[ワークフローの詳細] ページが開きます。

ワークフローを実行する

[ワークフローの詳細] ページで [ 実行] を選択します。[ワークフローの実行] ページが開きます。
表示された [ワークフローの実行] ページで、[実行] をクリックします。
[実行の詳細] ページが開いたら、ワークフローの実行が完了するまで待ちます。たとえば、数個のジョブをエクスポートして削除する実行時間は通常数秒ですが、多数のジョブをエクスポートして削除する場合は、実行に時間がかかることがあります。

ワークフローの実行が終了すると、[出力] ペインに結果が表示されます。

エクスポートされたジョブ情報を表示する

このセクションでは、export-jobs ワークフローで作成されたテーブルデータを表示する方法について説明します。たとえば、次の手順で、ワークフローが正常に実行されたことを確認し、テーブルデータを閲覧できます。エクスポートされたジョブ情報を表示して使用する方法（クエリの記述など）の詳細については、BigQuery ドキュメントのテーブルデータの管理をご覧ください。

Google Cloud コンソールで、[BigQuery] ページに移動します。

BigQuery に移動
[エクスプローラ] パネルで、エクスポートされたジョブ情報のテーブルを開きます。
1. [BigQuery リソースを検索] フィールドに、export-jobs ワークフローのテーブルの名前を入力します。たとえば、デフォルトのテーブル名は default_table_id です。
2. テーブルの名前をクリックします。テーブルの詳細ページが開きます。
3. テーブルの詳細ページで、[詳細] タブをクリックします。
  
  [詳細] タブで、[最終更新日] のタイムスタンプと [行数] を確認します。
4. テーブルの詳細ページで、[プレビュー] タブをクリックします。