Dataform でワークフローを作成して実行する

Dataform でワークフローを作成して実行する

このクイックスタートは、BigQuery でデータ変換を管理したいデータ エンジニアとデータ アナリストを対象としています。このクイックスタートでは、Dataform コアを使用して Dataform ワークフローを作成して実行する方法について説明します。Dataform コアは、元データをキュレート、テスト、ドキュメント化されたデータアセットに変換する SQL ベースのフレームワークです。Dataform を使用すると、データ モデリング パイプラインを中央リポジトリで開発してバージョン管理し、信頼性とスケーラビリティを確保できます。

このクイックスタートでは、Dataform でワークフローを作成して BigQuery で実行する次の手順について説明します。

• Dataform リポジトリの作成
• 開発ワークスペースを作成して初期化します。
• ビューを作成します。
• テーブルを作成する。
• ワークフローを実行します。
• Dataform で実行ログを表示します。
• 作成したアセットをクリーンアップします。

始める前に

Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、 アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

必要なロール

このクイックスタートのすべてのタスクに必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

• プロジェクトまたはリポジトリに対する Dataform 管理者 （roles/dataform.admin）
• プロジェクトまたは特定のデータセットに対する BigQuery データ編集者 （roles/bigquery.dataEditor）
• プロジェクトに対する BigQuery ジョブユーザー （roles/bigquery.jobUser）
• カスタム サービス アカウントに対するサービス アカウント ユーザー （roles/iam.serviceAccountUser）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

必要なロールを付与する

BigQuery でワークフローを実行するには、カスタム サービス アカウントまたは Google アカウントを使用します。

カスタム サービス アカウントには、次の必須ロールが必要です。

• Dataform が読み取りと書き込みの両方のアクセス権を必要とするプロジェクトまたは特定の BigQuery データセットに対する BigQuery データ編集者（roles/bigquery.dataEditor）。通常は、Dataform リポジトリをホストするプロジェクトが含まれます。
• Dataform が読み取り専用アクセス権を必要とするプロジェクトまたは特定の BigQuery データセットに対する BigQuery データ閲覧者（roles/bigquery.dataViewer）。
• Dataform リポジトリをホストするプロジェクトに対する BigQuery ジョブユーザー（roles/bigquery.jobUser）。

Dataform でカスタム サービス アカウントを使用できるようにするには、デフォルトの Dataform サービス エージェントにカスタム サービス アカウント リソースに対する次のロールが必要です。

• サービス アカウント トークン作成者（roles/iam.serviceAccountTokenCreator）
• サービス アカウント ユーザー（roles/iam.serviceAccountUser）

これらのロールを付与するには、次の手順に沿って操作します。

1. Google Cloud コンソールで、[IAM] ページに移動します。

   IAM に移動

2. [アクセス権を付与] をクリックします。

3. [新しいプリンシパル] フィールドに、カスタム サービス アカウント ID を入力します。

4. [ロールを選択] メニューで、次のロールを 1 つずつ選択します。追加のロールごとに [別のロールを追加] を使用します。

   • BigQuery データ編集者
   • BigQuery データ閲覧者
   • BigQuery ジョブユーザー

5. [保存] をクリックします。

6. Google Cloud コンソールで、[サービス アカウント] ページに移動します。

   [サービス アカウント] に移動

7. カスタム サービス アカウントを選択します。

8. [アクセス権を持つプリンシパル] に移動し、[アクセス権を付与] をクリックします。

9. [新しいプリンシパル] フィールドに、デフォルトの Dataform サービス エージェント ID を入力します。

   デフォルトの Dataform サービス エージェント ID の形式は次のとおりです。

   [e-mail]
   

   PROJECT_NUMBER は、Google Cloud プロジェクトの数値 ID に置き換えます。 Google Cloud プロジェクト ID は、Google Cloud コンソール ダッシュボードで確認できます。詳細については、プロジェクトの識別をご覧ください。

10. [ロールを選択] リストで、次のロールを追加します。

    • サービス アカウント ユーザー
    • サービス アカウント トークン作成者

11. [保存] をクリックします。

ロールの付与の詳細については、Dataform に必要なアクセス権を付与するをご覧ください。

Dataform リポジトリを作成する

Dataform リポジトリは、ワークフローの開発、バージョン管理、オーケストレーションに使用される Dataform プロジェクト コードを含む Git リポジトリを表すリソースです。リポジトリを作成するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. [ リポジトリを作成] をクリックします。

3. [リポジトリの作成] ページで、次の操作を行います。

   1. [リポジトリ ID] フィールドに「quickstart-repository」と入力します。

   2. [リージョン] リストで europe-west4 を選択します。

   3. [サービス アカウント] リストで、リポジトリのカスタム サービス アカウントを選択します。

   4. [actAs 権限チェック] セクションで、リポジトリのユーザー アクションに対する権限チェックを適用します。

   5. [作成] をクリックします。

   6. [リポジトリに移動] をクリックします。

Dataform リポジトリが正常に作成されました。次に、開発ワークスペースを作成して初期化します。

API

リポジトリを作成するには、projects.locations.repositories.create メソッドを使用します。

次の情報を使用して API リクエストを実行します。

• エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
• クエリ パラメータ: repositoryId=REPOSITORY_ID

curl コマンド:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

次のように置き換えます。

• LOCATION: リポジトリを作成する Google Cloud リージョン（europe-west4 など）。
• PROJECT_ID: Dataform リポジトリを作成するGoogle Cloud プロジェクトの一意の識別子。
• REPOSITORY_ID: 新しい Dataform リポジトリの一意の識別子（例: quickstart-repository）。
• SERVICE_ACCOUNT_NAME: BigQuery ジョブの実行用に作成されたカスタム サービス アカウントの ID。

開発ワークスペースを作成して初期化する

Dataform ワークスペースは、コードの編集とコンパイルが可能な Git ブランチのような分離された開発環境です。ワークスペースを作成するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository をクリックします。

3. [ 開発ワークスペースを作成] をクリックします。

4. [開発ワークスペースを作成] ウィンドウで、次の操作を行います。

   1. [ワークスペース ID] フィールドに「quickstart-workspace」と入力します。

   2. [作成] をクリックします。

   開発ワークスペース ページが表示されます。

5. [ワークスペースを初期化] をクリックします。

注: Dataform は、ワークフローをデプロイするためのデフォルト設定を含む一連のディレクトリと構成ファイルでワークスペースを初期化します。ニーズに合わせてワークフロー設定ファイルのデフォルト設定をオーバーライドできますが、ワークフローを BigQuery にデプロイする必要はありません。このクイックスタートでは、デフォルトの Dataform 設定を使用します。

API

1. Dataform ワークスペースを作成するには、projects.locations.repositories.workspaces.create メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
   • クエリ パラメータ: workspaceId=WORKSPACE_ID

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d "{}" \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"
   

2. 必要な構成でワークスペースを初期化するには、workflow_settings.yaml という名前のローカル ファイルを作成し、次の構成を貼り付けます。

   defaultProject: PROJECT_ID
   defaultDataset: dataform
   dataformCoreVersion: CORE_VERSION
   

3. ターミナルで次のコマンドを実行して、ファイル コンテンツを 1 つの連続した文字列にエンコードします。

   base64 -w 0 workflow_settings.yaml
   

4. 結果の出力文字列をコピーして、JSON リクエスト本文の SETTINGS_DEFINITION フィールドで使用します。

5. ワークスペースに構成ファイルを作成するには、projects.locations.repositories.workspaces.writeFile メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "path": "workflow_settings.yaml",
       "contents": "SETTINGS_DEFINITION"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   次のように置き換えます。

   • CORE_VERSION: Dataform コアの最新の安定版（ベータ版以外）。例: 3.0.43。最新バージョンは、リリースに記載されています。
   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されているGoogle Cloud プロジェクトの一意の識別子。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。
   • SETTINGS_DEFINITION: Base64 でエンコードされた文字列としての YAML ファイルのコンテンツ。
   • WORKSPACE_ID: Dataform 開発ワークスペースの一意の ID（例: feature-branch-1）。

ビューを作成する

Dataform ビューは、SQLX ファイルで定義されたアセットです。これを使用すると、データを変換し、ワークフロー内の他のテーブルやビューのソースとして機能します。後でテーブルのデータソースとして使用するビューを作成して定義するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository、quickstart-workspace の順にクリックします。

3. [ファイル] ペインで、definitions/ の横にある [その他] メニューをクリックします。

4. [ファイルを作成] をクリックします。

5. [新しいファイルを作成] ペインで、次の操作を行います。

   1. [ファイルパスを追加] フィールドに「definitions/quickstart-source.sqlx」と入力します。

   2. [ファイルを作成] をクリックします。

6. [ファイル] ペインで「definitions」フォルダを展開します。

7. definitions/quickstart-source.sqlx をクリックします。

8. このファイルに次のコード スニペットを入力します。

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

9. [書式] をクリックします。

API

ビューを作成するには、まず API リクエスト用に SQLX ファイルのコンテンツを準備する必要があります。

1. quickstart-source.sqlx という名前のローカル ファイルを作成し、次の SQL コード スニペットを貼り付けます。

   config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count
   

2. ターミナルで次のコマンドを実行して、ファイルの内容を 1 つの連続した文字列にエンコードします。

   base64 -w 0 quickstart-source.sqlx
   

3. 結果の出力文字列をコピーして、JSON リクエスト本文の VIEW_DEFINITION フィールドで使用します。

4. ワークスペースでビュー定義ファイルを作成して定義するには、projects.locations.repositories.workspaces.writeFile メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   JSON ペイロード（write_view.json）:

   {
     "path": "definitions/quickstart-source.sqlx",
     "contents": "VIEW_DEFINITION"
   }
   

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d @write_view.json \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   次のように置き換えます。

   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されているGoogle Cloud プロジェクトの一意の識別子。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。
   • VIEW_DEFINITION: Base64 でエンコードされた文字列としての SQLX ファイルのコンテンツ。
   • WORKSPACE_ID: Dataform 開発ワークスペースの一意の ID（例: feature-branch-1）。

テーブルを作成する

Dataform テーブルは、SQLX ファイルで定義されたアセットです。ワークフローの一部として、変換されたクエリ結果を BigQuery に保存します。ワークフローのテーブルを定義するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository、quickstart-workspace の順にクリックします。

3. [ファイル] ペインで、definitions/ の横にある [その他] メニューをクリックして、[ファイルを作成] を選択します。

4. [ファイルパスを追加] フィールドに「definitions/quickstart-table.sqlx」と入力します。

5. [ファイルを作成] をクリックします。

6. [ファイル] ペインで「definitions/definitions」ディレクトリを展開します。

7. quickstart-table.sqlx を選択して、次のテーブルタイプと SELECT ステートメントを入力します。

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

8. [書式] をクリックします。

   注: 前述のコード スニペットでは、ref 関数はデータソースを参照しています。詳細については、テーブルを作成するをご覧ください。

テーブルタイプを定義した後に Dataform を実行すると、BigQuery に quickstart-source がまだ存在しないため、クエリ検証エラーがスローされます。このエラーは、ワークフローを実行すると解決されます。

API

テーブルを作成するには、まず API リクエスト用に SQLX ファイルのコンテンツを準備する必要があります。

1. quickstart-table.sqlx という名前のローカル ファイルを作成し、次の SQL コード スニペットを貼り付けます。

   config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1
   

2. ターミナルで次のコマンドを実行して、ファイルの内容を 1 つの連続した文字列にエンコードします。

   base64 -w 0 quickstart-table.sqlx
   

3. 結果の出力文字列をコピーして、JSON リクエスト本文の TABLE_DEFINITION フィールドで使用します。

4. ワークスペースでテーブルを定義するには、projects.locations.repositories.workspaces.writeFile メソッドを使用します。この単一の API リクエストは、SQLX ファイルの作成、テーブル構造と依存関係の定義という手動の手順を置き換えます。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

   JSON ペイロード（write_table.json）:

   {
     "path": "definitions/quickstart-table.sqlx",
     "contents": "TABLE_DEFINITION"
   }
   

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d @write_table.json \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"
   

   次のように置き換えます。

   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されているGoogle Cloud プロジェクトの一意の識別子。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。
   • TABLE_DEFINITION: Base64 でエンコードされた文字列としての SQLX ファイルのコンテンツ。
   • WORKSPACE_ID: Dataform 開発ワークスペースの一意の ID（例: feature-branch-1）。

BigQuery でワークフローを実行する

ワークフローを実行するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository、quickstart-workspace の順にクリックします。

3. [実行を開始] をクリックします。

4. [すべてのアクション] をクリックします。

5. [実行を開始] をクリックします。

6. 開いたダイアログで [許可] をクリックして、BigQuery Pipelines に Google アカウントへのアクセス権を付与します。

   Dataform はデフォルトのリポジトリ設定を使用して、ワークフローの内容を dataform という BigQuery データセット内に作成します。

Dataform ワークフローを作成し、BigQuery でワークフローを実行しました。

API

BigQuery でワークフローを実行するには、SQLX ファイルを標準 SQL にコンパイルしてから、呼び出しをトリガーします。

1. ワークスペースに基づいてコンパイル結果を作成するには、projects.locations.repositories.compilationResults.create メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
   

   次のように置き換えます。

   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されているGoogle Cloud プロジェクトの一意の識別子。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。
   • WORKSPACE_ID: Dataform 開発ワークスペースの一意の ID（例: feature-branch-1）。

2. レスポンスから、/compilationResults/COMPILATION_ID 形式のコンパイル結果 ID をメモします。

3. ワークフローの呼び出しをトリガーするには、projects.locations.repositories.workflowInvocations.create メソッドを使用します。作成したコンパイル結果の ID を指定します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

   curl コマンド:

   curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -d '{
       "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
     }' \
     "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
   

   次のように置き換えます。

   • COMPILATION_ID: コンパイル結果の一意の識別子。
   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されている一意の Google Cloud プロジェクト ID。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。

Dataform ワークフローを作成し、BigQuery でワークフローを実行しました。

Dataform で実行ログを表示する

実行ログを表示するには、次のいずれかのオプションを選択します。

コンソール

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository、quickstart-workspace の順にクリックします。

3. [ワークフローの実行ログ] をクリックします。

4. 実行の詳細を表示するには、最新の実行をクリックします。

API

1. 実行の履歴を表示するには、projects.locations.repositories.workflowInvocations.list メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
   • クエリ パラメータ: 最新の実行が結果の上部に表示されるようにするには、?orderBy=create_time desc を使用します。

   curl コマンド:

     curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations?orderBy=create_time%20desc"
   

   次のように置き換えます。

   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されている一意の Google Cloud プロジェクト ID。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。

2. 特定の実行の詳細なログとステータスを表示するには、projects.locations.repositories.workflowInvocations.query メソッドを使用します。

   次の情報を使用して API リクエストを実行します。

   • エンドポイント: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query

   curl コマンド:

     curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query"
   

   次のように置き換えます。

   • LOCATION: リポジトリの Google Cloud リージョン（例: europe-west4）。
   • PROJECT_ID: Dataform リポジトリが配置されている一意の Google Cloud プロジェクト ID。
   • REPOSITORY_ID: Dataform リポジトリの一意の識別子（例: quickstart-repository）。
   • WORKFLOW_INVOCATION_ID: 特定のワークフロー実行の一意の識別子。この ID は、workflowInvocations.list リクエストの結果または workflowInvocations.create レスポンスの name フィールドから取得できます。

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

BigQuery で作成したデータセットを削除する

BigQuery アセットの料金が発生しないようにするには、dataform というデータセットを削除します。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   BigQuery に移動

2. [エクスプローラ] パネルでプロジェクトを開き、[dataform] を選択します。

3. （操作）メニューをクリックして、[削除] を選択します。

4. [データセットを削除する] ダイアログで、フィールドに「delete」と入力してから、[削除] をクリックします。

Dataform 開発ワークスペースを削除する

Dataform 開発ワークスペースの作成に費用はかかりませんが、開発ワークスペースを削除するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository をクリックします。

3. [開発ワークスペース] タブで、quickstart-workspace によって [その他] メニューをクリックし、[削除] を選択します。

4. [削除] をクリックして確定します。

Dataform リポジトリを削除する

Dataform リポジトリの作成に費用はかかりませんが、リポジトリを削除する手順は次のとおりです。

1. Google Cloud コンソールで、[BigQuery Dataform] ページに移動します。

   Dataform に移動

2. quickstart-repository から、（その他）メニューをクリックし、[削除] を選択します。

3. [リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。

4. [削除] をクリックして確定します。

次のステップ

• Dataform の詳細については、Dataform の概要をご覧ください。
• リモート リポジトリを Dataform リポジトリに接続する方法については、サードパーティの Git リポジトリに接続するをご覧ください。
• リポジトリのデフォルトの Dataform ワークフロー設定をオーバーライドする方法については、[Dataform を構成] の設定をご覧ください。
• BigQuery でのデータセットの管理の詳細については、データセットの管理をご覧ください。
• BigQuery でのテーブルの管理の詳細については、テーブルを管理するをご覧ください。