Git リポジトリを接続してワークフローを実行する
このクイックスタートでは、Dataform リポジトリを作成し、既存のサードパーティ Git リポジトリに接続して、ワークフローを実行する手順について説明します。Google Cloud コンソールと Dataform API を使用して、次のタスクを行います。
- Dataform リポジトリを作成する
- リポジトリを
dataform-co/dataform-example-project-bigqueryGitHub リポジトリに接続します。 - 開発ワークスペースを作成して初期化する。
- プロジェクトに新しいビューを追加します。
- プロジェクトをコンパイルして、BigQuery でワークフローを実行します。
始める前に
- Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、 アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery, Dataform, and Secret Manager APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigQuery, Dataform, and Secret Manager APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.
必要なロール
このクイックスタートのすべてのタスクに必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。
- プロジェクトまたはリポジトリに対する Dataform 管理者 (
roles/dataform.admin) - プロジェクトまたは特定のデータセットに対する BigQuery データ編集者 (
roles/bigquery.dataEditor) - プロジェクトに対する BigQuery ジョブユーザー(
roles/bigquery.jobUser)。 - カスタム サービス アカウントに対するサービス アカウント ユーザー (
roles/iam.serviceAccountUser)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
Dataform リポジトリを作成する
リポジトリは、Dataform プロジェクトのメイン コンテナです。次のオプションのいずれかを選択します。
コンソール
BigQuery の Dataform ページに移動します。
[ リポジトリを作成] をクリックします。
[リポジトリの作成] ページで、次の操作を行います。
- [リポジトリ ID] フィールドに「
quickstart-repo」と入力します。 - [リージョン] リストで、リージョン(例:
europe-west4)を選択します。 - [サービス アカウント] リストで、リポジトリのカスタム サービス アカウントを選択します。
- [作成] をクリックします。
- [リポジトリに移動] をクリックします。
- [リポジトリ ID] フィールドに「
Dataform リポジトリが正常に作成されました。次に、Dataform リポジトリをリモートの Git リポジトリに接続できます。
API
リポジトリを作成するには、projects.locations.repositories.create メソッドを使用します。次の情報を使用して API リクエストを実行します。
- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories - クエリ パラメータ:
repositoryId=REPOSITORY_ID
または、ターミナルで次の curl コマンドを実行します。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
"https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"
次のように置き換えます。
SERVICE_ACCOUNT_NAME: BigQuery ジョブの実行用に作成されたカスタム サービス アカウントの ID。PROJECT_ID: Dataform リポジトリを作成するGoogle Cloud プロジェクトの一意の識別子。LOCATION: リポジトリを作成する Google Cloud リージョン(europe-west4など)。REPOSITORY_ID: 新しい Dataform リポジトリの一意の識別子(例:quickstart-repo)。
Dataform リポジトリが正常に作成されました。次に、Dataform リポジトリをリモートの Git リポジトリに接続できます。
Git リポジトリに接続する
Dataform リポジトリをプロジェクトに接続するには、次のいずれかのオプションを選択します。
コンソール
[Secret Manager] ページに移動します。
[シークレットの作成] をクリックします。
[名前] フィールドに「
dataform-git-token」と入力します。[シークレットの値] フィールドに、GitHub 個人アクセス トークン(PAT)を入力します。
PAT の作成方法については、個人用アクセス トークンを管理するをご覧ください。
組織のセキュリティ ポリシーに従って、トークンの有効期限を設定することをおすすめします。
[シークレットの作成] をクリックします。
シークレットの詳細ページで、[権限] タブをクリックし、[アクセスを許可] をクリックします。
[新しいプリンシパル] フィールドに、Dataform サービス エージェント
service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.comを入力します。PROJECT_NUMBERは、使用するGoogle Cloud プロジェクト番号に置き換えます。プロジェクト番号を確認する方法については、プロジェクト名、番号、ID を確認するをご覧ください。[ロールを選択] フィールドで、[Secret Manager > Secret Manager Secret Accessor] を選択します。
[保存] をクリックします。
Google Cloud コンソールで、[Dataform] ページに移動します。
quickstart-repoをクリックします。リポジトリ ページで、[設定] > [Git と接続] の順にクリックします。
[リモート リポジトリへのリンク] ペインで、[HTTPS] を選択します。
[リモートの Git リポジトリの URL] フィールドに「
https://github.com/dataform-co/dataform-example-project-bigquery.git」と入力します。[デフォルトのリモート ブランチ名] フィールドに「
master」と入力します。[シークレット] メニューで [
dataform-git-token] を選択します。[リンク] をクリックします。
Dataform リポジトリをリモートの Git リポジトリに正常に接続し、必要な権限を付与しました。次に、開発ワークスペースを作成して初期化します。
API
Git 個人用アクセス トークンを保存するには、
projects.secrets.createメソッドを使用して Secret Manager にシークレットを作成します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets - クエリ パラメータ:
secretId=dataform-git-token 本文:
{ "replication": { "automatic": {} } }
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "replication": { "automatic": {} } }' \ "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets?secretId=dataform-git-token"- エンドポイント:
GitHub 個人アクセス トークン(PAT)を含むシークレットにバージョンを追加します。PAT の作成方法については、個人用アクセス トークンの管理をご覧ください。組織のセキュリティ ポリシーに従って、トークンの有効期限を設定することをおすすめします。
シークレット バージョンを追加するには、
projects.secrets.addVersionメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion 本文:
{ "payload": { "data": "GITHUB_PAT" } }
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "payload": { "data": "$(echo -n "GITHUB_PAT" | base64)" } }' \ "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion"GITHUB_PATは、GitHub の個人用アクセス トークンに置き換えます。curlコマンドは、リクエストを送信する前に PAT を Base64 でエンコードされた文字列に自動的に変換します。- エンドポイント:
Dataform がシークレットにアクセスできるようにするには、Dataform サービス エージェントに Secret Manager のシークレット アクセサーのロール(
roles/secretmanager.secretAccessor)を付与します。ロールを付与するには、次のいずれかのオプションを選択します。gcloud
gcloud secrets add-iam-policy-bindingコマンドを実行します。gcloud secrets add-iam-policy-binding dataform-git-token \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" \ --role="roles/secretmanager.secretAccessor"PROJECT_NUMBERは、使用するGoogle Cloud プロジェクト番号に置き換えます。プロジェクト番号を確認する方法については、プロジェクト名、番号、ID を確認するをご覧ください。Secret Manager API
projects.secrets.setIamPolicyメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy 本文:
{ "policy": { "bindings": [ { "role": "roles/secretmanager.secretAccessor", "members": [ "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" ] } ] } }
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "policy": { "bindings": [ { "role": "roles/secretmanager.secretAccessor", "members": [ "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" ] } ] } }' \ "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy"PROJECT_NUMBERは、使用するGoogle Cloud プロジェクト番号に置き換えます。プロジェクト番号を確認する方法については、プロジェクト名、番号、ID を確認するをご覧ください。- エンドポイント:
リポジトリをリモートの Git リポジトリに接続するには、
projects.locations.repositories.patchメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
PATCH https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID - クエリ パラメータ:
updateMask=gitRemoteSettings
または、ターミナルで次の
curlコマンドを実行します。curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "gitRemoteSettings": { "url": "https://github.com/dataform-co/dataform-example-project-bigquery.git", "defaultBranch": "master", "authenticationTokenSecretVersion": "projects/PROJECT_ID/secrets/dataform-git-token/versions/1" } }' \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID?updateMask=gitRemoteSettings"- エンドポイント:
Dataform リポジトリをリモートの Git リポジトリに正常に接続し、必要な権限を付与しました。次に、開発ワークスペースを作成して初期化します。
開発ワークスペースを作成して初期化する
ワークスペースは、分離された開発環境です。ワークスペースを作成して初期化するには、次のいずれかのオプションを選択します。
コンソール
BigQuery の Dataform ページに移動します。
quickstart-repoをクリックします。リポジトリで、[開発ワークスペース] タブに移動します。
[ 開発ワークスペースを作成] をクリックします。
[ワークスペース ID] フィールドに「
dev-workspace」と入力します。[作成] をクリックします。
[開発ワークスペース] タブで、
dev-workspaceワークスペースを選択します。
開発ワークスペースが正常に作成され、初期化されました。次に、ワークフロー設定を構成します。
API
ワークスペースを作成するには、projects.locations.repositories.workspaces.create メソッドを使用します。次の情報を使用して API リクエストを実行します。
- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces - クエリ パラメータ:
workspaceId=WORKSPACE_ID
または、ターミナルで次の curl コマンドを実行します。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{}" \
"https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"
WORKSPACE_ID は、新しい Dataform 開発ワークスペースの一意の識別子(dev-workspace など)に置き換えます。
開発ワークスペースが正常に作成され、初期化されました。次に、ワークフロー設定を構成します。
ワークフローの設定を構成する
このセクションでは、workflow_settings.yaml ファイルのプロジェクト ID を更新して、Dataform がGoogle Cloud プロジェクトでワークフローを実行するようにします。ワークフロー設定を構成するには、次のいずれかのオプションを選択します。
コンソール
BigQuery の Dataform ページに移動します。
quickstart-repoをクリックします。リポジトリで、[開発ワークスペース] タブに移動し、[
dev-workspace] をクリックします。[ファイル] ペインで、[
workflow_settings.yaml] を選択します。ファイルで、
defaultProjectの値をプロジェクト ID に置き換えます。ファイルは自動的に保存されます。
ワークフローの設定が更新されました。次に、プロジェクトに新しいソース宣言を追加できます。
API
workflow_settings.yamlという名前のローカル ファイルを作成し、次の構成をファイルに貼り付けます。defaultProject: PROJECT_ID defaultDataset: dataform dataformCoreVersion: CORE_VERSIONCORE_VERSIONは、Dataform コアの最新の安定版(ベータ版以外)に置き換えます(例:3.0.43)。最新バージョンは、リリースに記載されています。ターミナルで、ファイルの内容を Base64 文字列にエンコードします。
base64 -w 0 workflow_settings.yamlこの手順で後ほど代替の
curlコマンドを使用する場合は、結果の出力文字列をコピーしてSETTINGS_DEFINITIONプレースホルダで使用します。ワークフロー設定を更新するには、
projects.locations.repositories.workspaces.writeFileメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "path": "workflow_settings.yaml", "contents": "SETTINGS_DEFINITION" }' \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"SETTINGS_DEFINITIONは、YAML ファイルのコンテンツを Base64 でエンコードされた文字列に置き換えます。- エンドポイント:
ワークフローの設定が更新されました。次に、プロジェクトに新しいソース宣言を追加できます。
ソースを作成します
このセクションでは、既存の BigQuery データセットを定義する新しい SQLX ソース宣言をプロジェクトに追加します。これにより、Dataform はワークフローでデータソースとして参照できるようになります。新しいソースを作成するには、次のいずれかのオプションを選択します。
コンソール
BigQuery の Dataform ページに移動します。
quickstart-repoをクリックします。リポジトリで、[開発ワークスペース] タブに移動し、[
dev-workspace] をクリックします。[ファイル] ペインで、[
definitions] フォルダを選択します。[その他のファイル操作] > [ファイルを作成] をクリックします。
[ファイルパスを追加] フィールドに「
definitions/sources/tags.sqlx」と入力します。[ファイルを作成] をクリックします。
新しい
definitions/sources/tags.sqlxファイルの SQL エディタに、次のコードを貼り付けます。config { type: "declaration", database: "bigquery-public-data", schema: "stackoverflow", name: "tags" }
ソース宣言が正常に作成されました。次に、プロジェクトに新しいビューを追加できます。
API
tags.sqlxという名前のローカル ファイルを作成します。次のコードを
tags.sqlxファイルに貼り付けます。config { type: "declaration", database: "bigquery-public-data", schema: "stackoverflow", name: "tags" }ターミナルで、ファイルの内容を 1 つの連続した文字列にエンコードします。
base64 -w 0 tags.sqlxこの手順で後ほど代替の
curlコマンドを使用する場合は、結果の出力文字列をコピーしてSOURCE_DEFINITIONプレースホルダで使用します。ワークスペースにソース宣言ファイルを作成するには、
projects.locations.repositories.workspaces.writeFileメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "path": "definitions/sources/tags.sqlx", "contents": "SOURCE_DEFINITION" }' \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"SOURCE_DEFINITIONは、Base64 でエンコードされた文字列としての SQLX ファイルの内容に置き換えます。- エンドポイント:
ソース宣言が正常に作成されました。次に、プロジェクトに新しいビューを追加できます。
ビューを作成する
このセクションでは、ビューを定義する新しい SQLX ファイルをプロジェクトに追加します。新しいビューを作成するには、次のいずれかのオプションを選択します。
コンソール
BigQuery の Dataform ページに移動します。
quickstart-repoをクリックします。リポジトリで、[開発ワークスペース] タブに移動し、[
dev-workspace] をクリックします。[ファイル] ペインで、[
definitions] フォルダを選択します。[その他のファイル操作] > [ファイルを作成] をクリックします。
[ファイルパスを追加] フィールドに「
definitions/top_question_tags.sqlx」と入力します。[ファイルを作成] をクリックします。
新しい
definitions/top_question_tags.sqlxファイルの SQL エディタに、次のコードを貼り付けます。config { type: "view", name: "top_question_tags", tags: ["daily"], schema: "reporting", } select tag_name, count from ${ref("tags")} order by count desc limit 100
ビューが正常に作成されました。次に、プロジェクトをコンパイルできます。
API
top_question_tags.sqlxという名前のローカル ファイルを作成します。次のコードを
top_question_tags.sqlxファイルに貼り付けます。config { type: "view", name: "top_question_tags", tags: ["daily"], schema: "reporting", } select tag_name, count from ${ref("tags")} order by count desc limit 100ターミナルで、ファイルの内容を 1 つの連続した文字列にエンコードします。
base64 -w 0 top_question_tags.sqlxこの手順で後ほど代替の
curlコマンドを使用する場合は、結果の出力文字列をコピーしてVIEW_DEFINITIONプレースホルダで使用します。ワークスペースにビュー定義ファイルを作成するには、
projects.locations.repositories.workspaces.writeFileメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "path": "definitions/top_question_tags.sqlx", "contents": "VIEW_DEFINITION" }' \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"VIEW_DEFINITIONは、SQLX ファイルの内容を Base64 でエンコードされた文字列に置き換えます。- エンドポイント:
ビューが正常に作成されました。次に、プロジェクトをコンパイルできます。
プロジェクトをコンパイルする
コンパイルでは、SQLX ファイルが純粋な SQL 実行グラフに変換されます。プロジェクトをコンパイルするには、次のいずれかのオプションを選択します。
コンソール
Google Cloud コンソールはプロジェクトを自動的にコンパイルします。コンパイルは、ワークスペースの [コンパイル済みグラフ] タブで確認できます。
プロジェクトのコンパイルが正常に完了し、実行グラフが検証されました。次に、BigQuery でワークフローを実行します。
API
ワークスペースに基づいてコンパイル結果を作成するには、
projects.locations.repositories.compilationResults.createメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults
または、ターミナルで次の
curlコマンドを実行します。curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d '{ "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID" }' \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"- エンドポイント:
プロジェクトが正常にコンパイルされたことを確認するには、
projects.locations.repositories.compilationResults.getメソッドを使用します。次の情報を使用して API リクエストを実行します。- エンドポイント:
GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID
または、ターミナルで次の
curlコマンドを実行します。curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"COMPILATION_IDは、コンパイル結果の一意の識別子に置き換えます。この ID は、前のステップのコンパイル リクエストのレスポンスで提供されます。- エンドポイント:
レスポンスで、
compilationErrorsフィールドを確認します。リストが空の場合、プロジェクトは正常にコンパイルされています。
プロジェクトのコンパイルが正常に完了し、実行グラフが検証されました。次に、BigQuery でワークフローを実行します。
ワークフローを実行する
BigQuery でワークフローの実行をトリガーするには、次のいずれかのオプションを選択します。
コンソール
BigQuery の Dataform ページに移動します。
quickstart-repoをクリックします。リポジトリで、[開発ワークスペース] タブに移動し、[
dev-workspace] をクリックします。ツールバーで、[実行を開始> アクションを実行] をクリックします。
[すべてのアクション] を選択します。
[実行を開始] をクリックします。
ワークフローが正常に実行されました。
API
ワークフローの呼び出しをトリガーするには、projects.locations.repositories.workflowInvocations.create メソッドを使用します。次の情報を使用して API リクエストを実行します。
- エンドポイント:
POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
または、ターミナルで次の curl コマンドを実行します。
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
}' \
"https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
ワークフローが正常に実行されました。
クリーンアップ
このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。
BigQuery データセットを削除する
BigQuery アセットの料金が発生しないようにするには、このワークフローで作成されたデータセット(reporting や staging などの名前のデータセット)を削除します。
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] パネルでプロジェクトを開いて、データセットを選択します。
[アクション] メニューをクリックして、[削除] を選択します。
[データセットの削除] ダイアログで、フィールドに「
delete」と入力してから、[削除] をクリックします。
Secret Manager シークレットを削除する
セキュリティ リソースをクリーンアップするには、Git 接続に使用したシークレットを削除します。
Google Cloud コンソールで、[Secret Manager] ページに移動します。
dataform-git-tokenシークレットを選択します。[削除] をクリックします。
確認ダイアログで、シークレット名を入力して確定し、[削除] をクリックします。
Dataform 開発ワークスペースを削除する
Dataform 開発ワークスペースの作成に費用はかかりませんが、開発ワークスペースを削除する手順は次のとおりです。
Google Cloud コンソールで、[Dataform] ページに移動します。
quickstart-repoをクリックします。[開発ワークスペース] タブで、
dev-workspaceによって [その他] メニューをクリックし、[削除] を選択します。[削除] をクリックして確定します。
Dataform リポジトリを削除する
Dataform リポジトリの作成に費用はかかりませんが、リポジトリを削除する手順は次のとおりです。
Google Cloud コンソールで、[Dataform] ページに移動します。
quickstart-repoから、(その他)メニューをクリックし、[削除] を選択します。[リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。
[削除] をクリックして確定します。
次のステップ
- Dataform でデータソースを宣言する方法については、データソースを宣言するをご覧ください。
- Dataform でビューとテーブルを作成する方法については、テーブルを作成するをご覧ください。
- Dataform のバージョン管理の詳細については、コードのバージョン管理をご覧ください。
- ワークフローの実行をスケジュールする方法については、ワークフロー構成で実行をスケジュールするをご覧ください。