パイプラインを作成する

このドキュメントでは、BigQuery でパイプラインを作成する方法について説明します。パイプラインは Dataform を使用します。

始める前に

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Vertex AI APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

パイプラインに必要なロール

パイプラインの作成に必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

• パイプラインを作成する: コード作成者（roles/dataform.codeCreator）
• パイプラインを編集して実行する: Dataform 編集者（roles/dataform.editor）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Dataform IAM の詳細については、IAM によるアクセス制御をご覧ください。

注: パイプラインを作成すると、BigQuery はそのパイプラインに固有の Dataform 管理者ロール（roles/dataform.admin）を付与します。これにより、オーナーは管理と編集を行うことができます。 Google Cloud プロジェクト レベルで Dataform 管理者ロールが付与されているユーザーは、プロジェクト内のすべてのパイプラインにオーナーとしてアクセスできます。

ノートブックのオプションに必要なロール

ノートブックのオプションでランタイム テンプレートを選択するために必要な権限を取得するには、プロジェクトに対するノートブック ランタイム ユーザー（roles/aiplatform.notebookRuntimeUser）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

このロールがない場合は、デフォルトのノートブック ランタイム仕様を選択できます。

コードアセットにデフォルトのリージョンを設定する

コードアセットを初めて作成する場合は、コードアセットのデフォルト リージョンを設定する必要があります。コードアセットのリージョンを作成後に変更することはできません。

注: パイプラインを作成し、コードアセットに使用しているリージョンとは異なるデフォルト リージョンを選択する（たとえば us-west1 使用している場合に us-central1を選択する）と、そのパイプラインと、その後に作成したすべてのコードアセットでは、デフォルトで新しいリージョンが使用されます。既存のコードアセットでは、作成時に割り当てられたリージョンが引き続き使用されます。

BigQuery Studio のすべてのコードアセットは同じデフォルト リージョンを使用します。コードアセットのデフォルト リージョンを設定する手順は次のとおりです。

1. [BigQuery] ページに移動します。

   [BigQuery] に移動

2. [エクスプローラ] ペインで、コードアセットを有効にしたプロジェクトを見つけます。

3. プロジェクトの横にある （アクションを表示）をクリックし、[デフォルトのコード リージョンを変更] をクリックします。

4. [リージョン] で、コードアセットに使用するリージョンを選択します。

5. [選択] をクリックします。

サポートされているリージョンの一覧については、BigQuery Studio のロケーションをご覧ください。

パイプラインを作成する

パイプラインを作成するには、次の操作を行います。

1. [BigQuery] ページに移動します。

   [BigQuery] に移動

2. エディタペインのタブバーで、+ 記号の横にある 矢印をクリックし、[パイプライン] をクリックします。

3. 省略可: パイプラインの名前を変更するには、パイプライン名をクリックして新しい名前を入力します。

4. [使ってみる] をクリックし、[設定] タブに移動します。

5. [認証] セクションで、Google アカウントのユーザー認証情報またはサービス アカウントを使用してパイプラインを承認します。

   • Google アカウントのユーザー認証情報（プレビュー）を使用するには、[自分のユーザー認証情報で実行] を選択します。
   • サービス アカウントを使用するには、[選択したサービス アカウントで実行] を選択し、サービス アカウントを選択します。

6. [処理を行うロケーション] セクションで、パイプラインを処理するロケーションを選択します。

   • ロケーションの自動選択を有効にするには、[自動ロケーション選択] を選択します。このオプションは、リクエストで参照されるデータセットに基づいてロケーションを選択します。選択プロセスは次のとおりです。

     • クエリが同じロケーションのデータセットを参照している場合、BigQuery はそのロケーションを使用します。
     • クエリが 2 つ以上の異なるロケーションのデータセットを参照している場合、エラーが発生します。この制限の詳細については、クロスリージョン データセット レプリケーションをご覧ください。
     • クエリがデータセットを参照していない場合、BigQuery はデフォルトで US マルチリージョンを使用します。

   • 特定のリージョンを選択するには、[リージョン] を選択し、[リージョン] メニューでリージョンを選択します。または、クエリで @@location システム変数を使用することもできます。詳細については、ロケーションを指定するをご覧ください。

   • マルチリージョンを選択するには、[マルチリージョン] を選択してから、[マルチリージョン] メニューでマルチリージョンを選択します。

   パイプラインの処理ロケーションは、コードアセットのデフォルトのストレージ ロケーションと一致する必要はありません。

SQLX オプション

パイプラインに対して SQLX 設定を構成するには、[SQLX オプション] セクションで次の操作を行います。

1. [デフォルト プロジェクト] フィールドに、既存のGoogle Cloud プロジェクトの名前を入力します。この値は、workflow_settings.yaml ファイルの defaultProject と dataform.json ファイルの defaultDatabase に使用されます。デフォルトのプロジェクトは、パイプライン タスクの実行時に使用されます。

   注: プロジェクト名は検証されないため、空でない文字列を入力できます。ただし、プロジェクトが存在しない場合、パイプラインの実行は失敗します。

2. 省略可: [デフォルトのデータセット] フィールドで、既存のデータセットを検索して選択します。使用可能なデータセットのリストは、選択したプロジェクトと処理ロケーションに基づいてフィルタリングされます。この値は、workflow_settings.yaml ファイルの defaultDataset に使用されます。デフォルトのデータセットは、パイプライン タスクの実行時に使用されます。

   注: デフォルトのデータセットを設定してからパイプラインのリージョンを変更すると、データセットの選択が無効になります。プロジェクトを変更すると、データセットの選択が無効になる可能性があります。指定されたデータセットが選択したプロジェクトに存在していない場合は、作成されます。

ノートブックのオプション

パイプラインにノートブックを追加するには、[ノートブックのオプション] セクションで次の操作を行います。

1. [ランタイム テンプレート] フィールドで、デフォルトのノートブック ランタイムをそのまま使用するか、既存のランタイムを検索して選択します。

   • デフォルトのランタイムの仕様を表示するには、隣接する矢印をクリックします。
   • 新しいランタイムを作成するには、ランタイム テンプレートを作成するをご覧ください。
   注: ノートブックのランタイム テンプレートは、それを指定するパイプラインと同じリージョンに配置する必要があります。
   注: ノートブックを BigQuery パイプラインに含める場合、Vertex AI ランタイム インスタンスのネットワークを変更することはできません。ランタイムはデフォルト ネットワークに制限されており、別のネットワークを選択することはできません。

2. [Cloud Storage バケット] フィールドで、[参照] をクリックして、パイプラインにノートブックの出力を保存する Cloud Storage バケットを選択または作成します。

3. バケットレベルのポリシーにプリンシパルを追加するの手順に沿って、カスタム Dataform サービス アカウントをプリンシパルとして、スケジュール設定したパイプライン実行の出力を保存するために使用する Cloud Storage バケットに追加し、このプリンシパルにストレージ管理者ロール（roles/storage.admin）を付与します。

   選択したカスタム Dataform サービス アカウントには、選択したバケットに対するストレージ管理者の IAM ロールを付与する必要があります。

パイプライン タスクを追加する

パイプラインにタスクを追加するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

   左側のペインが表示されていない場合は、 [左ペインを開く] をクリックしてペインを開きます。

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. コードアセットを追加するには、次のいずれかのオプションを選択します。

   SQL クエリ

   1. [タスクを追加] をクリックしてから、[クエリ] を選択します。 新しいクエリを作成することも、既存のクエリをインポートすることもできます。

   2. 省略可: [Query task details] ペインの [次の後に実行] メニューで、クエリの前に実行するタスクを選択します。

   新規クエリを作成する

   1. [クエリを編集] の横にある 矢印メニューをクリックし、[コンテキスト内] または [新しいタブ] を選択します。

   2. 既存のクエリを検索します。

   3. クエリ名を選択して Enter キーを押します。

   4. [保存] をクリックします。

   5. 省略可: クエリの名前を変更するには、パイプライン ペインでクエリ名をクリックし、[クエリを編集] をクリックして、画面上部の既存のクエリ名をクリックし、新しい名前を入力します。

   既存のクエリをインポートする

   1. [クエリを編集] の横にある 矢印メニューをクリックし、[コピーをインポート] をクリックします。

   2. インポートする既存のクエリを検索するか、検索ペインから既存のクエリを選択します。クエリをインポートすると、クエリのソースファイルがパイプラインにコピーされるため、元のクエリは変更されません。

   3. [編集] をクリックして、インポートしたクエリを開きます。

   4. [保存] をクリックします。

   ノートブック

   1. [タスクを追加] をクリックし、[ノートブック] を選択します。 新しいノートブックを作成することも、既存のノートブックをインポートすることもできます。ノートブックのランタイム テンプレートの設定を変更するには、ノートブックのオプションをご覧ください。

   2. 省略可: [Notebook task details] ペインの [次の後に実行] メニューで、ノートブックの前に実行するタスクを選択します。

   新しいノートブックを作成する

   1. [ノートブックを編集] の横にある 矢印メニューをクリックし、[コンテキスト内] または [新しいタブ] を選択します。

   2. 既存のノートブックを検索します。

   3. ノートブック名を選択して Enter キーを押します。

   4. [保存] をクリックします。

   5. 省略可: ノートブックの名前を変更するには、パイプライン ペインでノートブック名をクリックし、[ノートブックを編集] をクリックして、画面上部の既存のノートブック名をクリックし、新しい名前を入力します。

   既存のノートブックをインポートする

   1. [ノートブックを編集] の横にある 矢印メニューをクリックし、[コピーをインポート] をクリックします。

   2. インポートする既存のノートブックを検索するか、検索ペインから既存のノートブックを選択します。ノートブックをインポートすると、ノートブックのソースファイルがパイプラインにコピーされるため、元のファイルは変更されません。

   3. インポートしたノートブックを開くには、[編集] をクリックします。

   4. [保存] をクリックします。

   データの準備

   1. [タスクを追加] をクリックし、[データ準備] を選択します。新しいデータ準備を作成することも、既存のデータ準備をインポートすることもできます。

   2. 省略可: [Data preparation task details] ペインの [次の後に実行] メニューで、データ準備の前に実行するタスクを選択します。

   新しいデータ準備を作成する

   1. [データ準備を編集] の横にある 矢印メニューをクリックし、[コンテキスト内] または [新しいタブ] を選択します。

   2. 既存のデータ準備を検索します。

   3. データ準備の名前を選択して Enter キーを押します。

   4. [保存] をクリックします。

   5. 省略可: データ準備の名前を変更するには、パイプライン パネルでデータ準備の名前をクリックし、[データ準備を編集] をクリックして、画面上部の名前をクリックし、新しい名前を入力します。

   既存のデータ準備をインポートする

   1. [データ準備を編集] の横にある 矢印プルダウン メニューをクリックし、[コピーをインポート] をクリックします。

   2. インポートする既存のデータ準備を検索するか、検索ペインから既存のデータ準備を選択します。データ準備をインポートすると、データ準備のソースファイルがパイプラインにコピーされるため、元のファイルは変更されません。

   3. インポートしたデータ準備を開くには、[編集] をクリックします。

   4. [保存] をクリックします。

   テーブル

   プレビュー版

   このプロダクトまたは機能は サービス固有の規約の対象となります。 一般提供前のプロダクトと機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、リリース ステージの説明をご覧ください。

   注: フィードバックやサポートのリクエストについては、[e-mail] までお問い合わせください。

   1. [タスクを追加] をクリックし、[テーブル] を選択します。

   2. [新規作成] ペインで、[テーブル] または [増分テーブル] を選択します。

   3. テーブルのデフォルト プロジェクトを確認するか、新しいプロジェクトを選択します。

   4. テーブルのデフォルトのデータセットを確認するか、新しいデータセットを選択します。

   5. テーブルの名前を入力します。

   6. [Table task details] ペインで、[開く] をクリックしてタスクを開きます。

   7. タスクを構成するには、[詳細] > [構成] の設定を使用するか、テーブルのコードエディタの config ブロックを使用します。

      メタデータの変更には、[構成] タブを使用します。このタブでは、コードエディタから config ブロック内の特定の値を編集できます。たとえば、JavaScript オブジェクトのように書式設定された文字列や配列などです。このタブを使用すると、構文エラーを回避し、設定が正しいことを確認できます。

      省略可: [次の後に実行] メニューで、テーブルの前に実行するタスクを選択します。

      エディタの config ブロックで、パイプライン タスクのメタデータを定義することもできます。詳細については、テーブルの作成をご覧ください。

      エディタはコードを検証し、検証ステータスを表示します。

      注: config ブロックで JavaScript 関数を値として使用する場合、[構成] タブで JavaScript 関数を編集することはできません。

   8. [詳細] > [コンパイル済みクエリ] で、SQLX コードからコンパイルされた SQL を確認します。

   9. [実行] をクリックして、パイプラインで SQL を実行します。

   10. [クエリ結果] で、データ プレビューを確認します。

   表示

   プレビュー版

   このプロダクトまたは機能は サービス固有の規約の対象となります。 一般提供前のプロダクトと機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、リリース ステージの説明をご覧ください。

   注: フィードバックやサポートのリクエストについては、[e-mail] までお問い合わせください。

   1. [タスクを追加] をクリックし、[ビュー] を選択します。

   2. [新規作成] ペインで、[ビュー] または [マテリアライズド ビュー] を選択します。

   3. ビューのデフォルト プロジェクトを確認するか、新しいプロジェクトを選択します。

   4. ビューのデフォルトのデータセットを確認するか、新しいデータセットを選択します。

   5. ビューに名前を設定します。

   6. [タスクの詳細を表示] ペインで、[開く] をクリックしてタスクを開きます。

   7. タスクを構成するには、[詳細] > [構成] の設定を使用するか、ビューのコードエディタの config ブロックを使用します。

      メタデータの変更には、[構成] タブを使用します。このタブでは、コードエディタから config ブロック内の特定の値を編集できます。たとえば、JavaScript オブジェクトのように書式設定された文字列や配列などです。このタブを使用すると、構文エラーを回避し、設定が正しいことを確認できます。

      省略可: [次の後に実行] メニューで、ビューの前に実行するタスクを選択します。

      エディタの config ブロックで、パイプライン タスクのメタデータを定義することもできます。詳細については、Dataform コアを使用してビューを作成するをご覧ください。

      エディタはコードを検証し、検証ステータスを表示します。

      注: config ブロックで JavaScript 関数を値として使用する場合、[構成] タブで JavaScript 関数を編集することはできません。

   8. [詳細] > [コンパイル済みクエリ] で、SQLX コードからコンパイルされた SQL を確認します。

   9. [実行] をクリックして、パイプラインで SQL を実行します。

   10. [クエリ結果] で、データ プレビューを確認します。

パイプライン タスクを編集する

パイプラインのタスクを編集するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   BigQuery に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. 選択したタスクをクリックします。

5. 前のタスクを変更するには、[次の後に実行] メニューで、タスクの前に実行するタスクを選択します。

6. 選択したタスクの内容を編集するには、[編集] をクリックします。

7. 開いた新しいタブでタスクの内容を編集し、タスクの変更を保存します。

パイプライン タスクを削除する

パイプラインのタスクを削除するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. 選択したタスクをクリックします。

5. [タスクの詳細] ペインで、削除削除アイコンをクリックします。

パイプラインを共有する

注: パイプラインは共有できますが、パイプライン内のタスクは共有できません。

パイプラインを共有するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. [共有] をクリックし、[権限を管理] を選択します。

5. [ユーザー / グループを追加] をクリックします。

6. [新しいプリンシパル] フィールドに、少なくとも 1 人のユーザーまたはグループの名前を入力します。

7. [ロールを割り当てる] でロールを選択します。

8. [保存] をクリックします。

パイプラインへのリンクを共有する

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. [共有] をクリックし、[リンクを共有] を選択します。パイプラインの URL がパソコンのクリップボードにコピーされます。

パイプラインを実行する

パイプラインの現在のバージョンを手動で実行するには、次の操作を行います。

1. Google Cloud コンソールで、[BigQuery] ページに移動します。

   [BigQuery] に移動

2. 左側のペインで、 エクスプローラをクリックします。

   

3. [エクスプローラ] ペインで、プロジェクトを開き、[パイプライン] をクリックして、パイプラインを選択します。

4. [実行] をクリックします。認証に [自分のユーザー認証情報で実行] を選択した場合は、Google アカウントを認可する必要があります（プレビュー）。

5. 省略可: 実行を検査するには、過去の手動実行を表示します。

Google アカウントを認可する

プレビュー版

このプロダクトまたは機能は サービス固有の規約の対象となります。 一般提供前のプロダクトと機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、リリース ステージの説明をご覧ください。

注: この機能に関するサポートのリクエストやフィードバックについては、[e-mail] までお問い合わせください。

Google アカウントのユーザー認証情報でリソースを認証するには、BigQuery パイプラインが Google アカウントのアクセス トークンを取得し、ユーザーに代わってソースデータにアクセスするための権限を手動で付与する必要があります。OAuth ダイアログ インターフェースで、手動で承認できます。

BigQuery パイプラインに権限を付与する必要があるのは 1 回のみです。

付与した権限を取り消すには、次の手順に沿って操作します。

1. Google アカウント ページにアクセスします。
2. [BigQuery パイプライン] をクリックします。
3. [アクセス権を削除] をクリックします。
警告: アクセス権限を取り消すと、この Google アカウントがすべてのリージョンにわたって所有するパイプラインの今後の実行がブロックされます。

パイプラインにノートブックが含まれている場合は、Colab Enterprise が Google アカウントのアクセス トークンを取得し、ユーザーに代わってソースデータにアクセスできるように、手動で権限を付与する必要があります。権限を付与する必要があるのは 1 回のみです。この権限は、Google アカウントのページで取り消すことが可能です。

次のステップ

• BigQuery パイプラインの詳細を確認する。
• パイプラインの管理方法を学ぶ。
• パイプラインのスケジュール設定方法を学ぶ。