開発環境を作成する

このクイックスタートでは、Dataform で個々の開発環境を作成し、各デベロッパーが独自の開発環境で作業できるようにする手順について説明します。

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

    必要なロール

    このチュートリアルのすべてのタスクを実行するために必要な権限を取得するには、プロジェクトに対して次の IAM ロールを付与するよう管理者に依頼してください。

    • Dataform 管理者（roles/dataform.admin）- リポジトリ
    • Dataform 編集者（roles/dataform.editor）- ワークスペースとワークフロー呼び出し

    ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

    必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

    Dataform リポジトリを作成する

    1. Google Cloud コンソールで、[Dataform] ページに移動します。

      Dataform に移動

    2. [リポジトリを作成] をクリックします。

    3. [リポジトリの作成] ページで、次の操作を行います。

      1. [リポジトリ ID] フィールドに「quickstart-dev」と入力します。

      2. [リージョン] リストで europe-west4 を選択します。

      3. [作成] をクリックします。

    4. [完了] をクリックします。

    Dataform に BigQuery へのアクセス権を付与する

    BigQuery でワークフローを実行するには、Dataform サービス エージェント、カスタム サービス アカウント、または Google アカウント（プレビュー）に次のロールが必要です。

    • Dataform が読み取りと書き込みの両方のアクセス権を必要とするプロジェクトに対する BigQuery データ編集者。 通常は、Dataform リポジトリをホストするプロジェクトが含まれます。
    • Dataform が読み取り専用アクセス権を必要とするプロジェクトに対する BigQuery データ閲覧者。
    • Dataform リポジトリをホストするプロジェクトに対する BigQuery ジョブユーザー。

    これらのロールを付与するには、次の手順に沿って操作します。

    1. Google Cloud コンソールで、[IAM] ページに移動します。

      IAM ページに移動

    2. [追加] をクリックします。

    3. [新しいプリンシパル] フィールドに、Dataform サービス エージェント ID、サービス アカウント ID、または Google アカウントのメールアドレス（プレビュー）を入力します。

    4. [ロールを選択] メニューで、[BigQuery ジョブユーザー] ロールを選択します。

    5. [別のロールを追加] をクリックし、[ロールを選択] メニューで [BigQuery データ編集者] ロールを選択します。

    6. [別のロールを追加] をクリックし、[ロールを選択] メニューで [BigQuery データ閲覧者] ロールを選択します。

    7. [保存] をクリックします。

    ワークスペース コンパイルのオーバーライドを構成する

    Dataform ワークスペースのコンパイル オーバーライドを使用して、分離された開発環境を作成するには、次の操作を行います。

    1. Google Cloud コンソールで、[Dataform] ページに移動します。

      Dataform に移動

    2. [quickstart-dev] をクリックします。

    3. [設定]をクリックしてから、[編集] をクリックします。

    4. [ワークスペース コンパイル オーバーライド] ペインで、[スキーマ サフィックス] フィールドに「${workspaceName}」と入力します。

      ワークスペースで実行をトリガーすると、Dataform は ワークフロー設定で設定されたデフォルトのスキーマにワークスペースの名前を接尾辞として追加します。このクイックスタートではデフォルトの Dataform 設定を使用し、dataform デフォルト スキーマを使用します。

    5. [保存] をクリックします。

    Dataform は、リポジトリ内のすべてのワークスペースにワークスペース コンパイル オーバーライドを適用します。

    この構成では、ワークスペースでワークフローを手動で実行すると、Dataform はこれをワークスペースのコンパイル オーバーライドで実行します。この結果、Dataform は BigQuery の dataform_workspaceName スキーマでワークフローを実行し、ワークスペースを隔離された開発環境に変換します。

    たとえば、sasha ワークスペースで手動で実行をトリガーすると、Dataform は BigQuery の dataform_sasha スキーマでワークフローを実行します。

    ワークフローをワークスペースのコンパイル オーバーライドなしで実行し、かつ、開発環境にワークスペースのコンパイル オーバーライドを保持するには、他の実行環境（staging や production など）を構成するリリース構成を作成します。

    クリーンアップ

    このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

    BigQuery で作成したデータセットを削除する

    BigQuery アセットの料金が発生しないようにするには、dataform で始まる名前のデータセット（dataform-sasha など）を削除します。

    1. Google Cloud コンソールで、[BigQuery] ページに移動します。

      [BigQuery] に移動

    2. [エクスプローラ] パネルでプロジェクトを開いて、データセットを選択します。

    3. [アクション] メニューをクリックして、[削除] を選択します。

    4. [データセットを削除する] ダイアログで、フィールドに「delete」と入力してから、[削除] をクリックします。

    Dataform リポジトリの削除

    Dataform リポジトリの作成に伴う費用は発生しません。 ただし、リポジトリとそのすべてのコンテンツを削除するには、次の手順を行います。

    1. Google Cloud コンソールで、[Dataform] ページに移動します。

      Dataform に移動

    2. quickstart-dev から、[その他] メニューをクリックし、[削除] を選択します。

      1. [リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。

    3. [削除] をクリックして確定します。

    次のステップ