前提条件と設定

リネージのユースケース チュートリアルを完了するには、次の設定手順を行います。

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage, Dataform, BigQuery Data Transfer, and Secret Manager APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

必要なロール

リネージ ユースケースのチュートリアルを実行するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

  • データリネージ閲覧者（roles/datalineage.viewer）: リネージが記録され、表示されるプロジェクト。
  • BigQuery データ閲覧者（roles/bigquery.dataViewer）: テーブルのストレージ プロジェクトに対するロール。
  • BigQuery リソース閲覧者（roles/bigquery.resourceViewer）: ジョブのコンピューティング プロジェクトに対するロール。
  • Dataplex Catalog 閲覧者（roles/dataplex.catalogViewer）: カタログ エントリが保存されているプロジェクト。
  • Dataform 編集者（roles/dataform.editor）: ワークスペースとリポジトリが配置されているプロジェクト。

次のリストに、必要なロールに関連付けられているプロジェクト タイプとサービスを示します。

  • ストレージ プロジェクトには、BigQuery のデータセットとテーブルが保存されます。
  • コンピューティング プロジェクトはデータを処理し、リネージ メタデータを保存します。これは、BigQuery ジョブとデータ変換の実行に使用されます。
  • カタログ エントリには、テーブルを説明するメタデータが含まれています。これにより、基盤となるデータにアクセスしなくても、テーブルを見つけて整理できます。
  • リネージ プロジェクトは、データの履歴とその変換を記録して可視化します。
  • Dataform は、SQL ベースのデータ パイプラインの構築、バージョン管理、実行に使用されるサービスです。元データをクリーンでドキュメント化されたデータセットに変換します。

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

使ってみる

チュートリアルを完了するには、データリネージのユースケース リポジトリを使用します。このリポジトリには、データセットを設定してデータ変換を実行するための事前定義コードが含まれています。

データセットの概要

各チュートリアルでは、医療機関、雇用、ビジネスデータなど、さまざまな実際のデータセットを使用して、現実的なシナリオでデータ リネージを示します。

データセットを設定する

データ リネージでデータの変更を追跡するには、次の 1 回限りの設定を行います。

  1. 個人用アクセス トークンを作成して Secret Manager に保存します。
  2. リポジトリを Dataform にリンクします。

設定後、データ変換を実行してデータを処理し、リネージを生成します。