前提条件と設定

リネージのユースケース チュートリアルを完了するには、次の設定を行います。

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

必要なロール

リネージのユースケース チュートリアルを実行するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

  • データリネージ閲覧者 （roles/datalineage.viewer）: リネージが記録および表示されるプロジェクトに対するロール。
  • BigQuery データ閲覧者 （roles/bigquery.dataViewer）: テーブルのストレージ プロジェクトに対するロール。
  • BigQuery リソース閲覧者 （roles/bigquery.resourceViewer）: ジョブのコンピューティング プロジェクトに対するロール。
  • Dataplex Catalog 閲覧者 （roles/dataplex.catalogViewer）: カタログ エントリが保存されるプロジェクトに対するロール。
  • Dataform 編集者 （roles/dataform.editor）: ワークスペースとリポジトリがあるプロジェクトに対するロール。

必要なロールに関連付けられたプロジェクト タイプとサービスは次のとおりです。

  • ストレージ プロジェクトには、BigQuery のデータセットとテーブルが保存されます。
  • コンピューティング プロジェクトは、データを処理し、リネージ メタデータを保存します。BigQuery ジョブとデータ変換の実行に使用されます。
  • カタログ エントリには、テーブルを記述するメタデータが含まれています。これにより、基盤となるデータにアクセスせずにテーブルを検索して整理できます。
  • リネージ プロジェクトは、データの履歴とその変換を記録して可視化します。
  • Dataform は、SQL ベースのデータ パイプラインの構築、バージョン管理、実行に使用されるサービスです。未加工のデータをクリーンでドキュメント化されたデータセットに変換します。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

使ってみる

チュートリアルを完了するには、データリネージのユースケース リポジトリを使用します。このリポジトリには、データセットを設定してデータ変換を実行するための事前定義コードが含まれています。

データセットの概要

各チュートリアルでは、医療機関、雇用、ビジネスデータなど、さまざまな実際のデータセットを使用して、現実的なシナリオでデータリネージを示します。

データセットを設定する

データリネージでデータの変更を追跡するには、次の 1 回限りの設定を行います。

  1. 個人用アクセス トークンを作成して Secret Manager に保存します。
  2. リポジトリを Dataform にリンクします。

設定後、データ変換を実行してデータを処理し、リネージを生成します。