事前準備和設定

如要完成歷程用途教學課程，請執行下列設定步驟：

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

    4.

  4. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    For new projects, the BigQuery API is automatically enabled.

必要的角色

如要取得執行歷程資料使用案例教學課程所需的權限，請要求管理員在專案中授予下列 IAM 角色：

  • 資料歷程檢視者 (roles/datalineage.viewer)：在記錄及查看歷程的專案中。
  • BigQuery 資料檢視者 (roles/bigquery.dataViewer)：資料表儲存空間專案。
  • BigQuery 資源檢視者 (roles/bigquery.resourceViewer)：在工作運算專案中。
  • Dataplex Catalog 檢視者 (roles/dataplex.catalogViewer)：在儲存目錄項目的專案中。
  • Dataform 編輯器 (roles/dataform.editor)：位於工作區和存放區所在的專案中。

下表說明與必要角色相關聯的專案類型和服務：

  • 儲存專案會儲存 BigQuery 資料集和資料表。
  • Compute 專案會處理您的資料，並儲存歷程中繼資料。用於執行 BigQuery 工作和資料轉換。
  • 目錄項目包含描述資料表的中繼資料，方便您尋找及整理資料表，而不必存取基礎資料。
  • 歷程專案會記錄並以視覺化方式呈現資料和轉換作業的歷程。
  • Dataform 是一項服務，可用於建構、版本控管及執行以 SQL 為基礎的資料管道。將原始資料轉換為乾淨且有記錄的資料集。

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

開始使用

如要完成教學課程，請使用「資料歷程用途存放區」。這個存放區包含預先定義的程式碼，可設定資料集及執行資料轉換。

資料集總覽

每篇教學課程都會使用不同的實際資料集 (例如醫療服務提供者、就業或業務資料)，在實際情境中示範資料沿襲。

設定資料集

如要使用資料沿襲追蹤資料變更，請執行下列一次性設定：

  1. 建立個人存取權杖，並儲存在 Secret Manager。
  2. 將存放區連結至 Dataform。

設定完成後，請執行資料轉換來處理資料並產生歷程。