排解資料沿革問題

本文說明如何解決 Dataplex Universal Catalog 資料歷程的問題。

專案類型

資料資產可位於不同專案。以下摘要說明可能的專案及其資產名稱。

BigQuery 儲存空間專案

這個專案會儲存 BigQuery 資料資產。你可以在資產詳細資料中找到這組 ID，位於 Table ID 的第一個點之前。

在 BigQuery UI 中，儲存空間專案名稱會顯示在「Table ID」(資料表 ID) 欄位中，完整資料表名稱的第一個點之前。
圖 1. BigQuery 儲存空間專案的名稱。

Compute 專案

這個專案會儲存資料歷程中繼資料。 如果是 BigQuery，您可以在這裡執行工作。如果您使用 Google Cloud 控制台執行工作，可以在專案選擇器中找到運算專案名稱：

在您執行 SQL 查詢的頁面上，BigQuery UI 會顯示名為「docs-compute」的運算專案。
圖 2. 執行 BigQuery 工作的運算專案名稱。

向 BigQuery API 傳送要求時，請在網址中指定運算專案，例如：

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

使用中的專案

這是您查看資料沿革的專案。 控制台的專案選取器會顯示有效專案。 Google Cloud 如果您使用 API，有效專案就是您用來發出 API 呼叫的專案。

BigQuery 使用者介面會顯示名為 source-001 的資料集資料沿革，該資料集位於名為 docs-source 的專案中。
圖 3. Google Cloud 控制台中的有效專案。

未顯示 BigQuery 資料沿襲

執行 BigQuery 作業後，發生下列問題：在這種情況下，問題可能是由下列三種情況所造成：

如果頁面底部顯示「缺少相關權限，無法擷取歷程。」訊息，表示您沒有有效專案的權限。否則您沒有運算專案的權限。

空白的沿襲圖。
圖 4. BigQuery UI 中未顯示沿襲的示例。

如要解決這個問題，請檢查運算專案是否已啟用 Data Lineage API。啟用 API 後，您需要執行工作才能查看資料歷程。 視處理的資料量和複雜度而定，資料沿襲最多可能需要 24 小時才會顯示 (一般為 30 分鐘)。

接著，請檢查有效專案是否已啟用 Data Lineage API。

啟用 Data Lineage API 後，請在作用中和 Compute 專案中，授予資料歷程檢視者角色 (roles/datalineage.viewer)。

BigQuery 程序中繼資料未顯示

開啟資料表詳細資料窗格時，會發生下列問題，導致系統無法顯示所有詳細資料，例如 SQL 陳述式或 Process type 屬性。即使資料沿襲顯示正常，仍會發生這種情況。

如果沒有權限查看運算專案中的中繼資料，就可能發生這種情況。

範例：

  • BigQuery 來源資料表：docs-source.dataset.source-001
  • BigQuery 目標資料表：docs-target.dataset.target-001
  • 運算專案中 docs-source.dataset.source-001 和 docs-target.dataset.target-001 之間的資料沿襲 docs-compute
  • 您在有效和運算 docs-compute 專案中擁有資料沿襲檢視者角色。

點選 BigQuery 程序詳細資料後， Google Cloud 控制台會顯示下列訊息：

You don't have permission to view BigQuery process metadata in project X.
在 BigQuery UI 的「沿革」分頁中，「詳細資料」窗格會顯示錯誤訊息。
圖 5. BigQuery UI 中未顯示 BigQuery 程序詳細資料的範例。

如要解決這個問題，請在運算專案中授予使用者 bigquery.jobs.get 權限 (例如包含在 BigQuery 資源檢視者角色中)。

未顯示 BigQuery 資料表詳細資料

開啟表格詳細資料窗格時，會發生下列問題，該窗格只會顯示 Fully qualified name 屬性。即使資料沿襲顯示正常，也會發生這種情況。如果您在表格的儲存空間專案中沒有所有必要權限，就可能發生這種情況。

範例：

  • BigQuery 資料表 docs-source.dataset.source-001
  • BigQuery 資料表 docs-target.dataset.target-001
  • docs-source.dataset.source-001 和 docs-target.dataset.target-001 之間的資料歷程，以及運算專案 docs-compute
  • 您擁有有效和運算 docs-compute 專案的資料沿襲檢視者角色

在本例中，當您按一下 BigQuery 節點詳細資料時，會看到訊息 Entry with this fully qualified name is not available in Dataplex Universal Catalog or you do not have permissions to view it。

未顯示 BigQuery 資料表詳細資料。
圖 6. BigQuery UI 中未顯示 BigQuery 資料表詳細資料的範例。

如要解決這個問題，請在儲存空間專案中授予 bigquery.tables.get 權限 (例如 BigQuery 資料檢視者角色中包含的權限)。