關於資料剖析

Knowledge Catalog (前身為 Dataplex Universal Catalog) 會自動剖析 BigQuery 表格，方便您瞭解及分析資料。

剖析就像是取得資料的詳細健康報告，這項功能會提供重要統計資料，例如常見值、資料分布情形，以及缺少多少項目 (空值計數)。這項資訊可加快分析速度。

資料剖析功能會自動偵測機密資訊，並讓您設定存取控管政策。並建議資料品質檢查規則，確保資料保持可靠。

概念模型

您可以建立資料剖析掃描，進一步瞭解資料的剖析。資料剖析掃描是 知識目錄資料掃描的一種，可分析 BigQuery 資料表，產生統計洞察資料。

下圖顯示知識目錄如何掃描資料，並回報統計特徵。

資料剖析掃描作業會與一個 BigQuery 資料表建立關聯，並掃描該資料表以產生資料剖析結果。資料剖析掃描支援多種設定選項。

注意： 知識目錄會在 Google 租戶專案中掃描資源，因此您不需要自行設定基礎架構。

設定選項

本節說明執行資料剖析掃描時可用的設定選項。

剖析模式

您可以選擇下列其中一種剖析模式：

• 標準：這是預設模式。系統會根據您指定的取樣和篩選器掃描資料，提供全面且可自訂的設定檔。標準模式適用於詳細分析及長期監控資料特徵。

• 輕巧 (預覽)：這個模式提供低延遲設定檔掃描，可在幾秒內傳回結果。這項服務經過最佳化，可提供快速且符合成本效益的解決方案，支援下列用途：

  • 以即時資料特徵做為 AI 代理回覆的依據
  • 以具成本效益的方式大規模預先產生設定檔，以利全球資料探索
  • 在互動式資料探索期間提供快速健康報告

  輕量模式有下列限制：

  • 與標準剖析模式不同，您無法在輕量掃描中修改範圍、篩選器或取樣大小。
  • 不支援 BigQuery 檢視表和外部資料表。

排程選項

您可以排定資料剖析掃描的執行頻率，也可以視需要執行掃描。

執行身分

根據預設，Knowledge Catalog 會使用集中式服務代理程式 ([e-mail]) 執行資料剖析掃描。

您也可以指定自訂服務帳戶 (自備服務帳戶) 或使用自己的使用者憑證 (EUC)，覆寫這個預設執行身分。這麼做有幾個好處：

• 最小權限原則：僅將特定資料剖析工作所需的確切 IAM 權限授予專屬服務帳戶，盡量減少過度佈建的存取權。
• 精細的存取控管：將權限範圍限定在特定資源，以便與 BigQuery 中的資料列層級和資料欄層級存取政策整合。
• 提升稽核能力：將自訂服務帳戶或使用者憑證指派給特定掃描作業，讓稽核記錄中的活動追蹤和記錄更加清楚。
• 帳單整合：使用自訂執行身分時，處理和儲存費用會直接集中在 BigQuery 下方 (略過 Knowledge Catalog Premium SKU)。這樣一來，您就能享有 BigQuery 企業折扣和運算單元使用承諾。

如需如何設定自訂執行身分的操作說明，請參閱「設定執行身分」。

範圍

如果是 標準剖析掃描，您可以指定要掃描的資料範圍：

• 完整資料表：資料剖析掃描會掃描整個資料表。系統會先對整個資料表套用抽樣、資料列篩選器和資料欄篩選器， 再計算剖析統計資料。

• 增量：在資料剖析掃描中掃描您指定的增量資料。在表格中指定要當做增量的 Date 或 Timestamp 資料欄。通常這是指資料表的分區依據資料欄。系統會先對遞增資料套用抽樣、資料列篩選器和資料欄篩選器，再計算剖析統計資料。

篩選資料

如果是標準剖析掃描，您可以使用資料列篩選器和資料欄篩選器，篩選要剖析的資料。使用篩選器有助於縮短執行時間、降低成本，並排除私密和無用的資料。輕量剖析掃描不支援資料欄篩選器和資料列篩選器。

• 資料列篩選器：資料列篩選器可讓您著重於特定時間範圍或特定區隔 (例如區域) 的資料。舉例來說，您可以篩除特定日期之前的時間戳記資料。

• 資料欄篩選器：您可以使用資料欄篩選器，在表格中加入及排除特定資料欄，以執行資料剖析掃描。

範例資料

如果是標準剖析掃描，您可以指定要從資料中取樣的記錄百分比，以執行資料剖析掃描。在較小的資料樣本上建立資料設定檔掃描，可縮短查詢整個資料集的執行時間並降低成本。

多項資料剖析掃描作業

您可以使用 Google Cloud 控制台，一次建立多項資料剖析掃描作業。您可以從一個資料集選取最多 100 個資料表，並為每個資料集建立資料剖析掃描。詳情請參閱「建立多項資料剖析掃描作業」。

將掃描結果匯出至 BigQuery 資料表

您可以將資料剖析掃描結果匯出至 BigQuery 資料表，以供進一步分析。如要自訂報表，您可以將 BigQuery 資料表資料連結至 Looker 資訊主頁。您可以對多項掃描作業使用相同的結果資料表，藉此建立匯總報表。

資料剖析結果

資料剖析結果包含下列值：

資料欄類型	資料剖析結果
數值資料欄	空值百分比。 不重複 (相異) 值的近似百分比。 資料欄中最常見的 10 個值。如果資料欄中的不重複值數量少於 10 個 (不含空值)，則此值可能小於 10。系統會顯示每個最常見值在目前掃描中出現的百分比。 平均值、標準差、最小值、近似下四分位數、近似中位數、近似上四分位數和最大值。
字串資料欄	空值百分比。 不重複 (相異) 值的近似百分比。 欄中最常見的 10 個值 (如果欄中的唯一值少於 10 個，則會顯示少於 10 個值)。 字串的平均長度、最短長度和最長長度。
其他非巢狀資料欄 (日期、時間、時間戳記、二進位等)	空值百分比。 不重複 (相異) 值的近似百分比。 欄中最常見的 10 個值 (如果欄中的唯一值少於 10 個，則會顯示少於 10 個值)。
所有其他巢狀或複雜資料類型資料欄 (例如記錄、陣列、JSON)，或任何具有重複模式的資料欄。	空值百分比。

結果會顯示每個工作中掃描的記錄數。

注意： 為提升效能，近似值可能與實際值相差 1 到 2%。

回報與監控

您可以透過下列報表和方法，監控及分析資料剖析結果：

• 在 BigQuery 和知識目錄頁面中，使用來源資料表發布的報表

  如果您將資料剖析掃描作業設定為將結果發布至 BigQuery 和 Knowledge Catalog，即可在 BigQuery 和 Knowledge Catalog 中，透過來源資料表的「資料剖析檔」分頁，查看最新的資料剖析掃描結果。任何專案都能存取這些結果。

  

• 歷來資料，按工作劃分報表

  在 Knowledge Catalog 和 BigQuery 的「Data profiling & quality」(資料剖析與品質) >「Data profile scan」(資料剖析掃描) 頁面中，您可以查看最新和歷來工作的詳細報表。包括欄層級的設定檔資訊和所用的設定。

  

• 「分析」分頁

  在 Knowledge Catalog 和 BigQuery 的「資料剖析和品質」>「資料剖析掃描」頁面中，您可以使用「分析」分頁，查看多個剖析工作中的資料欄特定統計資料趨勢。舉例來說，如果您有增量掃描，可以查看一段時間內值的平均趨勢。

  

• 建立專屬資訊主頁或數據分析

  如果您已設定資料剖析掃描作業，將結果匯出至 BigQuery 資料表，即可使用 Looker Studio 等工具建構自己的資訊主頁。

限制

• 資料剖析作業支援所有欄類型 (BIGNUMERIC 除外) 的 BigQuery 資料表。為含有 BIGNUMERIC 資料欄的表格建立掃描時，會發生驗證錯誤，且無法順利建立。

定價

如要進一步瞭解定價，請參閱「知識目錄定價」。

後續步驟

• 瞭解如何使用資料剖析功能。
• 如要進一步瞭解可用於建立資料剖析掃描作業的 Terraform 資源，請參閱下列文章：
  • Terraform 登錄檔中的 Dataplex 資料掃描資源。
  • GitHub 上的 Dataplex 資料掃描資源說明文件，支援以 YAML 為基礎的規則設定。
• 瞭解自動分析資料品質。
• 瞭解如何使用自動分析資料品質。
• 瞭解如何生成資料洞察以探索資料。