Knowledge Catalog (舊稱 Dataplex Universal Catalog) 會自動剖析 BigQuery、Google Cloud Lakehouse Iceberg REST Catalog、SAP Business Data Cloud (BDC) Delta Lake 和 Hive 資料表，讓您更輕鬆地瞭解及分析資料。
剖析就像是為資料取得詳細的健康報告。這項功能會提供重要統計資料，例如常見值、資料分布情形，以及遺漏的項目數量 (空值計數)。這項資訊可加快分析速度。
資料剖析功能會建議資料品質檢查規則，確保資料可靠。
概念模型
Knowledge Catalog 可讓您建立資料剖析掃描作業，進一步瞭解資料剖析。資料剖析掃描是一種 Knowledge Catalog 資料掃描，可分析 BigQuery、 Google Cloud Lakehouse Iceberg REST Catalog、SAP BDC Delta Lake 或 Hive 資料表，生成統計洞察資料。
下圖顯示 Knowledge Catalog 如何掃描資料，並回報統計特徵。
資料剖析掃描作業會與一個 BigQuery、 Google CloudLakehouse Iceberg REST 目錄、SAP BDC Delta Lake 或 Hive 資料表建立關聯，並掃描資料表來產生資料剖析結果。資料剖析掃描支援多種設定選項。
設定選項
本節說明執行資料剖析掃描時可用的設定選項。
剖析模式
您可以選擇下列任一剖析模式：
標準：這是預設模式。這項服務會根據您指定的取樣和篩選條件掃描資料，提供全面且可自訂的剖析結果。標準模式適合用於詳細分析及長期監控資料特性。
輕量 (預先發布版)：這個模式提供低延遲設定檔掃描，可在幾秒內傳回結果。這項服務經過最佳化，可提高速度和成本效益，支援下列用途：
- 以即時資料特徵做為 AI 代理回覆的基準
- 大規模預先產生設定檔，以符合成本效益的方式探索全球資料
- 在互動式資料探索期間快速提供健康狀態報表
輕量模式有下列限制：
- 與標準剖析模式不同，您無法修改輕量掃描的範圍、篩選器或取樣大小。
- 不支援 BigQuery 檢視表和外部資料表。
排程選項
您可以按照定義的頻率排定資料剖析掃描，或視需要執行掃描。如果掃描工作執行時間過長，您可以取消工作。
執行身分
根據預設，Knowledge Catalog 會使用集中式服務代理 (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) 執行資料剖析掃描作業。
您也可以指定自訂服務帳戶，或使用自己的使用者憑證 (EUC)，覆寫這項預設執行身分。這麼做有幾個好處：
- 最小權限原則：僅將特定資料剖析工作所需的 Identity and Access Management (IAM) 權限授予專屬服務帳戶，盡可能減少過度佈建的存取權。
- 精細的存取控管：將權限範圍限定在特定資源，以便與 BigQuery 的資料列和資料欄層級存取政策整合。
- 提升稽核能力：將自訂服務帳戶或使用者憑證指派給特定掃描作業，讓稽核記錄中的活動追蹤和記錄更清楚。
- 統一計費：使用自訂執行身分時，處理和儲存費用會直接集中在 BigQuery (不計入 Knowledge Catalog Premium SKU)。這樣一來，您就能享有 BigQuery 企業折扣和運算單元承諾使用合約。
如要瞭解如何設定自訂執行身分，請參閱「設定執行身分」。
網路需求
如要執行掃描，您必須在用於掃描的虛擬私有雲子網路上啟用Private Google Access。如未指定子網路，請確認預設子網路已啟用 Private Google Access。
範圍
如果是標準剖析掃描，您可以指定要掃描的資料範圍：
完整資料表：資料剖析掃描作業會掃描整個資料表。系統會先對整個資料表套用取樣、資料列篩選器和資料欄篩選器，再計算剖析統計資料。
增量：資料剖析掃描會掃描您指定的增量資料。在資料表中指定
Date或Timestamp欄，做為遞增值。通常，這是資料表分區的資料欄。系統會先對增量資料套用取樣、資料列篩選器和資料欄篩選器，再計算剖析統計資料。
篩選資料
如果是標準剖析掃描，您可以使用資料列篩選器和資料欄篩選器，篩選要掃描剖析的資料。使用篩選器有助於縮短執行時間、降低成本，並排除機密和不必要的資料。輕量剖析掃描不支援資料欄篩選器和資料列篩選器。
資料列篩選器：資料列篩選器可讓您著重查看特定時間範圍或特定區隔 (例如區域) 的資料。例如，您可以篩除時間戳記早於特定日期的資料。
資料欄篩選器：資料欄篩選器可讓您納入及排除資料表中的特定資料欄，以便執行資料剖析掃描。
範例資料
如果是標準剖析掃描，您可以指定要從資料中取樣的記錄百分比，以便執行資料剖析掃描。對較小的資料樣本建立資料剖析掃描，可縮短執行時間，並降低查詢整個資料集的費用。
多項資料剖析掃描作業
您可以使用 Google Cloud 控制台，一次建立多項資料剖析掃描作業。您最多可以從一個資料集選取 100 個資料表，並為每個資料集建立資料剖析掃描。詳情請參閱「建立多項資料剖析掃描作業」。
將掃描結果匯出至 BigQuery 資料表
您可以將資料剖析掃描結果匯出至 BigQuery 資料表，以便進一步分析。如要自訂報表，您可以將 BigQuery 資料表資料連結至 Looker 資訊主頁。您可以使用多項掃描作業的同一個結果資料表，建立匯總報表。
資料剖析結果
資料剖析結果包含下列值：
| 欄類型 | 資料剖析結果 |
|---|---|
| 數值資料欄 |
|
| 字串資料欄 |
|
| 其他非巢狀資料欄 (日期、時間、時間戳記、二進位等) |
|
| 所有其他巢狀或複雜資料類型欄 (例如記錄、陣列、JSON)，或任何採用重複模式的欄。 |
|
結果會顯示每項工作掃描的記錄數量。
回報與監控
您可以使用下列報表和方法，監控及分析資料剖析結果：
在 BigQuery 和 Knowledge Catalog 頁面中，與來源資料表一起發布的報表
如果設定資料剖析掃描作業，將結果發布至 BigQuery 和 Knowledge Catalog，您可以在 BigQuery 和 Knowledge Catalog 的來源資料表「資料剖析」分頁，查看最新的資料剖析掃描結果。任何專案都能存取這些結果。
歷來資料，個別工作報表
在 Knowledge Catalog 和 BigQuery 的 「Data profiling & quality」(資料剖析與品質)>「Data profile scan」(資料剖析掃描) 頁面，您可以查看最新和歷史工作的詳細報表。包括資料欄層級設定檔資訊和使用的設定。
「分析」分頁
在 Knowledge Catalog 和 BigQuery 的「Data profiling & quality」(資料剖析與品質) >「Data profile scan」(資料剖析掃描) 頁面中，您可以使用 「Analysis」(分析) 分頁，查看多個剖析工作中特定資料欄統計資料的趨勢。舉例來說，如果您有增量掃描，可以查看某個值的平均值隨時間變化的趨勢。
建立專屬資訊主頁或數據分析
如果您已設定資料剖析掃描作業，將結果匯出至 BigQuery 資料表，則可使用數據分析等工具建立自己的資訊主頁。
在 Cloud Billing 監控 DCU 運算費用
資料剖析掃描運算會在無伺服器基礎架構上執行，不會將時間序列指標傳送至 Cloud Monitoring。如要依專案、掃描 ID 或資料表追蹤及歸因資料剖析 DCU 費用，請使用
goog-dataplex-datascan-*系統標籤在 BigQuery 中查詢 Cloud Billing 匯出作業。詳情請參閱「使用 Cloud Billing 匯出功能監控及歸因 Dataplex DCU 費用」。
限制
- 您只能對 BigQuery、 Google CloudLakehouse Iceberg REST Catalog、SAP BDC Delta Lake 和 Hive 資料表執行資料剖析掃描。
- BigQuery 資料表支援資料剖析功能，但資料欄類型不得為
BIGNUMERIC。如果為含有BIGNUMERIC資料欄的資料表建立掃描作業，會導致驗證錯誤，無法成功建立。 - Lakehouse 資料表不支援多項資料剖析掃描作業。
定價
- 如要進一步瞭解定價，請參閱「Knowledge Catalog 定價」。
- 如要使用 Cloud Billing 匯出至 BigQuery 功能，追蹤及歸因資料剖析掃描 DCU 用量和費用，請參閱「使用 Cloud Billing 匯出功能監控及歸因 Dataplex DCU 費用」。
後續步驟
- 瞭解如何使用資料剖析功能。
- 如要進一步瞭解可用於建立資料剖析掃描作業的 Terraform 資源，請參閱下列內容：
- Terraform 登錄檔中的 Knowledge Catalog 資料掃描資源。
- GitHub 上的 Knowledge Catalog 資料掃描資源說明文件，支援 YAML 規則設定。
- 瞭解自動分析資料品質。
- 瞭解如何使用自動分析資料品質功能。
- 瞭解如何生成資料洞察以探索資料。