Knowledge Catalog 資料品質工作可讓您定義 YAML 規則，驗證 BigQuery 和 Cloud Storage 中的資料表，不必管理基礎架構。您可以排定檢查作業，在 BigQuery 環境中定期套用資料控制項、監控正式版管道中的資料集，以及根據監管需求製作報表。
建立 Knowledge Catalog 資料品質工作的時機
Knowledge Catalog 資料品質工作可協助您：
- 在資料產生管道中驗證資料。
- 定期監控資料集品質，確保符合預期。
- 建立資料品質報表，滿足法規要求。
優點
- 可自訂規格。您可以使用高度彈性的 YAML 語法，宣告資料品質規則。
- 無伺服器實作。Knowledge Catalog 不需要設定任何基礎架構。
- 零複製和自動下推。YAML 檢查會轉換為 SQL 並推送至 BigQuery，因此不會複製資料。
- 可排定的資料品質檢查。您可以透過 Knowledge Catalog 中的無伺服器排程器，安排資料品質檢查作業，或透過 Managed Airflow 等外部排程器使用 Dataplex API，整合管道。
- 受管理模式：Knowledge Catalog 使用開放原始碼資料品質引擎 CloudDQ 執行資料品質檢查。不過，Knowledge Catalog 提供流暢的代管體驗，可執行資料品質檢查。
資料品質任務的運作方式
下圖說明 Knowledge Catalog 資料品質工作的運作方式：
- 使用者輸入內容
- YAML 規格：一或多個 YAML 檔案，根據規格語法定義資料品質規則。YAML 檔案會儲存在專案的 Cloud Storage bucket。使用者可以同時執行多項規則，並將這些規則套用至不同的 BigQuery 資料表，包括不同資料集或 Google Cloud專案中的資料表。規格支援增量執行，僅驗證新資料。如要建立 YAML 規格，請參閱「建立規格檔案」。
- BigQuery 結果資料表：使用者指定的資料表，用於儲存資料品質驗證結果。這個資料表所在的 Google Cloud 專案，可以與使用 Knowledge Catalog 資料品質工作的專案不同。
- 要驗證的資料表
- 在 YAML 規格中，您需要指定要針對哪些規則驗證哪些資料表，這也稱為「規則繫結」。資料表可以是 BigQuery 原生資料表，也可以是 Cloud Storage 中的 BigQuery 外部資料表。YAML 規格可讓您指定 Knowledge Catalog 區域內外的資料表。
- 在單次執行中驗證的 BigQuery 和 Cloud Storage 資料表，可以屬於不同專案。
- Knowledge Catalog 資料品質工作：Knowledge Catalog 資料品質工作會使用預先建構且維護的 CloudDQ PySpark 二進位檔進行設定，並採用 YAML 規格和 BigQuery 結果資料表做為輸入內容。與其他 Knowledge Catalog 工作類似，Knowledge Catalog 資料品質工作會在無伺服器 Spark 環境中執行，將 YAML 規格轉換為 BigQuery 查詢，然後在規格檔案中定義的資料表上執行這些查詢。
定價
執行 Knowledge Catalog 資料品質工作時，系統會依據 BigQuery 和 Managed Service for Apache Spark (批次) 的用量計費。
Knowledge Catalog 資料品質工作會將規格檔案轉換為 BigQuery 查詢，並在使用者專案中執行。請參閱「BigQuery 定價」。
Knowledge Catalog 會使用 Spark 執行預先建構、由 Google 維護的開放原始碼 CloudDQ 驅動程式，將使用者規格轉換為 BigQuery 查詢。請參閱 Managed Service for Apache Spark 定價。
使用 Knowledge Catalog 整理資料，或使用 Knowledge Catalog 中的無伺服器排程器排定資料品質檢查，都不會產生費用。請參閱 Knowledge Catalog 定價。