本文將回答與 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 相關的常見問題。
如要進一步瞭解 Knowledge Catalog,請參閱「Knowledge Catalog 總覽」。
什麼是 Knowledge Catalog?
Google Knowledge Catalog 是智慧型資料治理解決方案,可管理 Google Cloud中的資料和 AI 資產。您可以透過集中式目錄,在 BigQuery、Cloud Storage、Pub/Sub 和 Spanner 等 Google Cloud 資料來源中,探索、管理及控管資料。這項服務會運用 AI 自動探索資料、豐富中繼資料,並確保資料品質。透過受管理的資料目錄,知識目錄可提供 AI 代理程式生成高品質內容所需的基礎。
什麼是 Data Catalog?
Data Catalog 是 Google Cloud中繼資料服務的原始名稱。隨著時間演進,Dataplex Universal Catalog 發展為 Knowledge Catalog,並更名為現今的名稱。
雖然「Data Catalog」一詞仍用於描述這類資料索引,但在 Google Cloud中,這個詞是指我們的舊版產品。建議所有新專案都使用 Knowledge Catalog,充分運用 AI 輔助功能和強化控管功能。
Knowledge Catalog 與 Data Catalog 有何不同?
是的,Knowledge Catalog 是 AI 輔助的資料治理平台,最終會取代現有的 Data Catalog。雖然兩者概念相似,但 Knowledge Catalog 提供多項強化功能:
AI 輔助情境:與 Data Catalog 不同,Knowledge Catalog 會使用 Gemini 自動擷取業務情境、生成自然語言說明,並提供 SQL「精確查詢」來建立 AI 代理的基礎。
支援豐富的中繼資料:Knowledge Catalog 支援更複雜的中繼資料類型,例如巢狀陣列、對應和記錄。
代理存取權:AI 代理可透過本機或遠端 MCP 伺服器,探索及適應性使用 Knowledge Catalog 工具。
資料探索:Knowledge Catalog 可從更多 Google Cloud 服務和外部資料來源自動擷取中繼資料。
大規模治理:提供強化功能,可進行資料剖析、自動提升資料品質,以及集中管理。
知識目錄的用途有哪些?
Google Knowledge Catalog 可解決「資料冷啟動」問題,也就是在實際使用資料前,浪費時間尋找、瞭解及信任資料。主要用途包括:
加快資料探索速度:不必在複雜的機構資料孤島中尋找資料,只要使用自然語言搜尋 (例如「顯示最新的客戶流失資料」),就能立即在Google Cloud 資源中找到資產,提高資料消費者的工作效率。
建立 AI 代理基準:做為生成式 AI 或 ADK 的「真相來源」。將實體資料連結至業務定義,確保 AI 代理程式 (例如以 Vertex AI 建構的代理程式) 使用高品質資料,大幅減少 AI 幻覺,並提升對 AI 生成洞察資料的信任度。
自動化資料治理:自動掃描資料以識別機密資訊 (例如 PII)、追蹤資料來源 (歷程),以及監控資料準確度 (自動資料品質)。這些功能可協助您提升資料信任度、安全性和法規遵循度,同時減少手動作業。
發掘「暗資料」:這項服務可以掃描非結構化檔案 (例如 Cloud Storage 中的 PDF 或圖片),擷取其中的資訊,並在 BigQuery 中建立索引,方便您搜尋及查詢,從先前無法存取的資料中發掘洞察資訊。
如要瞭解實際應用案例,請參閱「探索 Knowledge Catalog」。
Knowledge Catalog 會儲存哪些類型的中繼資料?
Knowledge Catalog 會儲存三種中繼資料:
技術中繼資料:自動收集的結構定義、資料表名稱和系統屬性。
業務中繼資料:使用者定義的內容,例如業務說明、詞彙表字詞和擁有權。
執行階段中繼資料:資料歷程、資料品質分數和資料剖析統計資料的相關資訊。
如何從 Data Catalog 遷移?
轉移至 Knowledge Catalog 的過程十分順暢,不需要手動移動資料。視目前的使用情況而定,這個程序主要有兩個階段:
準備階段:如果您有自訂中繼資料 (標記、標記範本或自訂項目),這些內容會自動匯入 Knowledge Catalog,並設為唯讀。在這個階段,您會執行設定工作,讓現有的 Data Catalog 內容同時在新的介面中提供。
轉移階段:準備就緒後,即可轉移中繼資料的有效狀態,在 Knowledge Catalog 中讀取及寫入中繼資料。請協調更新所有程式輔助工作負載 (API、用戶端程式庫或 Terraform 模組),指向新的 Knowledge Catalog 端點。
如果沒有自訂中繼資料,或是剛開始使用這個平台,請在 Google Cloud 控制台中將 Knowledge Catalog 設為預設 UI,即可完成轉換。
詳情請參閱「從 Data Catalog 轉移至 Knowledge Catalog」。