Knowledge Studio 簡介

Knowledge Studio (預先發布版) 可將中繼資料轉換為活躍的情境引擎,協助您提升生成式 AI 應用程式的可靠性。您可以使用 Knowledge Studio,將 AI 代理 (例如 BigQuery 和 Gemini 中的對話式數據分析) 建立在業務情境中,避免產生幻覺。

Knowledge Studio 會整合結構定義、維基和過往 SQL 查詢中的零碎知識,自動管理中繼資料。您可以使用自然語言探索資料、瀏覽連結資料資產與業務語意的視覺化背景資訊圖,以及執行自動化工作流程,草擬目錄更新內容供人工審查。接著,您可以使用 Model Context Protocol (MCP) 或 Knowledge Catalog API,將這些精選情境區塊動態提供給代理。

本文適用對象為資料架構師、管理主管和 AI 工程師,協助他們瞭解 Knowledge Studio 的運作方式。

從被動目錄到主動情境引擎

一般中繼資料目錄會儲存靜態結構定義、說明和資料字典。雖然靜態中繼資料足以讓人類資料分析師搜尋資料表,但對於需要下列項目的生成式 AI 代理來說,靜態中繼資料並不足夠:

  • 深層語意關係:瞭解資料表如何跨結構定義彙整、哪些資料欄代表重要業務指標,以及組織詞彙如何對應至基礎儲存空間。

  • 作業基準:將實際 SQL 使用模式、查詢頻率,以及實際代理提示和回覆納入背景資訊。

  • 持續自我學習:根據使用者意見回饋和代理執行成功率,自動修正資料表說明、面向和資料欄定義。

Knowledge Studio 透過全天候運作的脈絡引擎提供這些功能,持續挖掘作業信號、生成高擬真度中繼資料提案,並透過 Model Context Protocol (MCP) 或 Knowledge Catalog API,向代理提供預先格式化的脈絡區塊。

Knowledge Studio 介面

Knowledge Studio 將工作流程分為三個主要部分:

  • 新版對話:對話式介面和互動式情境圖,可使用自然語言探索、調查資料,以及驗證語意查詢。詳情請參閱「探索資料資產」。

  • 情境集:這個介面可建立及管理邏輯容器 (項目群組),用於封裝豐富的中繼資料,安全地建立下游 AI 代理的基準。詳情請參閱「管理情境集」。

  • Enrichments:控制中心,可自動生成中繼資料、設定評估基準,並透過人工介入迴路管理工作流程,審查 AI 提出的目錄更新 (變更要求)。詳情請參閱「關於擴充工作」。

實際多產品情境

Knowledge Studio 可連結資料倉儲、企業知識庫和生成式 AI 應用程式。以下情境說明 Knowledge Studio 如何在企業架構中跨多項產品運作。

在 BigQuery 中建立自然語言查詢

  • 挑戰:業務分析師在對話式數據分析中使用自然語言提問,例如「上季各區域的淨留存率為何?」。如果沒有經過整理的業務語意,模型可能會產生幻覺,誤認彙整鍵或將總預訂量誤認為淨收益。

  • Knowledge Studio 解決方案:分析師使用「New chat」(新增對話) 介面,驗證銷售暫存資料表與認證 SZBank Business Glossary 之間的關係。Knowledge Studio 會使用有效的內容圖表,為對話式數據分析提供基準,確保生成的 SQL 包含經過驗證的彙整條件和標準 KPI 公式。

充實企業標準作業程序的中繼資料

  • 挑戰:資料工程團隊在 BigQuery 中維護數十個資料集,但重要的業務規則和管道歷來記錄卻存放在外部 Confluence Wiki 或 Jira 票證中。隨著結構定義演變,目錄文件會過時。

  • Knowledge Studio 解決方案:治理主管設定針對數據分析資料集的週期性擴充工作。Knowledge Studio 會從 Confluence 擷取非結構化標準作業程序,並從 Cloud Logging 擷取歷來查詢記錄,自動建議更新的資料欄定義和資料表關係。管理員會在「Run Details」(執行作業詳細資料) 頁面中檢查建議的差異,並核准已驗證的目錄更新。

提供精選背景資訊給代理

  • 難題:AI 開發人員使用 LangChain 或 ADK 建構客戶服務或諮詢代理時,需要最新的結構定義語意,但不想硬式編碼資料庫憑證,或在提示中塞入大量資料表定義。
  • Knowledge Studio 解決方案:Knowledge Studio 會將精選中繼資料和經過驗證的彙整圖表擷取至脈絡集 (例如 entryGroups/customer-360)。如要存取脈絡,代理可透過 Model Context Protocol (MCP) 連結至 Knowledge Studio,或使用 Knowledge Catalog Catalog API。推論時,代理會查詢 MCP 端點或 Catalog API,動態擷取與使用者意圖相關的認證業務情境和範例查詢。

架構總覽

下圖說明 Knowledge Studio 元件如何與資料資產、基礎模型和消費性 AI 應用程式互動:

架構圖:上游資料來源 (BigQuery、Knowledge Catalog、Cloud Storage) 透過 Knowledge Studio 連結至下游 AI 消費者,例如 Gemini 和對話式數據分析。
架構圖:透過 Knowledge Studio 連結上游資料來源與下游 AI 消費者。

核心概念

如要有效使用 Knowledge Studio,請瞭解企業中繼資料的模型建立、封裝和管理方式。

脈絡圖

情境圖是 Knowledge Studio 的核心互動式視覺拓撲,這項服務可將資料資產 (例如 BigQuery 資料表、檢視表和湖倉) 與業務語意 (例如組織詞彙、指標公式和資料產品) 整合。在一般目錄中,資料表和相關聯的組織詞彙定義會分別儲存在不同的孤島中。在脈絡圖中,這些實體

同一個畫布上。資料分析師和工程師可以透過推論出的使用情形、資料表上的彙整條件等,以視覺化方式查看資料之間的關係,而 Gemini 則會使用圖表,為自然語言探索提供依據。詳情請參閱「在 Knowledge Studio 中探索資料資產」。

情境圖支援的資源和連結類型

情境圖支援將下列 Knowledge Catalog 資源算繪為節點或容器:

  • 資料表和檢視表:技術 BigQuery 和 Lakehouse 資料表、檢視表、資料集和目錄。
  • 資料庫和儲存空間:作業資料庫 (例如 Spanner 和 AlloyDB) 和 Cloud Storage 資源。
  • 數據分析和建模:Looker 專案和 dbt 模型、測試和曝光。
  • 詞彙字詞:組織詞彙中的個別業務定義。
  • 資料產品:精選的資料資產組合,可供跨團隊使用。
  • 背景資訊:自訂背景資訊集和附加文件。
  • 自訂資產:自訂項目群組和不支援的項目類型。

圖表會以視覺化方式呈現下列語意關係邊緣,定義這些資源的連結方式:

  • 結構定義彙整:資料表之間的結構和作業彙整關係。系統會自動掃描 BigQuery 工作,找出代表不同資料表中資料欄含義相同且可彙整的查詢。

  • 定義:將技術資料資產或資料欄對應至相應組織詞彙定義的連結。

  • 背景資訊:將專門背景資訊集或自訂網域說明文件歸因於目標資料資產的連結。

  • 套件:匯總連結,顯示哪些資料資產已綁定至特定資料產品。

項目連結

項目連結代表情境圖中的有向或無向語意邊緣。這些連結會以視覺化方式,在畫布上彙整資料資產和其他統合資源。您可以選擇篩選這些連結,找出整個資料資產中的特定關係。

項目連結可連結企業中的不同實體:

  • 定義連結:將基礎資料表資料欄直接連結至認證的組織詞彙字詞和 KPI 公式。

  • 關係連結:對應已驗證的主鍵、外鍵和多資料表彙整路徑。

  • 代理追蹤連結:將實際 AI 使用者提示與用於回答這些提示的特定資料表建立關聯。

  • 套裝方案連結:將多組資料資產加入精選資料產品。

項目連結是個別連線,用於組合情境集。在自動擴充執行期間,代理只要識別出候選彙整或未連結的字詞,就會提出新的項目連結,供管理員核准。

脈絡資料集

情境集是語意資訊和資料資產參照的有界容器。每個情境集都會實作為專門的項目群組 (type="context-set")。

情境集會建立密封的執行邊界,防止代理在整個企業目錄中執行開放式搜尋。這個方法可減少幻覺和權杖消耗量。

如要瞭解情境集與相關建構 (例如資料產品和語意情境圖) 的差異,或詳細的架構功能、類別、命名空間和代理諮詢模式,請參閱「情境集總覽」。

資料充實工作和執行作業

Knowledge Studio 中的自動化中繼資料強化功能分為強化工作、強化工作和強化執行作業。

  • 擴充工作:定義擴充代理如何分析指定資料資產集的永久設定。充實工作會指定目標脈絡資料集、脈絡輸入來源和評估基準。

  • 擴充工作:Knowledge Studio 中執行擴充工作的後端自動化調度管理程序。

  • 擴充執行作業:單一時間點的工作執行個體。每次執行時,系統都會檢查目標資產、擷取語意信號,並產生變更要求 (提案),供資料監管者審查。

如要進一步瞭解擴充工作流程,請參閱「關於擴充工作」。

內容圖表與資料歷程的比較

瞭解 Knowledge Studio 情境圖和 Knowledge Catalog 資料歷程之間的差異,是選擇合適工具的關鍵。

  • 資料歷程會追蹤資料的作業移動和基礎轉換。歷程可回答以下問題:這項資料來自何處?哪個 ETL 管道填入這個資料表?如果這個上游結構定義有所變更,哪些下游資訊主頁會中斷?節點代表基礎資產和轉換工作 (例如 Dataflow 管道或 BigQuery 工作),有向邊則代表基礎資料流程。

  • 脈絡圖會建立業務語意、關係和領域知識的模型。情境圖表可回答以下問題:這個資料欄在業務上代表什麼意義?這兩個資料表在概念上有何關聯?AI 代理應如何彙整這些資產來回答問題?節點代表基礎資產和概念實體 (例如詞彙字詞、KPI 公式和資料產品),邊緣則代表語意連結 (例如欄與詞彙定義連結,以及經驗證的彙整條件)。

如要進一步瞭解管道追蹤功能,請參閱「 Knowledge Catalog 資料歷程」。

企業級安全防護和治理機制

Knowledge Studio 採用企業級安全架構,專為嚴格控管的環境設計。

  • 使用者自行管理的執行身分:擴充工作會使用使用者自行管理的服務帳戶執行,這是您在專案中建立及管理的身分,可讓服務代表您執行操作。Dataplex 服務代理 (P4SA) 會使用服務帳戶權杖建立者角色 (roles/iam.serviceAccountTokenCreator) 模擬這個服務帳戶,產生短期 OAuth 2.0 憑證。產生這些短期憑證可限制存取權杖的效期,相較於使用長期服務帳戶金鑰,可大幅降低憑證外洩的風險。

  • 第三方驗證:連線至遠端 SaaS 知識來源 (例如 Microsoft SharePoint、Atlassian Confluence、Jira 和 GitHub) 時,會使用Google Cloud的 Agent Identity 驗證管理工具,確保操作人員不會處理原始用戶端密鑰。

如要瞭解如何設定這些安全防護功能,請參閱「設定擴充功能必要條件」。

限制

  • Assured Workloads 法規遵循機制 (包括 FedRAMP、CJIS、IL4/IL5 和《健康保險流通與責任法案》)。

  • 資料落地 (DRZ) 承諾。這項功能處理的資料,可能會在您嚴格設定的地理邊界外儲存或處理。

  • 客戶自行管理的加密金鑰 (CMEK)。這項功能儲存或處理的資料,會使用 Google 擁有和Google-owned and Google-managed encryption keys加密,而非您的 Cloud Key Management Service 或 Cloud EKM 金鑰。

  • VPC Service Controls。不支援 VPC Service Controls。

  • 資料存取透明化控管機制 (AXT) 通知和存取權核准控制項。Google 人員為支援或維護這項預先發布版功能而採取的動作,不會記錄在資料存取透明化控管機制的 Cloud Access Ledger (CAL) 中。

在預先發布版期間,Knowledge Studio 須遵守下列額外限制:

  • 情境集區域範圍:不支援連結至區域資料資產的全域情境集。情境組合必須與所含素材資源的區域邊界一致。

  • 以控制台為主的管理方式:擴充工作和探索工作階段是透過 Google Cloud 控制台管理。預先發布版不提供用於管理工作的直接 REST API 和 gcloud CLI 指令。不過,下游代理可使用 Knowledge Catalog Catalog API (ListEntries、LookupEntry) 和 Model Context Protocol (MCP),以程式輔助方式探索及查詢精選情境集。

  • 集中管理:所有中繼資料的審查和核准作業,都會在「Enrichment run details」(擴充執行詳細資料) 頁面中進行。

  • 無獨立計費 SKU:Knowledge Studio 不會推出獨立的產品 SKU。使用費反映基礎資源 ( Gemini 推論引擎、BigQuery 和 Cloud Storage) 的標準用量。

後續步驟

工作

使用 Knowledge Studio 的視覺化畫布與資料對話,並追蹤語意關係。

概念

瞭解主動情境如何轉換被動中繼資料,為 AI 代理提供依據並避免幻覺。

概念

瞭解 Knowledge Studio 的封裝情境容器,安全地為下游 AI 代理提供基準。

概念

瞭解如何設定 AI 導向的中繼資料擷取工作流程,自動建立資料情境。

教學課程

建立組織詞彙、定義自訂切面類型,並在 BigQuery 中充實資產。

AI 整合

使用 Model Context Protocol,將 AI 代理和開發人員工具連結至 Knowledge Catalog。