Knowledge Studio (預先發布版) 可將中繼資料轉換為活躍的情境引擎,協助您提升生成式 AI 應用程式的可靠性。您可以使用 Knowledge Studio,將 AI 代理 (例如 BigQuery 和 Gemini 中的對話式數據分析) 建立在業務情境中,避免產生幻覺。
Knowledge Studio 會整合結構定義、維基和過往 SQL 查詢中的零碎知識,自動管理中繼資料。您可以使用自然語言探索資料、瀏覽連結資料資產與業務語意的視覺化背景資訊圖,以及執行自動化工作流程,草擬目錄更新內容供人工審查。接著,您可以使用 Model Context Protocol (MCP) 或 Knowledge Catalog API,將這些精選情境區塊動態提供給代理。
本文適用對象為資料架構師、管理主管和 AI 工程師,協助他們瞭解 Knowledge Studio 的運作方式。
從被動目錄到主動情境引擎
一般中繼資料目錄會儲存靜態結構定義、說明和資料字典。雖然靜態中繼資料足以讓人類資料分析師搜尋資料表,但對於需要下列項目的生成式 AI 代理來說,靜態中繼資料並不足夠:
深層語意關係:瞭解資料表如何跨結構定義彙整、哪些資料欄代表重要業務指標,以及組織詞彙如何對應至基礎儲存空間。
作業基準:將實際 SQL 使用模式、查詢頻率,以及實際代理提示和回覆納入背景資訊。
持續自我學習:根據使用者意見回饋和代理執行成功率,自動修正資料表說明、面向和資料欄定義。
Knowledge Studio 透過全天候運作的脈絡引擎提供這些功能,持續挖掘作業信號、生成高擬真度中繼資料提案,並透過 Model Context Protocol (MCP) 或 Knowledge Catalog API,向代理提供預先格式化的脈絡區塊。
Knowledge Studio 介面
Knowledge Studio 將工作流程分為三個主要部分:
新版對話:對話式介面和互動式情境圖,可使用自然語言探索、調查資料,以及驗證語意查詢。詳情請參閱「探索資料資產」。
情境集:這個介面可建立及管理邏輯容器 (項目群組),用於封裝豐富的中繼資料,安全地建立下游 AI 代理的基準。詳情請參閱「管理情境集」。
Enrichments:控制中心,可自動生成中繼資料、設定評估基準,並透過人工介入迴路管理工作流程,審查 AI 提出的目錄更新 (變更要求)。詳情請參閱「關於擴充工作」。
實際多產品情境
Knowledge Studio 可連結資料倉儲、企業知識庫和生成式 AI 應用程式。以下情境說明 Knowledge Studio 如何在企業架構中跨多項產品運作。
在 BigQuery 中建立自然語言查詢
挑戰:業務分析師在對話式數據分析中使用自然語言提問,例如「上季各區域的淨留存率為何?」。如果沒有經過整理的業務語意,模型可能會產生幻覺,誤認彙整鍵或將總預訂量誤認為淨收益。
Knowledge Studio 解決方案:分析師使用「New chat」(新增對話) 介面,驗證銷售暫存資料表與認證
SZBank Business Glossary之間的關係。Knowledge Studio 會使用有效的內容圖表,為對話式數據分析提供基準,確保生成的 SQL 包含經過驗證的彙整條件和標準 KPI 公式。
充實企業標準作業程序的中繼資料
挑戰:資料工程團隊在 BigQuery 中維護數十個資料集,但重要的業務規則和管道歷來記錄卻存放在外部 Confluence Wiki 或 Jira 票證中。隨著結構定義演變,目錄文件會過時。
Knowledge Studio 解決方案:治理主管設定針對數據分析資料集的週期性擴充工作。Knowledge Studio 會從 Confluence 擷取非結構化標準作業程序,並從 Cloud Logging 擷取歷來查詢記錄,自動建議更新的資料欄定義和資料表關係。管理員會在「Run Details」(執行作業詳細資料) 頁面中檢查建議的差異,並核准已驗證的目錄更新。
提供精選背景資訊給代理
- 難題:AI 開發人員使用 LangChain 或 ADK 建構客戶服務或諮詢代理時,需要最新的結構定義語意,但不想硬式編碼資料庫憑證,或在提示中塞入大量資料表定義。
- Knowledge Studio 解決方案:Knowledge Studio 會將精選中繼資料和經過驗證的彙整圖表擷取至脈絡集 (例如
entryGroups/customer-360)。如要存取脈絡,代理可透過 Model Context Protocol (MCP) 連結至 Knowledge Studio,或使用 Knowledge Catalog Catalog API。推論時,代理會查詢 MCP 端點或 Catalog API,動態擷取與使用者意圖相關的認證業務情境和範例查詢。
架構總覽
下圖說明 Knowledge Studio 元件如何與資料資產、基礎模型和消費性 AI 應用程式互動:
核心概念
如要有效使用 Knowledge Studio,請瞭解企業中繼資料的模型建立、封裝和管理方式。
脈絡圖
情境圖是 Knowledge Studio 的核心互動式視覺拓撲,這項服務可將資料資產 (例如 BigQuery 資料表、檢視表和湖倉) 與業務語意 (例如組織詞彙、指標公式和資料產品) 整合。在一般目錄中,資料表和相關聯的組織詞彙定義會分別儲存在不同的孤島中。在脈絡圖中,這些實體
同一個畫布上。資料分析師和工程師可以透過推論出的使用情形、資料表上的彙整條件等,以視覺化方式查看資料之間的關係,而 Gemini 則會使用圖表,為自然語言探索提供依據。詳情請參閱「在 Knowledge Studio 中探索資料資產」。
情境圖支援的資源和連結類型
情境圖支援將下列 Knowledge Catalog 資源算繪為節點或容器:
- 資料表和檢視表:技術 BigQuery 和 Lakehouse 資料表、檢視表、資料集和目錄。
- 資料庫和儲存空間:作業資料庫 (例如 Spanner 和 AlloyDB) 和 Cloud Storage 資源。
- 數據分析和建模:Looker 專案和 dbt 模型、測試和曝光。
- 詞彙字詞:組織詞彙中的個別業務定義。
- 資料產品:精選的資料資產組合,可供跨團隊使用。
- 背景資訊:自訂背景資訊集和附加文件。
- 自訂資產:自訂項目群組和不支援的項目類型。
圖表會以視覺化方式呈現下列語意關係邊緣,定義這些資源的連結方式:
結構定義彙整:資料表之間的結構和作業彙整關係。系統會自動掃描 BigQuery 工作,找出代表不同資料表中資料欄含義相同且可彙整的查詢。
定義:將技術資料資產或資料欄對應至相應組織詞彙定義的連結。
背景資訊:將專門背景資訊集或自訂網域說明文件歸因於目標資料資產的連結。
套件:匯總連結,顯示哪些資料資產已綁定至特定資料產品。
項目連結
項目連結代表情境圖中的有向或無向語意邊緣。這些連結會以視覺化方式,在畫布上彙整資料資產和其他統合資源。您可以選擇篩選這些連結,找出整個資料資產中的特定關係。
項目連結可連結企業中的不同實體:
定義連結:將基礎資料表資料欄直接連結至認證的組織詞彙字詞和 KPI 公式。
關係連結:對應已驗證的主鍵、外鍵和多資料表彙整路徑。
代理追蹤連結:將實際 AI 使用者提示與用於回答這些提示的特定資料表建立關聯。
套裝方案連結:將多組資料資產加入精選資料產品。
項目連結是個別連線,用於組合情境集。在自動擴充執行期間,代理只要識別出候選彙整或未連結的字詞,就會提出新的項目連結,供管理員核准。
脈絡資料集
情境集是語意資訊和資料資產參照的有界容器。每個情境集都會實作為專門的項目群組 (type="context-set")。
情境集會建立密封的執行邊界,防止代理在整個企業目錄中執行開放式搜尋。這個方法可減少幻覺和權杖消耗量。
如要瞭解情境集與相關建構 (例如資料產品和語意情境圖) 的差異,或詳細的架構功能、類別、命名空間和代理諮詢模式,請參閱「情境集總覽」。
資料充實工作和執行作業
Knowledge Studio 中的自動化中繼資料強化功能分為強化工作、強化工作和強化執行作業。
擴充工作:定義擴充代理如何分析指定資料資產集的永久設定。充實工作會指定目標脈絡資料集、脈絡輸入來源和評估基準。
擴充工作:Knowledge Studio 中執行擴充工作的後端自動化調度管理程序。
擴充執行作業:單一時間點的工作執行個體。每次執行時,系統都會檢查目標資產、擷取語意信號,並產生變更要求 (提案),供資料監管者審查。
如要進一步瞭解擴充工作流程,請參閱「關於擴充工作」。
內容圖表與資料歷程的比較
瞭解 Knowledge Studio 情境圖和 Knowledge Catalog 資料歷程之間的差異,是選擇合適工具的關鍵。
資料歷程會追蹤資料的作業移動和基礎轉換。歷程可回答以下問題:這項資料來自何處?哪個 ETL 管道填入這個資料表?如果這個上游結構定義有所變更,哪些下游資訊主頁會中斷?節點代表基礎資產和轉換工作 (例如 Dataflow 管道或 BigQuery 工作),有向邊則代表基礎資料流程。
脈絡圖會建立業務語意、關係和領域知識的模型。情境圖表可回答以下問題:這個資料欄在業務上代表什麼意義?這兩個資料表在概念上有何關聯?AI 代理應如何彙整這些資產來回答問題?節點代表基礎資產和概念實體 (例如詞彙字詞、KPI 公式和資料產品),邊緣則代表語意連結 (例如欄與詞彙定義連結,以及經驗證的彙整條件)。
如要進一步瞭解管道追蹤功能,請參閱「 Knowledge Catalog 資料歷程」。
企業級安全防護和治理機制
Knowledge Studio 採用企業級安全架構,專為嚴格控管的環境設計。
使用者自行管理的執行身分:擴充工作會使用使用者自行管理的服務帳戶執行,這是您在專案中建立及管理的身分,可讓服務代表您執行操作。Dataplex 服務代理 (P4SA) 會使用服務帳戶權杖建立者角色 (
roles/iam.serviceAccountTokenCreator) 模擬這個服務帳戶,產生短期 OAuth 2.0 憑證。產生這些短期憑證可限制存取權杖的效期,相較於使用長期服務帳戶金鑰,可大幅降低憑證外洩的風險。第三方驗證:連線至遠端 SaaS 知識來源 (例如 Microsoft SharePoint、Atlassian Confluence、Jira 和 GitHub) 時,會使用Google Cloud的 Agent Identity 驗證管理工具,確保操作人員不會處理原始用戶端密鑰。
如要瞭解如何設定這些安全防護功能,請參閱「設定擴充功能必要條件」。
限制
Assured Workloads 法規遵循機制 (包括 FedRAMP、CJIS、IL4/IL5 和《健康保險流通與責任法案》)。
資料落地 (DRZ) 承諾。這項功能處理的資料,可能會在您嚴格設定的地理邊界外儲存或處理。
客戶自行管理的加密金鑰 (CMEK)。這項功能儲存或處理的資料,會使用 Google 擁有和Google-owned and Google-managed encryption keys加密,而非您的 Cloud Key Management Service 或 Cloud EKM 金鑰。
VPC Service Controls。不支援 VPC Service Controls。
資料存取透明化控管機制 (AXT) 通知和存取權核准控制項。Google 人員為支援或維護這項預先發布版功能而採取的動作,不會記錄在資料存取透明化控管機制的 Cloud Access Ledger (CAL) 中。
在預先發布版期間,Knowledge Studio 須遵守下列額外限制:
情境集區域範圍:不支援連結至區域資料資產的全域情境集。情境組合必須與所含素材資源的區域邊界一致。
以控制台為主的管理方式:擴充工作和探索工作階段是透過 Google Cloud 控制台管理。預先發布版不提供用於管理工作的直接 REST API 和
gcloudCLI 指令。不過,下游代理可使用 Knowledge Catalog Catalog API (ListEntries、LookupEntry) 和 Model Context Protocol (MCP),以程式輔助方式探索及查詢精選情境集。集中管理:所有中繼資料的審查和核准作業,都會在「Enrichment run details」(擴充執行詳細資料) 頁面中進行。
無獨立計費 SKU:Knowledge Studio 不會推出獨立的產品 SKU。使用費反映基礎資源 ( Gemini 推論引擎、BigQuery 和 Cloud Storage) 的標準用量。