解決方案總覽
Google Cloud Cortex Framework 提供解決方案加速器，協助您建構值得信賴的高品質資料產品，以利進行進階分析和代理式用途。這個架構使用 Google Cloud的產品，包括 BigQuery、Dataform、Knowledge Catalog 和 Gemini Enterprise Agent Platform。
Cortex Framework 解決方案加速器是可自訂的開放原始碼模組，您可以在自己的 Google Cloud 環境中安全部署，從企業來源系統快速建構、自訂及擴充資料產品。
Cortex Framework 可簡化團隊建構、協調及部署的方式，縮短價值實現時間，並提供高保真度的基礎，用於值得信賴的企業分析和代理用途。
支援的資料來源
Cortex Framework 解決方案加速器適用於下列資料來源：
重要元件
Cortex Framework 包含下列高階解決方案元件：
建構和部署架構
建構和部署架構會協調從本機設定到 Dataform 管道、有效 BigQuery 資料集的轉換作業，並使用標準 Python 工具 (uv) 執行的指令列介面 (CLI) 指令碼 (cortex-build、cortex-deploy、cortex-build-and-deploy) 執行。
您可以在各種環境中執行這些指令碼：
- 本機開發機器：用於初始設定、自訂、測試和偵錯。
- Google Cloud Cloud Shell / 虛擬工作站：安全無虞的雲端代管開發人員環境。
- CI/CD 管道：透過 Cloud Build 或 GitHub Actions 等系統自動執行建構和部署作業，確保持續整合。
這個框架會編譯設定檔 (例如 config.yaml 和 table_settings.yaml)，分析來源資料資產的結構定義 (包括自訂資料欄)，並動態產生 Dataform JavaScript 和 SQLX 程式碼。接著，程式碼會推送至 Google Cloud 中的 Dataform 存放區，並立即準備好執行管道。
資料模組
資料模組提供建構和部署架構，以及定義 Dataform 資料管道結構和元件的封裝解決方案中繼資料。模組類型包括：
- 資料基礎模組：定義代表原始營運資料表最新狀態的資料集。這些函式會將資料類型標準化、將資料欄位重新命名為易於解讀的業務用語、處理資料變更，以及執行時區對齊作業。
- 資料產品模組：定義以資料基礎模組內容為基礎建構的分析模型。他們會導入複雜的業務規則、KPI、匯總和跨功能聯結 (例如將銷售記錄與貨幣匯率合併)，以公開可供使用的乾淨資料集。
- 資料目錄模組：定義外部 Lakehouse 目錄，支援外部表格參照，不需實體資訊清單。
這些模組為開放原始碼，可供自訂，因此您可根據獨特的業務需求進行調整。
外部資料目錄
Cortex Framework 支援使用資料目錄模組，直接整合外部資料目錄。使用 Lakehouse 執行階段目錄，架構就能查詢外部資料湖或 Delta Share 中管理的資料表 (例如使用 SAP Business Data Cloud Connect for BigQuery 取得的資料產品)，完全不會產生複製負擔。
這樣一來，機構就能將 Cortex Framework 提供的內容與外部資料產品結合，建立統一的業務洞察資料，不必重複儲存或維護管道。
Dataform 自動化調度管理
Cortex Framework 會使用 Dataform 管理資料轉換的生命週期。Dataform 提供無伺服器環境，可在 BigQuery 中建構、測試、版本管控及排定複雜的 SQL 管道。
架構會在建構階段動態生成 Dataform 程式碼，反映您的特定設定和自訂項目，而非撰寫靜態 SQL。暫存至目標 Dataform 存放區後 Google Cloud，您就可以執行產生的管道，具體化並填入已調整的資料表和檢視區塊。
BigQuery 資料模型
Cortex Framework 處理的所有資料都會整理並儲存在 BigQuery 中。這個架構支援：
- 標準 BigQuery 資料表和檢視區塊：經過完整具體化或虛擬化的 BigQuery 資料集，已透過分區和分群功能最佳化，可提升查詢效能並控管成本。
- 聯合資料來源：查詢範圍涵蓋外部資料集，可讓您將 BigQuery 儲存空間與聯合外部資料表聯結。
- Lakehouse 執行階段目錄：直接查詢以 BigQuery 資料表形式公開的外部目錄 (例如 Delta Sharing)，無需複製資料，支援跨資料來源建構資料產品。
Knowledge Catalog 整合功能
Knowledge Catalog 可做為統一的治理和探索目錄，適用於整個企業的所有資料資產。Cortex Framework 會使用專屬的同步工具 cortex-kc-sync，與 Knowledge Catalog 原生整合。
執行這項工具時，系統會自動在目錄中註冊已部署的資料產品，並匯入可供人閱讀的名稱、詳細的業務說明和文件連結。這項功能可將實體 BigQuery 資料表連結至邏輯業務網域，讓業務分析師、資料監管人員和 AI 代理都能探索資料資產，同時確保健全的歷程追蹤。詳情請參閱「整合 Knowledge Catalog」。
資料架構
Cortex Framework 可在 BigQuery 中標準化資料處理作業。這項架構會整理成三個不同的結構化資料層，符合企業資料網格原則，可明確劃分擁有權、提高重複使用率，並嚴格區隔資料層。
來源系統
來源系統是業務資料的來源。這些來源包括各種企業應用程式、資料庫或平台，可從中擷取資料。如需支援來源的完整清單，請參閱「支援的資料來源」。
原始圖層
原始層代表 BigQuery 中不可變動的登陸區資料集，用於存放來源資料，包括變更資料擷取 (CDC) 記錄或經 CDC 處理的批次資料。雖然這類資料集通常會儲存 CDC 記錄 (例如使用 BigQuery Connector for SAP 或 BigQuery Toolkit for SAP 等複製工具，從 SAP ECC 或 S/4HANA 擷取的記錄)，但設計上可代表任何原始格式。對於未提供 CDC 記錄的來源 (例如 Salesforce 或外部 API 饋給)，這個層級會完整擷取批次資料，或以原始事件酬載的形式呈現。這個層級會提供資料基礎層。
資料基礎層
資料基礎層會清理、標準化及調整原始登陸資料，成為最新來源資料的單一可靠代表。這項服務會將原始資料表對應至符合規範的結構、標準化資料型別、透過分區和分群功能提升效能、整合結構定義以確保一致性，並使用中繼資料註解擴增資產。如果是變更資料擷取 (CDC) 來源，這個層會逐步合併傳入的記錄，以提升效能並降低查詢費用。詳情請參閱「資料基礎」。
資料產品層
資料產品層包含可直接使用的資料資產，專為業務決策而設計。這項功能會套用商業邏輯、將複雜的系統欄位重新命名為人類可讀的商業字詞、翻譯狀態碼、調整時區和幣別、匯總指標，以及合併多個原始資料表中的資料。產生的資料表和檢視畫面經過最佳化處理，可直接供 BI 資訊主頁、報表工具、機器學習管道，以及 Gemini Enterprise Agent Platform 和 BigQuery 對話式數據分析代理程式等 AI 平台使用。詳情請參閱「資料產品」。
擴充解決方案
Cortex Framework 結合了以設定為基礎的彈性和 AI 輔助自動化功能，可簡化擴充資料環境的方式。無論是使用自主式 AI 程式開發輔助工具建構自訂資料表，還是為新資料來源編寫自訂編譯邏輯，這個框架都能提供必要的工具、隔離和安全閘道，協助您安全地擴展資料產品。
擴充性架構
擴充性架構提供結構化方法，可自訂資料基礎並建構新的資料產品。主要功能如下所示：
- 自訂命名空間：在自訂目錄 (例如
src/data_modules/custom_namespace/) 中隔離變更，避免在更新核心架構套件時，自訂項目遭到覆寫。 - 以程式碼形式設定：直接在全域
config/config.yaml設定檔中註冊新的資料來源、目標和自訂模組。 - 自訂編譯建構工具：在模組中實作自訂 Python 建構工具類別 (
builder.py)，在編譯階段自動產生動態 SQL、自訂清理規則，或來源專屬的轉換。
詳情請參閱擴充性指南。
AI 代理資料產品建構工具
為協助開發人員和業務分析師擴充架構，Cortex Framework 提供封裝技能。這些技能會引導 AI 程式碼助理 (例如搭配 Gemini 的 Antigravity) 執行下列操作：
- 檢查實體結構定義：直接從複製的 SAP 資料字典 (DDIC) 資料表擷取準確的資料欄名稱、類型和說明，不會產生幻覺。
- 產生範本模組：自動產生命名空間、資訊清單、表格設定、SQLX/JS 模型和註解。
- 驗證變更：執行 Lint 規則、命名稽核和編譯檢查，在部署前提升程式碼品質。
詳情請參閱「代理能力」。
後續步驟
準備好建構及部署了嗎？請參閱下列指南，瞭解如何設定及執行環境：
- 資料產品：探索可用資料產品的目錄。
- 資料基礎：瞭解基礎資料表和欄位。
- 部署示範：在幾分鐘內部署含有示範資料的解決方案內容，快速瞭解 Cortex Framework 的運作方式。
- 正式部署：按照逐步說明，為企業資料設定及部署 Cortex Framework。