資料基礎
Cortex Framework 資料基礎層是來源資料最新記錄的標準化乾淨呈現方式,並會提供給資料產品層。對於啟用 CDC 的來源,這個層會以遞增方式更新,並針對未啟用 CDC 的來源和外部實作的 CDC 來源使用檢視區塊。實作方式會配合來源系統的功能調整:
適用於已啟用 CDC 的來源 (Cortex Framework 管理的 CDC):專屬的 Dataform 管道會逐步處理原始層記錄,並持續更新「目前狀態」資料表。資料基礎層會將這些漸進式變更轉換為代表來源系統資料集目前狀態的資料列,為資料產品、下游數據分析和 AI 代理提供支援。
除了 CDC 處理作業,彈性架構還可略過內建的 CDC 處理作業,並將其他已建立的 CDC 管道直接連線至基礎層。
適用於未啟用 CDC 的來源 (外部 CDC):如果來源的複製工具或來源系統會執行 CDC,Cortex Framework 會略過 CDC 的管道,並使用登陸區資料集做為資料產品的來源。這個層級會做為以檢視畫面為基礎的語意抽象層,並即時套用清除作業,避免架構變更影響下游資料產品。
Cortex Framework 資料基礎層也支援動態資料表結構定義,可自動擷取原始層中的自訂欄位,無須手動變更基礎 SQL 模型中的程式碼。
此外,為縮小技術資料與業務使用者之間的差距,Cortex Framework 資料基礎層使用大量的註解 (src/data_foundation/{foundation_name}/annotations/) 程式庫,在資料表結構定義中加入可供人解讀的說明,提升可用性。舉例來說,在建構程序中,Cortex Framework 會為神秘的 SAP 資料表欄位 (例如 bukrs) 新增說明,並提供可讀取的業務語意 (例如 Company Code)。
支援的來源系統
Cortex Framework 資料基礎層支援下列來源系統:
從 SAP ERP 複製的原始資料:
- SAP ECC
- SAP S/4HANA
詳情請參閱 SAP ERP 的準備來源資料說明文件。