資料基礎
Cortex Framework 資料基礎層是來源資料最新記錄的標準化乾淨表示法,並提供給資料產品層。對於啟用 CDC 的來源,這個層會以遞增方式更新,並針對未啟用 CDC 的來源和外部實作的 CDC 來源使用檢視區塊。實作方式會配合來源系統的功能:
適用於啟用 CDC 的來源 (Cortex Framework 管理的 CDC):專屬的 Dataform 管道會將原始層記錄遞增處理為來源系統資料集的「目前狀態」資料表,並持續更新及保留該資料表,以支援資料產品、下游分析和 AI 代理程式。
除了 CDC 處理作業外,彈性架構還可略過內建的 CDC 處理作業,並將其他已建立的 CDC 管道直接連線至基礎層。
適用於未啟用 CDC 的來源 (外部 CDC):如果來源的複製工具或來源系統會執行 CDC,Cortex Framework 會略過 CDC 的管道,並使用登陸區資料集做為資料產品的來源。這個層級會做為以檢視畫面為基礎的語意抽象層,並即時套用清除作業,避免架構變更影響下游資料產品。
Cortex Framework 資料基礎層也支援動態資料表結構定義,可自動擷取原始層中的自訂欄位,不必手動變更基礎 SQL 模型中的程式碼。
此外,為縮小技術資料與業務使用者之間的差距,Cortex Framework 資料基礎層使用大量的註解 (src/data_foundation/{foundation_name}/annotations/) 程式庫,在資料表結構定義中加入可供人解讀的說明,提升可用性。舉例來說,在建構程序中,Cortex Framework 會為神秘的 SAP 資料表欄位 (例如 bukrs) 新增說明,並提供可讀取的業務元件資訊 (例如 Company Code)。
支援的來源系統
Cortex Framework 資料基礎層支援下列來源系統:
從 SAP ERP 複製的原始資料:
- SAP ECC
- SAP S/4HANA
詳情請參閱 SAP ERP 的準備來源資料說明文件。