資料基礎總覽

Cortex Framework 資料基礎層會以標準化且乾淨的形式，呈現來源系統的最新記錄。這項服務可在 BigQuery 中提供可重複使用的高保真資料表和檢視畫面，縮小原始複製企業記錄系統與高價值分析耗用資料之間的差距。

資料基礎層會提供 資料產品層的資料，但也可以完全獨立使用，並包含下列功能：

  • 獨立部署：如果機構想在 BigQuery 內建立乾淨、符合標準且標準化的作業資料存放區 (ODS)，可以只部署資料基礎模組。您不需要部署資料產品層，就能使用資料基礎。
  • 直接使用：獨立的資料基礎表格可做為集中式的高度最佳化資料來源，直接支援現有的企業資料網格架構、自訂下游 ETL pipeline、第三方商業智慧工具、自訂機器學習模型和獨立 AI 代理，不必依賴 Cortex Framework 提供的資料產品。
  • 高度可擴充性：架構會在建構及編譯基礎模組期間，自動辨識並新增自訂資料表資料欄 (例如以「Z」或「Y」為前置字元的資料欄)。您只需花費極少力氣，就能使用其他資料表 (自訂資料表或基礎架構未納入的標準資料表) 擴充資料集。

支援的資料來源

資料基礎層支援來自 SAP ERP 系統的原始複製資料，包括：

詳情請參閱「來源系統整合」說明文件。

核心功能

這個層級的主要目的是使用下列方法，將原始來源資料標準化、清除及轉換為高保真資料表：

  • 結構定義遮蔽：SAP 等來源的原始交易結構定義經常變更，難以瀏覽。基礎層提供穩定且標準化的目標結構，可保護下游消費者免於原始資料表複雜性及基礎結構定義變更的影響。
  • 企業級中繼資料和註解：為協助商業用戶瞭解資料模型，資料基礎層會使用大量的註解庫 (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/)。在建構程序中，框架會在 BigQuery 資料表的中繼資料中，以人類可讀的商家描述充實技術來源系統資料欄 (例如將 SAP 資料欄 bukrs 翻譯為 Company Code)。有了這些豐富的中繼資料，數據分析人員、商業智慧資訊主頁和企業 AI 代理就能立即使用資料表。
  • 動態架構調整：支援動態資料表架構。系統會自動從原始層擷取及傳播自訂欄位 (例如 SAP 中的 Z* 或 Y* 欄位，或是其他來源中的自訂屬性)，無須手動變更基礎 SQL 模型中的程式碼。
  • 自動進行資料一致性檢查和重複資料刪除：無論原始資料是以變更記錄或完整快照的形式傳送，基礎層都會自動處理重複資料刪除、資料型別轉換和狀態重建作業。確保您查詢的記錄狀態一律準確且為最新狀態。

美國疾病管制與預防中心與非美國疾病管制與預防中心來源

如果是 Cortex Framework 原生管理的管道，設定會套用至個別資料表層級。您可以根據原始來源資料是以增量變更記錄或完整資料表快照的形式傳送，設定每個資料表的處理方式。舉例來說，如果 CDC 來源中的個別資料表要視為快照資料表，可以宣告為 isCdc: false：

  • 啟用 CDC 的來源：對於以變更資料擷取記錄複製的原始資料 (包含作業標記和時間戳記，例如來自 BigQuery Connector for SAP 或 BigQuery Toolkit for SAP 等工具的插入、更新和刪除作業)，Cortex Framework 會產生專屬的 Dataform 管道，逐步將原始記錄處理成持續更新的「最新狀態」一致性資料表。
  • 非 CDC (完整快照/批次) 來源：如果來源未提供 CDC 變更記錄，或資料表定期複製為完整擷取內容，Cortex Framework 會指示管道將資料處理為完整的資料表快照，而不使用 CDC 狀態重建邏輯 (請參閱資料基礎中的 isCdc 設定屬性，以及資料表設定設定)。

外部資料基礎

除了在個別資料表層級原生管理 CDC 處理作業，Cortex Framework 也提供架構彈性，可在整個基礎層級與現有的外部資料基礎整合。整個基礎可宣告為外部，在這種情況下，Cortex Framework 會假設整個 CDC 處理程序已執行完畢：

  • Cortex 管理的資料基礎：Cortex Framework 會建構及協調 Dataform 轉換管道，從原始登陸區讀取資料，並在目標基礎資料集中實現符合規範的資料表。
  • 外部資料基礎：如果貴企業已使用外部複製工具、第三方管道或預先建立的語意層，在 Cortex Framework 以外執行 CDC 重建和資料清理作業，您可以將其註冊為外部資料基礎 (請參閱資料模組基礎設定中的 external 旗標)。如果設定為外部，Cortex Framework 會略過產生內建基礎轉換管道的步驟，直接將下游資料產品指向現有的目標資料集。

資料基礎設定選項

全域和模組層級的設定是在 config.yaml 檔案中管理，而精細的資料表層級選項則是透過來源專屬的 table_settings.yaml 檔案設定 (如果是 SAP 系統，則會建構 common、ecc 和 s4 區段，詳情請參閱「SAP ERP 的部署和資料表設定設定樣式」)。您可透過這個檔案控管個別資料表的具體化選項、部署最佳化和 BigQuery 效能功能，完全不必編寫或修改 SQL 程式碼。

  • 動態依附元件解析：根據預設 (deployAlways: false)，Cortex Framework 只會部署及編譯已啟用下游資料產品主動要求的資料基礎層資料表 (做為依附元件)，藉此最佳化部署足跡和執行成本。如要覆寫這項最佳化設定，並強制一律部署基礎資料表 (這在單獨執行資料基礎或自訂下游工作負載時特別有用)，請設定 deployAlways: true。
  • 擷取模式：控制資料表是使用增量 CDC 狀態重建處理，還是使用完整快照處理。
  • 目標命名和標記：自訂目標相符資料表名稱，並直接將任意中繼資料標記 (例如 [sap, finance, hourly]) 附加至 Dataform 動作，以啟用選擇性管道執行作業 (dataform run --tags ...)。
  • 分群詳細資料：透過排序最多四個英數字元資料欄 (例如 bukrs、gjahr) 的儲存區塊，將相關資料放在一起。分群可大幅提升查詢效能，並減少查詢在這些資料欄上篩選或聯結時的資料掃描成本。
  • 分區詳細資料：依時間 (time 或 DATE，搭配 timeGrain: day | month | year) 或整數範圍 (integer) 分區，將大型歷史記錄資料表分區。查詢要求特定日期範圍或 ID 間隔時，分區可避免完整掃描資料表。

擴充資料基礎

如要使用其他資料表擴充資料基礎層，有多種做法：

可用的資料基礎表

下表列出 Cortex Framework 資料基礎層中包含的資料表，以及相關詳細資料。

業務範圍 SAP 模組 資料表名稱 說明 支援的來源 Dataform 標記 分區詳細資料 叢集詳細資料
SAP ECC SAP S/4HANA
金融 CO bpge 預算值 (整體) ✅ ✅ finance、sap_co、daily
bpja 預算值 (年度) ✅ ✅ finance、sap_co、daily
bpvg 文件委刊項 ✅ ✅ finance、sap_co、daily
cepc 利潤中心主資料表 ✅ ✅ finance、sap_co、daily
cepct 利潤中心主資料的文字 ✅ ✅ finance、sap_co、daily
ckmlcr 物料分類帳：期間總計記錄值 ✅ ✅ finance、sap_co、daily
ckmlhd 物料分類帳：標題記錄 ✅ ✅ finance、sap_co、daily
cobk 控制物件：文件標題 ✅ ✅ 財務、控制、每日
coep 控管物件：委刊項 (依期間) ✅ ✅ 財務、控制、每日
cooi 承諾管理：委刊項 ✅ ✅ 財務、控制、每日
cosp 控制物件：外部過帳的成本總計 ✅ ✅ 財務、控制、每日
coss 控制物件：內部貼文的總費用 ✅ ✅ 財務、控制、每日
cskb 成本要素 (與控制範圍相關的資料) ✅ ✅ finance、sap_co、daily
csks 成本中心主記錄 ✅ ✅ finance、sap_co、daily
cskt 成本中心文字 ✅ ✅ finance、sap_co、daily
csku 成本元素文字 ✅ ✅ finance、sap_co、daily
jest 個別物件狀態 ✅ ✅ finance、sap_co、daily
sethanahier0101 成本中心群組的階層表格 ✅ finance, sap_co, monthly
sethanahier0106 利潤中心群組的階層表格 ✅ finance, sap_co, monthly
setheader 設定標題和目錄 ✅ ✅ finance, sap_co, monthly
setheadert 套裝組合簡短說明 ✅ ✅ finance, sap_co, monthly
setleaf 集合中的值 ✅ ✅ finance, sap_co, monthly
setnode 集合中的低層級集合 ✅ ✅ finance, sap_co, monthly
tj02t 系統狀態文字 ✅ ✅ finance, sap_co, yearly
tka01 控制範圍 ✅ ✅ finance, sap_co, yearly
tka02 指派控制範圍 ✅ ✅ finance, sap_co, yearly
FI acdoca 通用日記帳分錄項目 ✅ finance, sap_fi, hourly rclnt、rbukrs
acdocu 群組日誌項目 ✅ finance, sap_fi, hourly
adr6 電子郵件地址 (公司地址服務) ✅ ✅ finance、sap_fi、daily
adrc 地址 (商家地址服務) ✅ ✅ finance、sap_fi、daily
adrct 地址簡訊 (商家地址服務) ✅ ✅ finance、sap_fi、daily
anek 資產過帳文件標題 ✅ finance、sap_fi、daily
anep 素材資源委刊項 ✅ finance、sap_fi、daily
ankt 資產類別：說明 ✅ ✅ finance, sap_fi, hourly
anla 資產主記錄片段 ✅ ✅ finance, sap_fi, hourly
anlb 折舊條款 ✅ ✅ finance, sap_fi, hourly
anlc 資產價值記錄：年份 ✅ finance、sap_fi、yearly
anlh 主要資產編號 ✅ ✅ finance, sap_fi, hourly
anlz 時間相依型資產配置 ✅ ✅ finance, sap_fi, hourly
atras 國庫券利率表 ✅ ✅ finance、sap_fi、daily
bkpf 會計文件標題 ✅ ✅ finance, sap_fi, hourly budat (時間/天) bukrs、gjahr
bsad 檢視表生成的資料表 ✅ finance, sap_fi, hourly
bsak 檢視表生成的資料表 ✅ finance, sap_fi, hourly
bseg 會計文件區隔 ✅ ✅ finance, sap_fi, hourly mandt, bukrs, gjahr
bsid 檢視表生成的資料表 ✅ finance, sap_fi, hourly
bsik 檢視表生成的資料表 ✅ finance, sap_fi, hourly
but000 Bp：一般資料 I ✅ ✅ finance、sap_fi、daily
but020 Bp：地址 ✅ ✅ finance、sap_fi、daily
but0bk Bp：銀行詳細資料 ✅ ✅ finance、sap_fi、daily
faat_doc_it 資產會計：統計明細項目 ✅ finance、sap_fi、daily
faat_plan_values 資產價值：計畫價值和重估價值 ✅ finance、sap_fi、daily
faat_ydda 資產價值：與年份相關的資料 ✅ finance、sap_fi、yearly
fagl_011pc 財務報表版本：財務報表版本中的項目 ✅ ✅ finance, sap_fi, monthly
fagl_011qt 財務報表結構：財務報表項目的文字 ✅ ✅ finance, sap_fi, monthly
fagl_011zc 財務報表版本：將財務報表項目指派給總帳科目 ✅ ✅ finance, sap_fi, monthly
faglflexa 總帳：實際明細項目 ✅ finance、sap_fi、hourly
fincs_ref_vers_r 參考版本關係 ✅ finance、sap_fi、yearly
finsc_ld_cmp 通用日記帳分類帳的 CompCode 相關設定 ✅ finance、sap_fi、daily
finsc_ledger 通用日記帳分錄 ✅ finance、sap_fi、yearly
finsc_ledger_rep 統一日記帳分類帳 (報表輔助表格) ✅ finance、sap_fi、daily
finsc_ledger_t 通用日記帳分錄文字 ✅ finance、sap_fi、yearly
ska1 總帳科目主檔 (會計科目表) ✅ ✅ finance、sap_fi、daily
skat 總帳帳戶主記錄 (會計科目表：說明) ✅ ✅ finance、sap_fi、daily
t001 公司代碼 ✅ ✅ finance, sap_fi, once
t002 語言鍵 (元件 Bc-I18) ✅ ✅ finance, sap_fi, once
t002t 語言關鍵文字 ✅ ✅ finance, sap_fi, once
t005 個國家/地區 ✅ ✅ finance、sap_fi、yearly
t005k 通訊：國家/地區撥號代碼 ✅ ✅ 設定，每年
t005s 稅金：區域 (省) 鍵 ✅ ✅ 設定，每年
t005t 國家/地區名稱 ✅ ✅ 設定，每年
t005u 稅金：區域代碼：文字 ✅ ✅ 設定，每年
t009 會計年度變體 ✅ ✅ 設定，
t009b 會計年度變體期間 ✅ ✅ 設定，
t090nat 折舊鍵文字 ✅ ✅ finance, sap_fi, hourly
t093b 折舊範圍的公司代碼設定 ✅ ✅ finance, sap_fi, hourly
t093c 資產會計的公司代碼設定 ✅ ✅ finance, sap_fi, hourly
t093t 折舊範圍文字 ✅ ✅ finance, sap_fi, hourly
t095t 帳戶決定名稱 ✅ ✅ finance, sap_fi, hourly
t098t 手動估值說明原因 ✅ ✅ finance, sap_fi, hourly
t881 分類帳主檔 ✅ ✅ finance, sap_fi, once
t881t Fi-Sl Ledger Text ✅ ✅ finance, sap_fi, once
tabw 資產交易類型 ✅ ✅ finance、sap_fi、daily
tabwh 資產交易類型群組文字 ✅ ✅ finance、sap_fi、daily
tabwt 資產交易類型文字 ✅ ✅ finance、sap_fi、daily
tcurc 貨幣代碼 ✅ ✅ finance, sap_fi, once
tcurf 轉換係數 ✅ ✅ finance, sap_fi, once
tcurr 匯率 ✅ ✅ finance、sap_fi、daily
tcurt 貨幣代碼名稱 ✅ ✅ finance、sap_fi、daily
tcurx 貨幣的小數位數 ✅ ✅ finance、sap_fi、daily
tf200 整合版本 ✅ finance、sap_fi、yearly
tf201 版本：名稱 ✅ finance、sap_fi、yearly
tvarvc 變體變數表 (特定於用戶端) ✅ ✅ finance、sap_fi、daily
vwpanla 證券資產主檔 ✅ ✅ finance、sap_fi、daily
FSCM fdsb 現金管理和預測摘要記錄 ✅ finance, sap_fscm, hourly
fqm_flow 營運風險 ✅ finance, sap_fscm, hourly
PS prhi 工作分解結構、邊緣 (階層指標) ✅ ✅ finance, sap_ps, hourly
proj 專案定義 ✅ ✅ finance, sap_ps, hourly
prps WBS 元素主資料 ✅ ✅ finance, sap_ps, hourly
prte 專案項目的排程資料 ✅ ✅ finance, sap_ps, hourly
rpsco 專案資訊資料庫：成本、收益、財務 ✅ ✅ finance、sap_ps、daily
TRM vtbfha 金融交易 (Vtbfha) ✅ ✅ finance、sap_trm、hourly
vtbfhapo 交易流程 (Vtbfhapo) ✅ ✅ finance、sap_trm、hourly
vtbfhazu 交易活動 (Vtbfhazu) ✅ ✅ finance、sap_trm、hourly
vtvbar 場外交易的 Npv (Vtvbar) ✅ ✅ finance、sap_trm、hourly
HR HCM hrrp_directory 階層目錄 ✅ hr、sap_hcm、monthly
hrrp_node 階層節點 ✅ hr、sap_hcm、monthly
hrrp_nodet 階層節點文字 ✅ hr、sap_hcm、monthly
IT BASIS dd01l 網域 ✅ ✅ it、sap_basis、once
dd03l 資料表欄位 ✅ ✅ it、sap_basis、once
dd04t R/3 Dd：資料元素文字 ✅ ✅ it、sap_basis、once
dd07l 網域值 ✅ ✅ it、sap_basis、once
dd07t Dd：網域固定值文字 (視語言而定) ✅ ✅ it、sap_basis、once
dd08l 關係定義 ✅ ✅ it、sap_basis、once
製造 PP afko 訂單標頭資料 PP 訂單 ✅ ✅ 製造業、sap_pp、每小時
afpo 訂單項目 ✅ ✅ 製造業、sap_pp、每小時
aufk 訂單主資料 ✅ ✅ 製造業、sap_pp、每小時
mast 物料至 BOM 連結 ✅ ✅ 製造業、sap_pp、每月
stas BOM - 項目選取 ✅ ✅ 製造業、sap_pp、每月
stko Bom Header ✅ ✅ 製造業、sap_pp、每月
stpo Bom Item ✅ ✅ 製造業、sap_pp、每月
銷售 SD kna1 客戶主檔中的一般資料 ✅ ✅ sales、sap_sd、daily
konv 條件 (交易資料) ✅ sales、sap_sd、daily kdatu (時間/天) stunr
prcd_elements 計費項目 ✅ sales、sap_sd、hourly
t179 教材：產品階層 ✅ ✅ sales, sap_sd, once
t179t 教材：產品階層：文字 ✅ ✅ sales, sap_sd, once
tspa 機構單位：銷售部門 ✅ ✅ sales、sap_sd、yearly
tspat 機構單位：銷售部門：文字 ✅ ✅ sales、sap_sd、yearly
tvfst 帳單：封鎖原因文字 ✅ ✅ sales、sap_sd、yearly
tvko 機構單位：銷售機構 ✅ ✅ sales、sap_sd、yearly
tvkot 機構單位：銷售機構：文字 ✅ ✅ sales、sap_sd、yearly
tvlst 傳送：封鎖原因/範圍：訊息 ✅ ✅ sales、sap_sd、yearly
tvtw 機構單位：發布管道 ✅ ✅ sales、sap_sd、yearly
tvtwt 機構單位：發布管道：文字 ✅ ✅ sales、sap_sd、yearly
vbak 銷售文件：標題資料 ✅ ✅ sales、sap_sd、hourly audat (時間/天) vkorg
vbap 銷售文件：項目資料 ✅ ✅ sales、sap_sd、hourly werks、lgort
vbep 銷售文件：排定行資料 ✅ ✅ sales、sap_sd、hourly
vbfa 銷售文件流程 ✅ ✅ sales、sap_sd、hourly
vbpa 銷售文件：合作夥伴 ✅ ✅ sales、sap_sd、hourly
vbrk 帳單文件：標題資料 ✅ ✅ sales、sap_sd、hourly
vbrp 帳單文件：項目資料 ✅ ✅ sales、sap_sd、hourly
vbuk 銷售文件：標題狀態和管理資料 ✅ sales、sap_sd、hourly
vbup 銷售文件：項目狀態 ✅ sales、sap_sd、hourly
wb2_d_bvdetail Ccs：結算詳細對帳單 ✅ ✅ sales、sap_sd、daily
wb2_d_settl_cal 退款：結算日曆 ✅ ✅ sales、sap_sd、daily
wbrk 代理商結算單：標題 ✅ ✅ sales、sap_sd、hourly
wbrp 代理商結算文件：項目 ✅ ✅ sales、sap_sd、hourly
wcocoh 條件合約：標題 ✅ ✅ sales、sap_sd、daily
wcocoi 條件合約：項目 ✅ ✅ sales、sap_sd、daily
供應鏈 LE likp SD 文件：交貨單標題資料 ✅ ✅ supply_chain, sap_le, hourly erdat (時間/月) vkorg
嘴唇 SD 文件：交貨：項目資料 ✅ ✅ supply_chain, sap_le, hourly erdat (時間/月)
MM ekbe 採購文件記錄 (Ekbe) ✅ ✅ supply_chain、sap_mm、hourly budat (時間/天) mandt、vgabe、ebeln、bwart
ekes 供應商確認 (EKES) ✅ ✅ supply_chain、sap_mm、hourly
eket 排程協議排程行 ✅ ✅ supply_chain、sap_mm、hourly eindt (時間/日期) mandt、ebeln
ekkn 採購文件中的帳戶指派 (Ekkn) ✅ ✅ supply_chain、sap_mm、hourly
ekko 採購文件標題 ✅ ✅ supply_chain、sap_mm、hourly bedat (時間/天) mandt、ebeln
ekpo 採購文件項目 ✅ ✅ supply_chain、sap_mm、hourly aedat (時間/天) mandt、ebeln
lfa1 供應商主檔 (一般部分) ✅ ✅ supply_chain、sap_mm、daily
makt 材質說明 ✅ ✅ supply_chain、sap_mm、daily spras
mara 一般材質資料 ✅ ✅ supply_chain、sap_mm、daily
marc 物料的工廠資料 ✅ ✅ supply_chain、sap_mm、hourly
mard 物料的儲存位置資料 ✅ ✅ supply_chain、sap_mm、hourly
matdoc Material Documents ✅ supply_chain、sap_mm、hourly
mbew 物料估值 ✅ ✅ supply_chain、sap_mm、daily
mbewh 物料估值：記錄 ✅ ✅ supply_chain、sap_mm、daily
mch1 批次 (如果批次管理跨廠) ✅ ✅ supply_chain、sap_mm、daily
mcha 批次 ✅ ✅ supply_chain、sap_mm、daily
mchb 批次股票 ✅ ✅ supply_chain、sap_mm、daily
mkol 供應商提供的特價商品 ✅ ✅ supply_chain, sap_mm, weekly
mseg 文件區段：材質 ✅ supply_chain、sap_mm、hourly
msfd Sales Order Stock with Vendor ✅ supply_chain, sap_mm, weekly
mska 銷售訂單庫存 ✅ ✅ supply_chain, sap_mm, weekly
msku Special Stocks with Customer ✅ ✅ supply_chain, sap_mm, weekly
mslb 與供應商的特惠商品 ✅ ✅ supply_chain, sap_mm, weekly
rbco 文件項目、應付憑據、帳戶指派 ✅ ✅ supply_chain、sap_mm、hourly
rbkp 文件標題：發票收據 ✅ ✅ supply_chain、sap_mm、hourly
rseg 文件項目：應付憑據 ✅ ✅ supply_chain、sap_mm、hourly
t001k 估值區域 ✅ ✅ supply_chain、sap_mm、once
t001l 儲存位置 ✅ ✅ supply_chain、sap_mm、once
t001w 植物/樹枝 ✅ ✅ supply_chain、sap_mm、once
t006 測量單位 ✅ ✅ supply_chain、sap_mm、yearly
t006a 將「內部」指派給語言相關單位 ✅ ✅ 設定，
t006t 尺寸文字 ✅ ✅ 設定，
t023 素材資源群組 ✅ ✅ supply_chain、sap_mm、once
t023t 素材資源群組說明 ✅ ✅ supply_chain、sap_mm、once
t024 購買群組 ✅ ✅ supply_chain、sap_mm、once
t024e 採購機構 ✅ ✅ supply_chain、sap_mm、once
t134 材質類型 ✅ ✅ supply_chain、sap_mm、once
t134t 材質類型說明 ✅ ✅ supply_chain、sap_mm、once
t148t 特殊股票說明 ✅ ✅ supply_chain、sap_mm、once
t156 移動方式 ✅ ✅ supply_chain、sap_mm、once
t156t 移動方式文字 ✅ ✅ 設定，
t157e 文字表格：移動原因 ✅ ✅ 設定，
t161 採購文件類型 (T161) ✅ ✅ supply_chain、sap_mm、once
t161t 採購文件類型文字 ✅ ✅ supply_chain、sap_mm、once