데이터 기반 개요

Cortex Framework 데이터 기반 레이어는 소스 시스템의 최신 레코드를 표준화되고 정리된 형태로 나타냅니다. BigQuery 내에서 재사용 가능하고 충실도가 높은 테이블과 뷰를 제공하여 원시 복제 엔터프라이즈 시스템의 기록과 가치가 높은 분석 소비 데이터 간의 격차를 해소합니다.

데이터 기반 레이어는 데이터 제품 레이어에 데이터를 제공하지만, 자체적으로 완전히 사용할 수 있으며 다음 기능을 포함합니다.

  • 독립 배포: BigQuery 내에 정리되고, 준수되고, 표준화된 운영 데이터 스토어(ODS)를 구축하려는 조직은 데이터 파운데이션 모듈만 배포할 수 있습니다. 데이터 기반을 사용하기 위해 데이터 제품 레이어를 배포할 필요는 없습니다.
  • 직접 소비: 독립형 데이터 파운데이션 테이블은 Cortex Framework에서 제공하는 데이터 제품에 종속되지 않고 기존 엔터프라이즈 데이터 메시 아키텍처, 맞춤 다운스트림 ETL 파이프라인, 서드 파티 BI 도구, 맞춤 ML 모델, 독립형 AI 에이전트를 직접 지원할 수 있는 중앙 집중식의 고도로 최적화된 정보 소스 역할을 합니다.
  • 높은 확장성: 프레임워크는 파운데이션 모듈의 빌드 및 컴파일 중에 맞춤 표 열 (예: 'Z' 또는 'Y' 접두사가 붙은 열)을 자동으로 인식하고 추가합니다. 추가 테이블 (맞춤 테이블 또는 파운데이션에 포함되지 않은 표준 테이블)을 사용하여 최소한의 노력으로 확장할 수 있습니다.

지원되는 데이터 소스

데이터 기반 계층은 다음을 비롯한 SAP ERP 시스템의 원시 복제 데이터를 지원합니다.

자세한 내용은 소스 시스템 통합 문서를 참고하세요.

주요 기능

이 레이어의 기본 목적은 다음 방법을 사용하여 원시 소스 데이터를 충실도 높은 테이블로 표준화, 정리, 변환하는 것입니다.

  • 스키마 보호: SAP의 원시 트랜잭션 스키마와 같은 스키마는 자주 변경되고 탐색하기 어렵습니다. 기반 레이어는 안정적이고 표준화된 타겟 구조를 제공하여 다운스트림 소비자를 원시 테이블 복잡성과 기본 스키마 변경으로부터 보호합니다.
  • 비즈니스용 메타데이터 및 주석: 비즈니스 사용자가 기술 데이터 모델을 이해할 수 있도록 데이터 기반 레이어는 광범위한 주석 라이브러리 (src/data_modules/{namespace}/{system}/data_foundation/{foundation_name}/annotations/)를 사용합니다. 빌드 프로세스 중에 프레임워크는 BigQuery 테이블 메타데이터에서 사람이 읽을 수 있는 비즈니스 설명으로 기술 소스 시스템 열을 보강합니다 (예: bukrs과 같은 SAP 열을 Company Code로 변환). 이 풍부한 메타데이터를 통해 비즈니스 분석가, BI 대시보드, 엔터프라이즈 AI 에이전트가 테이블을 즉시 사용할 수 있습니다.
  • 동적 스키마 적응: 동적 테이블 스키마를 지원합니다. 기본 SQL 모델을 수동으로 변경하지 않아도 원시 레이어에서 맞춤 필드 (예: SAP의 Z* 또는 Y* 필드, 기타 소스의 맞춤 속성)를 자동으로 수집하고 전파합니다.
  • 자동 데이터 준수 및 중복 삭제: 원시 데이터가 변경 로그로 도착하든 전체 스냅샷으로 도착하든, 기본 레이어는 중복 삭제, 데이터 유형 변환, 상태 재구성을 자동으로 처리합니다. 이렇게 하면 항상 모든 레코드의 정확한 현재 상태를 쿼리할 수 있습니다.

CDC 소스와 비 CDC 소스

Cortex Framework에서 기본적으로 관리하는 파이프라인의 경우 구성이 개별 테이블 수준에서 적용됩니다. 원시 소스 데이터가 증분 변경 로그로 도착하는지 아니면 전체 테이블 스냅샷으로 도착하는지에 따라 각 테이블이 처리되는 방식을 구성할 수 있습니다. 예를 들어 CDC 소스의 개별 테이블을 스냅샷 테이블로 처리하기 위해 isCdc: false로 선언할 수 있습니다.

  • CDC 지원 소스: SAP용 BigQuery 커넥터 또는 SAP용 BigQuery 툴킷과 같은 도구에서 삽입, 업데이트, 삭제와 같은 작업 플래그와 타임스탬프가 포함된 변경 데이터 캡처 로그로 복제된 원시 데이터의 경우 Cortex Framework는 원시 로그를 지속적으로 업데이트되는 '최신 상태' 규격 테이블로 증분 처리하는 전용 Dataform 파이프라인을 생성합니다.
  • CDC가 아닌 (전체 스냅샷/배치) 소스: CDC 변경 로그를 제공하지 않는 소스 또는 테이블이 전체 추출로 주기적으로 복제되는 소스의 경우 Cortex Framework는 CDC 상태 재구성 로직 없이 데이터를 완전한 테이블 스냅샷으로 처리하도록 파이프라인에 지시합니다 (데이터 파운데이션의 isCdc 구성 속성, table-settings 구성 참고).

외부 데이터 기반

Cortex Framework는 개별 테이블 수준에서 CDC 처리를 기본적으로 관리할 뿐만 아니라 전체 기반 수준에서 기존 외부 데이터 기반과 통합할 수 있는 아키텍처 유연성을 제공합니다. 전체 기반을 외부로 선언할 수 있습니다. 이 경우 Cortex Framework는 전체 CDC 처리가 이미 실행되었다고 가정합니다.

  • Cortex 관리 데이터 기반: Cortex Framework는 Dataform 변환 파이프라인을 빌드하고 오케스트레이션하여 원시 랜딩 존에서 읽고 대상 기반 데이터 세트에 준수 테이블을 구체화합니다.
  • 외부 데이터 기반: 엔터프라이즈에서 이미 Cortex Framework 외부에서 CDC 재구성 및 데이터 정리 작업을 실행하는 외부 복제 도구, 서드 파티 파이프라인 또는 사전 설정된 시맨틱 계층을 사용하는 경우 이를 외부 데이터 기반으로 등록할 수 있습니다 (데이터 모듈 기반 설정external 플래그 참고). 외부로 구성된 경우 Cortex Framework는 내장된 기본 변환 파이프라인 생성을 우회하고 대신 다운스트림 데이터 제품을 기존 타겟 데이터 세트로 직접 연결합니다.

데이터 파운데이션 구성 옵션

전역 및 모듈 수준 구성은 config.yaml 파일에서 관리되지만 세부적인 표 수준 옵션은 소스별 table_settings.yaml 파일을 통해 구성됩니다 (SAP 시스템의 경우 common, ecc, s4 섹션으로 빌드됨. 자세한 내용은 SAP ERP의 배포, 표 설정 구성 스타일 참고). 이 파일을 사용하면 SQL 코드를 작성하거나 수정하지 않고도 개별 테이블의 구체화 옵션, 배포 최적화, BigQuery 성능 기능을 제어할 수 있습니다.

  • 동적 종속성 해결: 기본적으로 (deployAlways: false) Cortex Framework는 사용 설정된 다운스트림 데이터 제품에서 종속성으로 적극적으로 요구하는 데이터 기반 레이어 테이블만 배포하고 컴파일하여 배포 공간과 실행 비용을 최적화합니다. 이 최적화를 재정의하고 항상 파운데이션 테이블이 배포되도록 강제하려면 (데이터 파운데이션을 독립형으로 실행하거나 맞춤 다운스트림 워크로드에 특히 유용함) deployAlways: true를 설정하세요.
  • 수집 모드: 증분 CDC 상태 재구성 또는 전체 스냅샷 처리를 사용하여 테이블을 처리할지 여부를 제어합니다.
  • 타겟 이름 지정 및 태그: 타겟 준수 테이블 이름을 맞춤설정하고 임의의 메타데이터 태그 (예: [sap, finance, hourly])를 Dataform 작업에 직접 연결하여 선택적 파이프라인 실행 (dataform run --tags ...)을 사용 설정합니다.
  • 클러스터링 세부정보: 최대 4개의 영숫자 열 (예: bukrs, gjahr)에 걸쳐 스토리지 블록을 정렬하여 관련 데이터를 같은 위치에 배치합니다. 클러스터링은 이러한 열에 대해 필터링하거나 조인하는 쿼리의 쿼리 성능을 크게 개선하고 데이터 스캔 비용을 절감합니다.
  • 파티셔닝 세부정보: 시간(time 또는 DATE(timeGrain: day | month | year 사용)) 또는 정수 범위(integer)로 대규모 기록 테이블을 세그먼트화합니다. 파티셔닝을 사용하면 쿼리에서 특정 날짜 범위 또는 ID 간격을 요청할 때 전체 테이블 스캔을 방지할 수 있습니다.

데이터 기반 확장

추가 테이블로 데이터 기반 레이어를 확장하는 방법에는 여러 가지가 있습니다.

사용 가능한 데이터 파운데이션 테이블

다음 표에는 Cortex Framework 데이터 기반 레이어에 포함된 테이블과 관련 세부정보가 나와 있습니다.

비즈니스 라인 SAP 모듈 테이블 이름 설명 지원되는 소스 Dataform 태그 파티션 세부정보 클러스터 세부정보
SAP ECC SAP S/4HANA
금융 CO bpge 예산 값 (전체) finance, sap_co, daily
bpja 예산 값 (연간) finance, sap_co, daily
bpvg 문서 광고 항목 finance, sap_co, daily
cepc Profit Center Master Data Table(수익 센터 마스터 데이터 테이블) finance, sap_co, daily
cepct 수익 센터 마스터 데이터의 텍스트 finance, sap_co, daily
ckmlcr Material Ledger: Period Totals Records Values(자재 원장: 기간 합계 레코드 값) finance, sap_co, daily
ckmlhd 자재 원장: 헤더 레코드 finance, sap_co, daily
cobk 제어 객체: 문서 헤더 재무, 관리, 일일
coep 관리 대상: 광고 항목 (기간별) 재무, 관리, 일일
cooi 약정 관리: 광고 항목 재무, 관리, 일일
cosp 관리 대상 객체: 외부 게시물의 비용 합계 재무, 관리, 일일
coss 관리 대상: 내부 게시물의 비용 합계 재무, 관리, 일일
cskb 비용 요소 (관리 영역 종속 데이터) finance, sap_co, daily
csks 비용 센터 마스터 레코드 finance, sap_co, daily
cskt 비용 센터 텍스트 finance, sap_co, daily
csku 비용 요소 텍스트 finance, sap_co, daily
jest 개별 객체 상태 finance, sap_co, daily
sethanahier0101 비용 센터 그룹의 계층 구조 표 finance, sap_co, monthly
sethanahier0106 수익 센터 그룹의 계층 구조 표 finance, sap_co, monthly
setheader 헤더 및 디렉터리 설정 finance, sap_co, monthly
setheadert 세트의 간단한 설명 finance, sap_co, monthly
setleaf 세트의 값 finance, sap_co, monthly
setnode 세트의 하위 수준 세트 finance, sap_co, monthly
tj02t 시스템 상태 텍스트 finance, sap_co, yearly
tka01 제어 영역 finance, sap_co, yearly
tka02 관리 영역 할당 finance, sap_co, yearly
FI acdoca 범용 업무 일지 항목 finance, sap_fi, hourly rclnt, rbukrs
acdocu 그룹 일기 항목 finance, sap_fi, hourly
adr6 이메일 주소 (비즈니스 주소 서비스) finance, sap_fi, daily
adrc 주소 (비즈니스 주소 서비스) finance, sap_fi, daily
adrct 주소 텍스트 (비즈니스 주소 서비스) finance, sap_fi, daily
anek 애셋 게시 문서 헤더 finance, sap_fi, daily
anep 애셋 광고 항목 finance, sap_fi, daily
ankt 애셋 클래스: 설명 finance, sap_fi, hourly
anla 애셋 마스터 레코드 세그먼트 finance, sap_fi, hourly
anlb 감가상각 조건 finance, sap_fi, hourly
anlc 애셋 가치 기록: 연도 finance, sap_fi, yearly
anlh 기본 애셋 번호 finance, sap_fi, hourly
anlz 시간 종속 애셋 할당 finance, sap_fi, hourly
atras 재무부 금리 표 finance, sap_fi, daily
bkpf 회계 문서 헤더 finance, sap_fi, hourly budat (시간/일) bukrs, gjahr
bsad 뷰를 위해 생성된 테이블 finance, sap_fi, hourly
bsak 뷰를 위해 생성된 테이블 finance, sap_fi, hourly
bseg 회계 문서 세그먼트 finance, sap_fi, hourly mandt, bukrs, gjahr
bsid 뷰를 위해 생성된 테이블 finance, sap_fi, hourly
bsik 뷰를 위해 생성된 테이블 finance, sap_fi, hourly
but000 Bp: 일반 데이터 I finance, sap_fi, daily
but020 Bp: Addresses finance, sap_fi, daily
but0bk Bp: 은행 세부정보 finance, sap_fi, daily
faat_doc_it 자산 회계: 통계 광고 항목 finance, sap_fi, daily
faat_plan_values 애셋 값: 계획된 값 및 재평가 finance, sap_fi, daily
faat_ydda 애셋 값: 연도 종속 데이터 finance, sap_fi, yearly
fagl_011pc 재무제표 버전: 재무제표 버전의 항목 finance, sap_fi, monthly
fagl_011qt 재무제표 구조: 재무제표 항목의 텍스트 finance, sap_fi, monthly
fagl_011zc 재무제표 버전: Fs 항목을 G/L 계정에 할당 finance, sap_fi, monthly
faglflexa 총계정원장: 실제 광고 항목 finance, sap_fi, hourly
fincs_ref_vers_r 참조 버전 관계 finance, sap_fi, yearly
finsc_ld_cmp Univ. Journal Entry Ledger의 CompCode 종속 설정 finance, sap_fi, daily
finsc_ledger Universal Journal Entry Ledger finance, sap_fi, yearly
finsc_ledger_rep 통합 분개장 원장 (보고용 보조 표) finance, sap_fi, daily
finsc_ledger_t Universal Journal Entry Ledger Text(범용 저널 항목 원장 텍스트) finance, sap_fi, yearly
ska1 G/L Account Master (계정 차트) finance, sap_fi, daily
skat G/L Account Master Record (계정 차트: 설명) finance, sap_fi, daily
t001 회사 코드 finance, sap_fi, once
t002 언어 키 (구성요소 Bc-I18) finance, sap_fi, once
t002t 언어 주요 텍스트 finance, sap_fi, once
t005 국가 finance, sap_fi, yearly
t005k 커뮤니케이션: 국가 전화번호 코드 구성, 연간
t005s 세금: 리전 (주) 키 구성, 연간
t005t 국가 이름 구성, 연간
t005u 세금: 지역 키: 텍스트 구성, 연간
t009 회계연도 변형 구성, 한 번
t009b 회계 연도 변형 기간 구성, 한 번
t090nat 감가상각 키 텍스트 finance, sap_fi, hourly
t093b 감가상각 영역의 회사 코드 설정 finance, sap_fi, hourly
t093c 자산 회계의 회사 코드 설정 finance, sap_fi, hourly
t093t 지원 중단 영역 텍스트 finance, sap_fi, hourly
t095t 계정 확인 이름 finance, sap_fi, hourly
t098t 수동 평가 이유 설명 finance, sap_fi, hourly
t881 원장 마스터 finance, sap_fi, once
t881t Fi-Sl Ledger Text finance, sap_fi, once
tabw 애셋 거래 유형 finance, sap_fi, daily
tabwh 애셋 거래 유형 그룹 텍스트 finance, sap_fi, daily
tabwt 애셋 거래 유형 텍스트 finance, sap_fi, daily
tcurc 통화 코드 finance, sap_fi, once
tcurf 변환 계수 finance, sap_fi, once
tcurr 환율 finance, sap_fi, daily
tcurt 통화 코드 이름 finance, sap_fi, daily
tcurx 통화의 소수점 이하 자릿수 finance, sap_fi, daily
tf200 통합 버전 finance, sap_fi, yearly
tf201 버전: 이름 finance, sap_fi, yearly
tvarvc 변수 표 (클라이언트별) finance, sap_fi, daily
vwpanla 증권 애셋 마스터 finance, sap_fi, daily
FSCM fdsb 현금 관리 및 예측 요약 기록 finance, sap_fscm, hourly
fqm_flow 운영으로 인한 노출 finance, sap_fscm, hourly
PS prhi 작업 분류 구조, 가장자리 (계층 구조 포인터) finance, sap_ps, hourly
proj 프로젝트 정의 finance, sap_ps, hourly
prps WBS 요소 마스터 데이터 finance, sap_ps, hourly
prte 프로젝트 항목의 일정 데이터 finance, sap_ps, hourly
rpsco 프로젝트 정보 데이터베이스: 비용, 수익, 재무 finance, sap_ps, daily
TRM vtbfha 금융 거래 (Vtbfha) finance, sap_trm, hourly
vtbfhapo 거래 흐름 (Vtbfhapo) finance, sap_trm, hourly
vtbfhazu 거래 활동 (Vtbfhazu) finance, sap_trm, hourly
vtvbar Npvs of Otc Transactions (Vtvbar) finance, sap_trm, hourly
HR HCM hrrp_directory 계층 구조 디렉터리 hr, sap_hcm, monthly
hrrp_node 계층 구조 노드 hr, sap_hcm, monthly
hrrp_nodet 계층 구조 노드 텍스트 hr, sap_hcm, monthly
IT BASIS dd01l 도메인 it, sap_basis, once
dd03l 표 필드 it, sap_basis, once
dd04t R/3 Dd: 데이터 요소 텍스트 it, sap_basis, once
dd07l 도메인 값 it, sap_basis, once
dd07t Dd: 도메인 고정 값 텍스트 (언어 종속) it, sap_basis, once
dd08l 관계 정의 it, sap_basis, once
제조 PP afko 주문 헤더 데이터 PP 주문 제조, sap_pp, 시간별
afpo 주문 상품 제조, sap_pp, 시간별
aufk 주문 마스터 데이터 제조, sap_pp, 시간별
마스트 자재-Bom 링크 manufacturing, sap_pp, monthly
stas BOM - 항목 선택 manufacturing, sap_pp, monthly
stko Bom 헤더 manufacturing, sap_pp, monthly
stpo Bom Item manufacturing, sap_pp, monthly
판매 SD kna1 고객 마스터의 일반 데이터 sales, sap_sd, daily
konv 조건 (거래 데이터) sales, sap_sd, daily kdatu (시간/일) stunr
prcd_elements 가격 책정 요소 sales, sap_sd, hourly
t179 자료: 제품 계층 구조 sales, sap_sd, once
t179t 자료: 제품 계층 구조: 텍스트 sales, sap_sd, once
tspa 조직 단위: 영업 부서 sales, sap_sd, yearly
tspat 조직 단위: 영업 부문: 텍스트 sales, sap_sd, yearly
tvfst 결제 : 차단 이유 텍스트 sales, sap_sd, yearly
tvko 조직 단위: 영업 조직 sales, sap_sd, yearly
tvkot 조직 단위: 영업 조직: 텍스트 sales, sap_sd, yearly
tvlst 전송: 차단 이유/범위: 텍스트 sales, sap_sd, yearly
tvtw 조직 단위: 배포 채널 sales, sap_sd, yearly
tvtwt 조직 단위: 배포 채널: 텍스트 sales, sap_sd, yearly
vbak 판매 문서: 헤더 데이터 sales, sap_sd, hourly audat (시간/일) vkorg
vbap 판매 문서: 상품 데이터 sales, sap_sd, hourly werks, lgort
vbep 판매 문서: 일정 라인 데이터 sales, sap_sd, hourly
vbfa 판매 문서 흐름 sales, sap_sd, hourly
vbpa 영업 문서: 파트너 sales, sap_sd, hourly
vbrk 청구서: 헤더 데이터 sales, sap_sd, hourly
vbrp 결제 문서: 상품 데이터 sales, sap_sd, hourly
vbuk 판매 문서: 헤더 상태 및 관리 데이터 sales, sap_sd, hourly
vbup 판매 문서: 상품 상태 sales, sap_sd, hourly
wb2_d_bvdetail Ccs: 정산 상세 내역 sales, sap_sd, daily
wb2_d_settl_cal 리베이트: 정산 일정 sales, sap_sd, daily
wbrk 대행사 정산 문서: 헤더 sales, sap_sd, hourly
wbrp 대행사 정산 문서: 항목 sales, sap_sd, hourly
wcocoh 조건 계약: 헤더 sales, sap_sd, daily
wcocoi 조건 계약: 상품 sales, sap_sd, daily
공급망 LE likp SD 문서: 배송 헤더 데이터 supply_chain, sap_le, hourly erdat (시간/월) vkorg
입술 SD 문서: 배송: 상품 데이터 supply_chain, sap_le, hourly erdat (시간/월)
중기업 ekbe 구매 문서 기록 (Ekbe) supply_chain, sap_mm, hourly budat (시간/일) mandt, vgabe, ebeln, bwart
ekes 공급업체 확인 (Ekes) supply_chain, sap_mm, hourly
eket 계약 일정 라인 예약 supply_chain, sap_mm, hourly eindt (시간/일) mandt, ebeln
ekkn 구매 문서의 계정 할당 (Ekkn) supply_chain, sap_mm, hourly
ekko 구매 문서 헤더 supply_chain, sap_mm, hourly bedat (시간/일) mandt, ebeln
ekpo 구매 문서 항목 supply_chain, sap_mm, hourly aedat (시간/일) mandt, ebeln
lfa1 공급업체 마스터 (일반 섹션) supply_chain, sap_mm, daily
makt Material Descriptions(소재 설명) supply_chain, sap_mm, daily spras
mara 일반 재질 데이터 supply_chain, sap_mm, daily
marc 자재의 플랜트 데이터 supply_chain, sap_mm, hourly
mard 자재의 스토리지 위치 데이터 supply_chain, sap_mm, hourly
matdoc 자료 문서 supply_chain, sap_mm, hourly
mbew 자재 평가 supply_chain, sap_mm, daily
mbewh 자재 평가: 기록 supply_chain, sap_mm, daily
mch1 배치 (배치 관리 교차 플랜트인 경우) supply_chain, sap_mm, daily
mcha 배치 supply_chain, sap_mm, daily
mchb 일괄 주식 supply_chain, sap_mm, daily
mkol 공급업체의 특별 재고 supply_chain, sap_mm, weekly
mseg 문서 세그먼트: 재료 supply_chain, sap_mm, hourly
msfd 판매 주문 재고(공급업체) supply_chain, sap_mm, weekly
mska 판매 주문 재고 supply_chain, sap_mm, weekly
msku 고객과의 특별 주식 supply_chain, sap_mm, weekly
mslb 공급업체의 특별 주식 supply_chain, sap_mm, weekly
rbco 문서 항목, 수신 인보이스, 계정 배정 supply_chain, sap_mm, hourly
rbkp 문서 헤더: 인보이스 영수증 supply_chain, sap_mm, hourly
rseg 문서 항목: 수신 인보이스 supply_chain, sap_mm, hourly
t001k 평가 영역 supply_chain, sap_mm, once
t001l 스토리지 위치 supply_chain, sap_mm, once
t001w 식물/가지 supply_chain, sap_mm, once
t006 측정 단위 supply_chain, sap_mm, yearly
t006a 언어 종속 단위에 Internal 할당 구성, 한 번
t006t 측정기준 텍스트 구성, 한 번
t023 소재 그룹 supply_chain, sap_mm, once
t023t 소재 그룹 설명 supply_chain, sap_mm, once
t024 구매 그룹 supply_chain, sap_mm, once
t024e 구매 조직 supply_chain, sap_mm, once
t134 소재 유형 supply_chain, sap_mm, once
t134t 소재 유형 설명 supply_chain, sap_mm, once
t148t 특별 주식 설명 supply_chain, sap_mm, once
t156 무브먼트 유형 supply_chain, sap_mm, once
t156t 이동 유형 텍스트 구성, 한 번
t157e 텍스트 표: 이동 이유 구성, 한 번
t161 구매 문서 유형 (T161) supply_chain, sap_mm, once
t161t 구매 문서 유형 텍스트 supply_chain, sap_mm, once