SAP ERP 데이터 소스

SAP ERP용 Google Cloud Cortex Framework 데이터 기반 레이어에는 소스 시스템 원시 데이터에 대한 연결이 필요합니다. SAP ECC와 SAP S/4HANA가 모두 지원됩니다.

Cortex Framework 콘텐츠를 배포하기 전에 관련 SAP ERP 테이블을 BigQuery로 복제해야 합니다. 변경 데이터 캡처 (CDC) 처리를 위한 전용 원시 레이어 데이터 세트에 데이터를 배치하거나 기존 CDC 파이프라인을 사용하여 데이터 기반 레이어에 직접 데이터를 제공하면 됩니다. 자세한 내용은 SAP ERP 데이터 복제를 위한 기술 요구사항을 참고하세요.

원시 테이블 형식으로 데이터를 BigQuery로 복제할 수 있는 한 원하는 복제 도구를 사용할 수 있습니다. 예를 들어, Google Cloud 솔루션에는 SAP용 BigQuery 커넥터 (SAP SLT 필요) 및 SAP용 BigQuery 툴킷이 포함됩니다.

SAP ERP의 복제된 원시 데이터 세트와 Cortex Framework 데이터 기반 레이어 간의 호환성을 보장하려면 다음 요구사항을 충족해야 합니다.

SAP ERP 데이터 복제를 위한 기술 요구사항

BigQuery에서 SAP 데이터를 Cortex Framework로 복제하기 위한 다음 기술 요구사항을 검토하고 완료해야 합니다.

  1. 원시 데이터 구조: ECC 또는 S/4HANA의 데이터는 SAP의 기본 테이블과 동일한 구조로 비즈Query에 배치되어야 하며 비즈니스 변환은 없습니다. 테이블은 SAP에 있는 대로 필요한 필드 이름, 유형, 세분성으로 복제되어야 합니다.

  2. 테이블 구성: 변환할 테이블 목록은 table_settings.yaml 파일 (config/cortex/data_foundation/sap에 있음)에 정의됩니다. 배포 중에 필요한 테이블이 누락되면 이에 종속된 특정 데이터 제품이 실패합니다.

  3. 메타데이터 요구사항: SAP 소스에서 config/config.yaml의 기반 모듈 소스로 구성된 원시 데이터 세트로 DD03L과 같은 메타데이터 테이블을 복제해야 합니다. 이러한 메타데이터 테이블은 원시 데이터 세트에 있어야 하지만 데이터 기반 table_settings.yaml 파일에는 포함되지 않으며 데이터 기반 레이어에서 처리되지 않습니다. 복제된 DD03L 테이블에 수집하려는 테이블 (예: sflight와 같은 커스텀 또는 보조 테이블)의 필드 메타데이터 레코드가 포함되어 있는지 확인합니다. Cortex Framework 빌드 스크립트 및 종속성 확인자는 이러한 메타데이터 행을 읽어 테이블 간의 열 목록, 데이터 유형, 기본 키 관계를 식별합니다.

  4. 대소문자: Cortex Framework 데이터 모델 호환성을 위해 BigQuery의 복제된 SAP 테이블 이름은 소문자여야 합니다 (예: BigQuery에서 SAP 테이블 MARA가 mara가 됨).

  5. 객체 이름 (열) 및 특수문자: 특수문자(/, -, 선행 밑줄 _ 등)가 포함된 객체 이름 (열)의 경우 Cortex는 일반적인 삭제 패턴을 예상합니다.

    • 영숫자가 아닌 문자는 모두 밑줄 _로 대체됩니다.
    • 선행 밑줄과 숫자는 허용되지 않습니다. 예를 들어 /GOOG/TEST는 goog_test가 되고 _DATAAGING은 dataaging이 됩니다. 복제 도구가 선행 밑줄이 보존된 데이터를 배치하는 경우 데이터 기반 레이어에서 정규화 단계(별칭 지정)가 필요합니다.

  6. 데이터 전파 필드: CDC (변경 데이터 캡처) 및 데이터 전파를 지원하려면 복제된 SAP 테이블에 다음이 있어야 합니다.

    • operation_flag라는 작업 플래그(L = 초기 로드, I = 삽입, U = 업데이트, D = 삭제)
    • recordstamp라는 타임스탬프 (로드 시 현재 타임스탬프로 채워짐)
    • 선택사항: 추가 필드 is_deleted (BOOLEAN)가 복제된 _DS_RAW 테이블에서 선택됩니다 (초기 로드 시 기본값은 false). Cortex에서 생성된 런타임 뷰는 이 열을 참조하지만 복제 도구에서 생성하지 않는 경우 실행 전에 CDC 및 뷰 템플릿에서 삭제할 수 있습니다.

  7. 데이터 유형: 호환성을 위해 SAP 데이터 유형을 BigQuery 데이터 유형에 매핑해야 합니다.

    표준 작업에 필요:

    데이터 유형 SAP 데이터 유형 BigQuery 설명
    DATS DATE 날짜 데이터 유형
    TIMS TIME 시간 데이터 유형

  8. 정밀도 및 호환성을 위해 적극 권장:

    • CURR (통화) 및 QUAN (수량)이 NUMERIC 또는 BIGNUMERIC에 매핑됨 (FLOAT64는 금융 계산에서 반올림 오류를 방지하기 위해 사용하지 않음).
    • NUMC (숫자 문자)가 STRING에 매핑됨 (문서 번호 및 항목 번호의 선행 0을 보존하여 조인이 성공적으로 이루어지도록 함).

  9. 페이로드 압축: BigQuery에서 빈 SAP 열 (초기 값 공백 또는 0 등)이 NULL로 채워지지 않도록 하려면 커101}넥터 구성에서 페이로드 압축이 비활성화되어 있는지 확인합니다('압축되지 않은 데이터 전송'이 사용 설정되어 있는지 확인). 이렇게 하면 빈 문자열 또는 0이 기본적으로 NULL이 되는 대신 대상에서 그대로 보존됩니다.