Salesforce Marketing Cloud와의 통합

이 페이지에서는 Cortex Framework Data Foundation의 마케팅 워크로드 데이터 소스로 Salesforce Marketing Cloud (SFMC)의 데이터를 가져오는 데 필요한 구성을 설명합니다.

SFMC는 Salesforce에서 제공하는 디지털 마케팅 자동화 플랫폼입니다. 비즈니스에 여러 채널에서 다양한 마케팅 활동을 관리하고 자동화할 수 있는 포괄적인 도구 모음을 제공합니다. Cortex Framework는 결과를 이해하고, 개선 분야를 파악하고, 더 나은 결과를 위해 마케팅 전략을 최적화하는 데 도움이 되는 데이터 분석 및 AI 엔진 역할을 합니다.

다음 다이어그램은 Cortex Framework Data Foundation의 마케팅 워크로드를 통해 SFMC 데이터를 사용할 수 있는 방법을 설명합니다.

SFMC 데이터 소스

그림 1. SFMC 데이터 소스

구성 파일

config.json 파일은 다양한 워크로드에서 데이터를 전송하기 위해 데이터 소스에 연결하는 데 필요한 설정을 구성합니다. 이 파일에는 SFMC의 다음 매개변수가 포함되어 있습니다.

   "marketing": {
        "deploySFMC": true,
        "SFMC": {
            "deployCDC": true,
            "fileTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_SFMC"
            }
        }
    }

다음 표에서는 각 마케팅 매개변수의 값을 설명합니다.

매개변수	의미	기본값	설명
`marketing.deploySFMC`	SFMC 배포	`true`	SFMC 데이터 소스의 배포를 실행합니다.
`marketing.SFMC.deployCDC`	SFMC용 CDC 스크립트 배포	`true`	관리형 Airflow에서 DAG로 실행할 Salesforce Marketing Cloud (SFMC) CDC 처리 스크립트를 생성합니다.
`marketing.SFMC.fileTransferBucket`	데이터 추출 파일이 있는 버킷	-	Salesforce Marketing Cloud (SFMC) Automation Studio 데이터 추출 파일이 저장되는 버킷입니다.
`marketing.SFMC.datasets.cdc`	SFMC용 CDC 데이터 세트		Salesforce Marketing Cloud (SFMC)의 CDC 데이터 세트입니다.
`marketing.SFMC.datasets.raw`	SFMC의 원시 데이터 세트		Salesforce Marketing Cloud (SFMC)의 원시 데이터 세트입니다.
`marketing.SFMC.datasets.reporting`	SFMC 보고 데이터 세트	`"REPORTING_SFMC"`	Salesforce Marketing Cloud (SFMC)의 보고 데이터 세트입니다.

데이터 모델

이 섹션에서는 엔티티 관계 다이어그램 (ERD)을 사용하여 Salesforce Marketing Cloud (SFMC) 데이터 모델을 설명합니다.

그림 2. Salesforce Marketing Cloud (SFMC): 엔티티 관계 다이어그램

기본 뷰

ERD의 파란색 객체이며 일부 열 이름 별칭 외에는 변환이 없는 CDC 테이블의 뷰입니다. src/marketing/src/SFMC/src/reporting/ddls의 스크립트를 참고하세요.

보고 보기

ERD의 녹색 객체이며 집계 측정항목이 포함된 보고 뷰입니다. src/marketing/src/SFMC/src/reporting/ddls의 스크립트를 참고하세요.

Automation Studio를 사용한 데이터 추출

SFMC Automation Studio를 사용하면 SFMC 소비자가 SFMC 데이터를 다양한 스토리지 시스템으로 내보낼 수 있습니다. Cortex Framework Data Foundation은 Cloud Storage 버킷에서 Automation Studio로 생성된 파일 집합을 찾습니다. 이 과정에서 SFMC Email Studio도 사용해야 합니다.

데이터 추출 및 내보내기 프로세스를 설정하려면 다음 단계를 따르세요.

Cloud Storage 버킷을 설정합니다. 이 버킷은 SFMC에서 내보낸 파일을 저장합니다. 버킷 이름을 marketing.SFMC.fileTransferBucket 구성 매개변수로 지정합니다. Salesforce 문서의 안내를 참고하세요.
데이터 확장 프로그램 만들기 데이터를 추출할 각 항목에 대해 Email Studio에서 데이터 확장 프로그램을 만듭니다. SFMC 내부 데이터베이스에서 데이터 소스를 식별하는 데 필요합니다.
- 항목의 src/SFMC/config/table_schema에 정의된 모든 필드를 나열합니다. 필드를 더 많이 또는 더 적게 추출하도록 이를 맞춤설정해야 하는 경우 이러한 단계와 테이블 스키마 파일에서 필드 목록이 정렬되어 있는지 확인하세요. 예를 들면 다음과 같습니다.
```
  Entity: unsubscribe
  Fields:
  AccountID
  OYBAccountID
  JobID
  ListID
  BatchID
  SubscriberID
  SubscriberKey
  EventDate
  IsUnique
  Domain
```
SQL 쿼리 활동을 만듭니다. 각 항목에 대해 SQL 쿼리 활동을 만듭니다. 이 활동은 이전에 생성된 해당 데이터 확장 프로그램에 연결됩니다. 이 단계는 Salesforce 문서 를 참고하세요.
1. 모든 관련 필드를 사용하여 SQL 쿼리를 정의합니다. 쿼리는 이전 단계의 데이터 확장 프로그램에 정의된 항목과 관련된 모든 필드를 선택해야 합니다.
2. 올바른 데이터 확장 프로그램을 타겟으로 선택합니다.
3. 데이터 작업으로 덮어쓰기를 선택합니다.
4. 다음 예시 쿼리를 참조하세요.
```
  SELECT
    AccountID,
    OYBAccountID,
    JobID,
    ListID,
    BatchID,
    SubscriberID,
    SubscriberKey,
    EventDate,
    IsUnique,
    Domain
  FROM
    _Unsubscribe
```
데이터 추출 활동을 만듭니다. 각 항목에 대한 데이터 추출 활동 을 만드는 방법은 Salesforce 문서를 참고하세요. 이 활동은 Salesforce 데이터 확장 프로그램에서 데이터를 가져와 CSV 파일로 추출합니다. 이 단계에서는 다음을 수행합니다.
1. 올바른 명명 패턴을 사용합니다. 설정에 정의된 패턴과 일치해야 합니다. 예를 들어 Unsubscribe 항목의 경우 파일 이름은 unsubscribe_%%Year%%_%%Month%%_%%Day%% %%Hour%%.csv와 같을 수 있습니다.
2. 추출 유형을 Data Extension Extract로 설정합니다.
3. 열 헤더 있음 및 텍스트가 따옴표로 묶임 옵션을 선택합니다.
파일 변환 활동을 만들어 형식을 UTF-16에서 UTF-8로 변환합니다. 기본적으로 Salesforce는 CSV 파일을 UTF-16으로 내보냅니다. 이 단계에서는 UTF-8 형식으로 변환합니다. 각 항목에 대해 파일 변환을 위한 또 다른 데이터 추출 활동을 만듭니다. 이 단계에서는 다음을 수행합니다.
- 데이터 추출 활동의 이전 단계에서 사용된 것과 동일한 파일 이름 패턴을 사용합니다.
- 추출 유형을 File Convert로 설정합니다.
- Convert To의 드롭다운에서 UTF8를 선택합니다.
파일 전송 활동을 만듭니다. 각 항목에 대해 파일 전송 활동을 만듭니다. 이러한 활동은 추출된 CSV 파일을 Salesforce Safehouse에서 Cloud Storage 버킷으로 이동합니다. 이 단계에서는 다음을 수행합니다.
- 이전 단계에서 사용한 것과 동일한 파일 이름 패턴을 사용합니다.
- 이 프로세스에서 이전에 설정한 Cloud Storage 버킷을 대상으로 선택합니다.
실행을 예약합니다. 모든 활동이 완료되면 자동 일정을 설정하여 활동을 실행합니다.

데이터 업데이트 빈도 및 지연

일반적으로 Cortex Framework 데이터 소스의 데이터 기록 빈도는 업스트림 연결에서 허용하는 사항과 DAG 실행 빈도에 따라 제한됩니다. 업스트림 빈도, 리소스 제약, 비즈니스 요구사항에 맞게 DAG 실행 빈도를 조정합니다.

SFMC Automation Studio를 사용하면 데이터 내보내기가 설정될 때의 예약 지연 시간에 따라 데이터 기록 빈도 지연 시간이 달라집니다.

Managed Service for Apache Airflow 연결 권한

관리형 Airflow에서 다음 연결을 만듭니다. 자세한 내용은 Airflow 연결 관리 문서를 참고하세요.

연결 이름	목적
`sfmc_raw_dataflow`	SFMC 추출 파일 > BigQueryRaw 데이터 세트
`sfmc_cdc_bq`	원시 데이터 세트 > CDC 데이터 세트 전송
`sfmc_reporting_bq`	CDC 데이터 세트 > 보고 데이터 세트 전송

관리 Airflow 서비스 계정 권한

관리형 Airflow에서 사용되는 서비스 계정 (sfmc_raw_dataflow 연결에 구성됨)에 Dataflow 관련 권한이 필요합니다. Dataflow 문서의 안내를 참고하세요.

수집 설정

src/SFMC/config/ingestion_settings.yaml 파일의 설정을 통해 Source to Raw 및 Raw to CDC 데이터 파이프라인을 제어합니다. 이 섹션에서는 각 데이터 파이프라인의 매개변수를 설명합니다.

소스에서 원시 테이블로

이 섹션에는 Automation Studio에서 추출한 파일이 사용되는 방식을 제어하는 항목이 있습니다. 각 항목은 하나의 SFMC 항목에 해당합니다. 이 구성을 기반으로 Cortex Framework는 내보낸 파일의 데이터를 원시 데이터 세트의 BigQuery 테이블로 로드하는 Dataflow 파이프라인을 실행하는 Airflow DAG를 만듭니다.

src/SFMC/config/table_schema 디렉터리에는 SFMC에서 추출된 각 항목의 스키마 파일이 포함됩니다. 각 파일에서는 Automaton Studio에서 추출한 CSV 파일을 읽어 BigQueryraw 데이터 세트에 성공적으로 로드하는 방법을 설명합니다.

각 스키마 파일에는 다음 세 개의 열이 포함됩니다.

SourceField: CSV 파일의 필드 이름입니다.
TargetField: 이 항목의 원시 테이블에 있는 열 이름입니다.
DataType: 각 원시 테이블 필드의 데이터 유형입니다.

다음 매개변수는 각 항목의 Source to Raw 설정을 제어합니다.

매개변수	설명
`base_table`	SFMC 항목 추출 데이터가 로드되는 원시 테이블 이름입니다.
`load_frequency`	추출된 파일에서 데이터를 로드하기 위해 이 항목의 DAG가 실행되는 빈도입니다. 가능한 값에 대한 자세한 내용은 Airflow 문서를 참고하세요.
`file_pattern`	Automation Studio에서 Cloud Storage 버킷으로 내보낸 이 테이블의 파일 패턴입니다. 추출된 파일에 제안된 이름과 다른 이름을 선택한 경우에만 이를 변경하세요.
`partition_details`	성능 고려사항을 위해 원시 테이블이 파티셔닝되는 방식입니다. 자세한 내용은 테이블 파티션을 참고하세요.
`cluster_details`	선택사항: 성능을 고려하여 원시 테이블을 클러스터링하려는 경우 자세한 내용은 클러스터 설정을 참고하세요.

원시 테이블에서 CDC 테이블로

이 섹션에서는 원시 테이블에서 CDC 테이블로 데이터가 이동하는 방식을 제어하는 항목을 설명합니다. 각 항목은 원시 테이블에 해당합니다.

다음 매개변수는 각 항목의 Raw to CDC 설정을 제어합니다.

매개변수	설명
`base_table`	CDC 변환 후 원시 데이터가 저장되는 CDC 데이터 세트의 테이블입니다.
`load_frequency`	이 항목의 DAG가 CDC 테이블을 채우기 위해 실행되는 빈도입니다. 가능한 값에 대한 자세한 내용은 Airflow 문서를 참고하세요.
`raw_table`	원시 데이터 세트의 소스 테이블입니다.
`row_identifiers`	이 테이블의 고유 레코드를 형성하는 열 (쉼표로 구분)입니다.
`partition_details`	성능 고려사항을 위해 CDC 테이블이 파티셔닝되는 방식 자세한 내용은 테이블 파티션을 참고하세요.
`cluster_details`	선택사항: 성능을 고려하여 이 테이블을 클러스터링하려는 경우 자세한 내용은 클러스터 설정을 참고하세요.

보고서 설정

보고 설정 파일(src/SFMC/config/reporting_settings.yaml)을 사용하여 Cortex Framework가 SFMC 최종 보고 레이어의 데이터를 생성하는 방식을 구성하고 제어할 수 있습니다. 이 파일은 보고 레이어 BigQuery 객체(테이블, 뷰,함수 또는 저장 프로시저)가 생성되는 방식을 제어합니다. 자세한 내용은 보고 설정 파일 맞춤설정을 참고하세요.

다음 단계

기타 데이터 소스 및 워크로드에 대한 자세한 내용은 데이터 소스 및 워크로드를 참고하세요.
프로덕션 환경에서의 배포 단계에 관한 자세한 내용은 Cortex Framework 데이터 기반 배포 필수사항을 참고하세요.