Managed Service for Apache Airflow 설정 수집

이 페이지에서는 Cortex Framework 내에서 데이터를 자동화하기 위해 Managed Service for Apache Airflow 설정을 수집하는 방법을 설명합니다.

Apache Airflow용 관리형 서비스를 사용할 수 있는 경우 데이터가 있는 소스 프로젝트를 가리키는 연결을 생성해야 합니다. 이때 이름은 배포할 워크로드에 따라 다음을 사용합니다. 워크로드에 대한 자세한 내용은 데이터 소스 및 워크로드를 참고하세요. 보고 레이어에서 테이블을 만드는 경우 보고 DAG에 대한 별도의 연결을 만들어야 합니다.

워크로드 배포	Raw로 만들기	CDC용으로 만들기	보고용으로 만들기
SAP	해당 사항 없음	`sap_cdc_bq`	`sap_reporting_bq`
SFDC	`sfdc_cdc_bq`	`sfdc_cdc_bq`	`sfdc_reporting_bq`
Google Ads	`googleads_raw_dataflow`	`googleads_cdc_bq`	`googleads_reporting_bq`
CM360	`cm360_raw_dataflow`	`cm360_cdc_bq`	`cm360_reporting_bq`
메타	`meta_raw_dataflow`	`meta_cdc_bq`	`meta_reporting_bq`
TikTok	`tiktok_raw_dataflow`	`tiktok_cdc_bq`	`tiktok_reporting_bq`
LiveRamp	해당 사항 없음	`liveramp_cdc_bq`	해당 사항 없음
SFMC	`sfmc_raw_dataflow`	`sfmc_cdc_bq`	`sfmc_reporting_bq`
DV360	해당 사항 없음	`dv360_cdc_bq`	`dv360_reporting_bq`
GA4	해당 사항 없음	해당 사항 없음	`ga4_reporting_bq`
Oracle EBS	해당 사항 없음	해당 사항 없음	`oracleebs_reporting_bq`
지속 가능성	해당 사항 없음	해당 사항 없음	`k9_reporting_bq`
일반적인 크기	해당 사항 없음	해당 사항 없음	`k9_reporting`

연결 이름 지정 규칙

연결 이름 지정 규칙에 관한 다음 사양을 고려하세요.

연결 접미사: 연결 이름에는 의도된 용도를 나타내는 접미사가 포함됩니다.
- _bq: BigQuery 데이터에 액세스하는 데 사용됩니다.
- _dataflow: Dataflow 작업을 실행하는 데 사용됩니다.
원시 데이터 연결: Cortex에서 제공하는 데이터 수집 모듈을 사용하는 경우에만 원시 데이터 연결을 만들면 됩니다.
여러 데이터 소스: 여러 데이터 소스 (예: SAP와 Salesforce 모두)를 배포하는 경우 개별 서비스 계정에 보안 제한이 적용된다고 가정하고 각 데이터 소스에 대해 별도의 연결을 만드는 것이 좋습니다. 또는 배포 전에 템플릿에서 연결 이름을 수정하여 BigQuery에 쓸 때 동일한 연결을 사용할 수 있습니다.

보안 권장사항

기본 연결 방지: Airflow에서 제공하는 기본 연결 및 서비스 계정은 특히 프로덕션 환경에서 사용하지 않는 것이 좋습니다. 이는 필요한 최소 액세스 권한만 부여하는 것을 강조하는 최소 권한의 원칙과 일치합니다.
Secret Manager 통합: Airflow에 Secret Manager가 사용 설정된 경우 동일한 이름을 사용하여 Secret Manager 내에서 이러한 연결을 만들 수 있습니다. Secret Manager에 저장된 연결이 Airflow에 직접 정의된 연결보다 우선합니다.