BigQuery에 Mailchimp 데이터 로드

Mailchimp용 BigQuery Data Transfer Service 커넥터를 사용하여 Mailchimp에서 BigQuery로 데이터를 로드할 수 있습니다. BigQuery Data Transfer Service를 사용하면 Mailchimp의 최신 데이터를 BigQuery에 추가하는 반복 전송 작업을 예약할 수 있습니다. Mailchimp 커넥터는 Standard 및 Express Mailchimp 계정을 포함한 다중 계정을 지원합니다.

제한사항

  • Mailchimp 마케팅 API는 사용자당 최대 10개의 동시 연결만 지원합니다. 이 한도를 초과하면 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections 오류가 발생합니다.
    • 이 비율 제한에 도달하지 않으려면 Mailchimp 계정당 하나의 데이터 전송만 실행하는 것이 좋습니다.
    • 자세한 내용은 오류 용어집을 참고하세요.
  • Mailchimp의 Integer 데이터 유형은 모든 객체에서 지원되는 최대 값이 2,147,483,647입니다.
    • 하지만 일부 Mailchimp 필드는 EcommerceOrderLines 및 EcommerceCartLines의 Quantity 필드와 같이 더 높은 값을 지원합니다.

배열 필드 제한사항

Mailchimp 커넥터는 다음 Mailchimp 객체에서 ARRAY 필드를 지원하지 않습니다.

Mailchimp 객체 지원되지 않는 ARRAY 필드
Campaigns VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations
EcommerceCarts Lines
EcommerceProducts Variants
ListMembers TagsAggregate
ListMergeFields Options_Choices
Lists Modules
AuthorizedApps Users
AutomationEmails Settings_AutoFbPost
CampaignOpenEmailDetails Opens
EcommerceProductImages VariantIds
ListSignupForms Contents, Styles
ReportEmailActivity Activity
Reports Timewarp

시작하기 전에

다음 섹션에서는 Mailchimp 데이터 전송을 만들기 전에 충족해야 하는 기본 요건을 설명합니다.

Mailchimp 기본 요건

Mailchimp에서 BigQuery로의 데이터 전송을 사용 설정하려면 승인 및 액세스를 위한 Mailchimp API 키가 있어야 합니다. API 키 획득에 대한 자세한 내용은 API 키 생성을 참고하세요.

BigQuery 기본 요건

필요한 BigQuery 역할

BigQuery 데이터 전송 서비스 데이터 전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 관리자 (roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 BigQuery Data Transfer Service 데이터 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

BigQuery Data Transfer Service 데이터 전송을 만들려면 다음 권한이 필요합니다.

  • BigQuery Data Transfer Service 권한:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • BigQuery 권한:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

자세한 내용은 bigquery.admin 액세스 권한 부여를 참고하세요.

Pub/Sub의 전송 실행 알림을 설정하려면 pubsub.topics.setIamPolicy IAM 권한이 있어야 합니다. 이메일 알림만 설정한다면 Pub/Sub 권한이 필요하지 않습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.

Mailchimp 데이터 전송 설정

다음 옵션 중 하나를 사용하여 전송 구성을 설정하여 BigQuery에 Mailchimp 데이터를 추가합니다.

콘솔

  1. Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.

    데이터 전송으로 이동

  2. 전송 만들기를 클릭합니다.

  3. 소스 유형 섹션의 소스에서 Mailchimp - 미리보기를 선택합니다.

  4. 데이터 소스 세부정보 섹션에서 다음을 수행합니다.

    • API 키에 Mailchimp API 키를 입력합니다. 자세한 내용은 Mailchimp 기본 요건을 참고하세요.
    • 선택사항: 시작일에 데이터 전송에 포함할 새 레코드의 시작일을 지정합니다. 이 날짜 또는 그 이후에 생성된 레코드만 데이터 전송에 포함됩니다.
      • YYYY-MM-DD 형식으로 날짜를 입력합니다. 최솟값은 2001-01-01입니다.
    • 전송할 Mailchimp 객체에서 찾아보기를 클릭하여 BigQuery 대상 데이터 세트로 전송할 객체를 선택합니다. 데이터 전송에 포함할 객체를 이 필드에 직접 입력할 수도 있습니다.

  5. 대상 설정 섹션의 데이터 세트에서 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.

  6. 전송 구성 이름 섹션의 표시 이름에 데이터 전송 이름을 입력합니다.

  7. 일정 옵션 섹션에서 다음을 수행합니다.

    • 반복 빈도 목록에서 이 데이터 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택한 경우 수동으로 전송을 트리거하면 이 전송이 실행됩니다.
    • 해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 입력합니다.

  8. 선택사항: 알림 옵션 섹션에서 다음을 수행합니다.

    • 이메일 알림을 사용 설정하려면 이메일 알림 전환 버튼을 클릭합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
    • 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림 전환 버튼을 클릭합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.

  9. 저장을 클릭합니다.

bq

bq mk 명령어를 입력하고 전송 생성 플래그 --transfer_config를 지정합니다.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

다음을 바꿉니다.

  • PROJECT_ID(선택사항): Google Cloud 프로젝트 ID. 특정 프로젝트를 지정하는 --project_id가 입력되지 않으면 기본 프로젝트가 사용됩니다.
  • DATA_SOURCE: 데이터 소스 — mailchimp
  • NAME: 데이터 전송 구성의 표시 이름. 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
  • DATASET. 전송 구성의 대상 데이터 세트

  • PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수. 예를 들면 --params='{"param":"param_value"}'입니다. 다음은 Mailchimp 데이터 전송의 파라미터입니다.

    • assets: BigQuery로 전송할 Mailchimp 객체의 경로입니다.
    • connector.authentication.apiKey: Mailchimp API 키
    • connector.startDate: (선택사항) 데이터 전송에 포함할 새 레코드의 시작일입니다(YYYY-MM-DD 형식). 이 날짜 또는 그 이후에 생성된 레코드만 데이터 전송에 포함됩니다.

다음 명령어는 기본 프로젝트에 Mailchimp 데이터 전송을 만듭니다.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=mailchimp
        --display_name='My Transfer'
        --params='{"assets": "Lists",
            "connector.authentication.apiKey":"1234567",
            "connector.startDate":"2025-01-01"}'
전송 구성을 저장하면 Mailchimp 커넥터가 일정 옵션에 따라 전송 실행을 자동으로 트리거합니다. 전송이 실행될 때마다 Mailchimp 커넥터는 Mailchimp에서 사용 가능한 모든 데이터를 BigQuery로 전송합니다.

정기 일정 외에 데이터 전송을 수동으로 실행하려면 백필 실행을 시작하면 됩니다.

데이터 유형 매핑

다음 표는 Mailchimp 데이터 유형을 해당하는 BigQuery 데이터 유형에 매핑합니다.

Mailchimp 데이터 유형 BigQuery 데이터 유형 설명
String STRING
Integer INT64
Number BIGNUMERIC Mailchimp Number 데이터 객체는 Price 및 OrderTotal과 같은 재무 관련 필드의 경우 BIGNUMERIC 데이터 유형에 매핑되고, Stats_OpenRate 및 Location_Latitude과 같은 기타 필드의 경우 FLOAT64 데이터 유형에 매핑됩니다.
Number FLOAT64
Boolean BOOLEAN
날짜-시간 형식의 String TIMESTAMP STRING 날짜-시간 형식의 데이터 유형은 ISO 8601 형식으로 표시됩니다. 예를 들면 2019-08-24T14:15:22Z입니다.

가격 책정

이 기능이 미리보기 상태인 동안에는 Mailchimp 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.

전송 설정 문제 해결

데이터 전송을 설정하는 데 문제가 있으면 Mailchimp 전송 문제를 참고하세요.

다음 단계