BigQuery에 PayPal 데이터 로드

BigQuery Data Transfer Service와 함께 PayPal 커넥터를 사용하여 PayPal에서 BigQuery로 데이터를 로드할 수 있습니다. PayPal 커넥터를 사용하면 PayPal의 최신 데이터를 BigQuery에 추가하는 반복 전송 작업을 예약할 수 있습니다.

PayPal 커넥터는 프로덕션 및 샌드박스 PayPal 계정을 지원합니다.

지원되는 객체

PayPal 객체 유형 BigQuery 지원 객체 날짜 필터 지원
거래 TransactionReports 지원됨
TransactionReportsCartInfoItemDetails 지원됨
TransactionReportsIncentiveDetails 지원됨
이의 제기 이의 제기 지원됨
DisputeDetails 지원됨
DisputeTransactions 지원됨
결제 결제 지원됨
PaymentTransactions 지원됨
잔고 잔고 지원되지 않음
제품 제품 지원되지 않음
ProductDetails 지원되지 않음
인보이스 인보이스 지원됨

제한사항

PayPal 데이터 전송에는 다음과 같은 제한사항이 적용됩니다.

  • PayPal API를 통해 PayPal 거래를 사용할 수 있게 되기까지 몇 시간이 걸릴 수 있습니다.
    • 데이터 누락을 방지하려면 후속 데이터 전송을 더 긴 간격 (매시간 1회 이하)으로 예약하는 것이 좋습니다.
  • PayPal 커넥터는 지난 3년간의 거래 데이터만 지원합니다.
  • PayPal 커넥터는 지난 6개월간의 분쟁 데이터만 지원합니다.
  • PayPal API는 데이터 객체마다 서로 다른 페이지 크기 제한을 사용합니다. PayPal 커넥터는 데이터 전송 시 PayPal에서 허용하는 최대 페이지 크기를 사용합니다.
    • 하지만 Payments 또는 Payment Transactions과 같은 일부 객체는 더 작은 페이지 크기 제한을 사용합니다. 이로 인해 특히 대규모 데이터 세트를 처리할 때 데이터 전송 속도가 느려질 수 있습니다.

시작하기 전에

다음 섹션에서는 PayPal 데이터 전송을 만들기 전에 취해야 할 조치를 설명합니다.

PayPal 기본 요건

PayPal에서 데이터 전송을 사용 설정하려면 다음이 필요합니다.

  • PayPal 개발자 계정이 있어야 합니다. 자세한 내용은 PayPal 개발자 프로그램을 참고하세요.
  • PayPal REST API 앱을 만듭니다. 자세한 내용은 PayPal REST API 시작하기를 참고하세요.
    • 앱 및 사용자 인증 정보 섹션에서 앱의 클라이언트 ID와 보안 키를 기록해 둡니다.
    • 기능 섹션에서 거래 검색 및 인보이스 API 권한을 사용 설정합니다.

필요한 BigQuery 역할

전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 BigQuery 관리자(roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

전송을 만들려면 다음 권한이 필요합니다.

  • 사용자에 대한 bigquery.transfers.update
  • 대상 데이터 세트에 대한 bigquery.datasets.get
  • 대상 데이터 세트에 대한 bigquery.datasets.update

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

BigQuery 기본 요건

PayPal 데이터 전송 설정

다음 옵션 중 하나를 사용하여 전송 구성을 설정하여 BigQuery에 PayPal 데이터를 추가합니다.

콘솔

  1. Google Cloud 콘솔에서 데이터 전송 페이지로 이동합니다.

    데이터 전송으로 이동

  2. 전송 만들기를 클릭합니다.

  3. 소스 유형 섹션의 소스에서 PayPal을 선택합니다.

  4. 데이터 소스 세부정보 섹션에서 다음을 수행합니다.

    • 클라이언트 ID에 PayPal 클라이언트 ID를 입력합니다. 자세한 내용은 PayPal 기본 요건을 참고하세요.
    • 클라이언트 보안 비밀에 PayPal 클라이언트 보안 비밀 키를 입력합니다. 자세한 내용은 PayPal 기본 요건을 참고하세요.
    • 샌드박스 PayPal 계정을 사용하는 경우 Is Sandbox를 선택합니다.
    • 시작일에 YYYY-MM-DD 형식으로 날짜를 입력합니다. 데이터 전송은 이 날짜부터 PayPal 데이터를 로드합니다.
      • 이 필드를 비워 두면 지난 3년간의 데이터를 가져오는 것이 기본값으로 설정됩니다.
      • 시작 날짜 필터를 지원하는 객체에 대한 자세한 내용은 지원되는 객체를 참고하세요.
    • 전송할 PayPal 객체에 전송할 PayPal 객체의 이름을 입력하거나 찾아보기를 클릭하고 전송할 객체를 선택합니다.

  5. 대상 설정 섹션의 데이터 세트에서 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.

  6. 전송 구성 이름 섹션의 표시 이름에 데이터 전송 이름을 입력합니다.

  7. 일정 옵션 섹션에서 다음을 수행합니다.

    • 반복 빈도 목록에서 이 데이터 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택한 경우 수동으로 전송을 트리거하면 이 전송이 실행됩니다.
    • 해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 입력합니다.

  8. 선택사항: 알림 옵션 섹션에서 다음을 수행합니다.

    • 이메일 알림을 사용 설정하려면 이메일 알림을 사용 설정 위치로 전환합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
    • 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림을 사용 설정으로 전환합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.

  9. 저장을 클릭합니다.

bq

bq mk 명령어를 입력하고 전송 생성 플래그 --transfer_config를 지정합니다.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

각 항목의 의미는 다음과 같습니다.

  • PROJECT_ID(선택사항): Google Cloud 프로젝트 ID. 특정 프로젝트를 지정하는 --project_id가 입력되지 않으면 기본 프로젝트가 사용됩니다.
  • DATA_SOURCE: 데이터 소스 — paypal
  • DISPLAY_NAME: 데이터 전송 구성의 표시 이름. 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
  • DATASET. 전송 구성의 대상 데이터 세트

  • PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수. 예를 들면 --params='{"param":"param_value"}'입니다. 다음은 PayPal 데이터 전송의 파라미터입니다.

    • assets: 이 트랜스퍼에 포함할 PayPal 객체 목록입니다.
    • connector.authentication.clientId: PayPal 애플리케이션의 클라이언트 ID입니다.
    • connector.authentication.clientSecret: PayPal 애플리케이션의 클라이언트 보안 비밀번호입니다.
    • connector.isSandbox: 샌드박스 PayPal 계정을 사용하는 경우 값을 true으로 설정하고 프로덕션 PayPal 계정을 사용하는 경우 false로 설정합니다.
    • connector.createdStartDate: (선택사항) YYYY-MM-DD 형식으로 날짜를 입력합니다. 데이터 전송은 이 날짜부터 PayPal 데이터를 로드합니다.

예를 들어 다음 명령어는 필요한 모든 파라미터를 사용하여 기본 프로젝트에 PayPal 데이터 전송을 만듭니다.

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

bq 명령줄 도구를 사용하여 데이터 전송을 만들면 전송 구성이 8시간마다 데이터 전송을 예약합니다.

API

projects.locations.transferConfigs.create 메서드를 사용하고 TransferConfig 리소스의 인스턴스를 지정합니다.

전송 구성을 저장하면 PayPal 커넥터가 일정 옵션에 따라 전송 실행을 자동으로 트리거합니다. 전송이 실행될 때마다 PayPal 커넥터는 PayPal에서 사용 가능한 모든 데이터를 BigQuery로 전송합니다.

정기 일정 외에 데이터 전송을 수동으로 실행하려면 백필 실행을 시작하면 됩니다.

데이터 유형 매핑

다음 표는 PayPal 데이터 유형을 해당하는 BigQuery 데이터 유형에 매핑합니다.

PayPal 데이터 유형 BigQuery 데이터 유형
String STRING
Decimal BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP

전송 설정 문제 해결

데이터 전송을 설정하는 데 문제가 있으면 PayPal 전송 문제를 참고하세요.

가격 책정

이 기능이 미리보기 상태인 동안에는 PayPal 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.

다음 단계