제3자 전송 사용

BigQuery Data Transfer Service에 제3자 전송을 사용하면 Salesforce CRM, Adobe Analytics, Facebook Ads와 같은 외부 데이터 소스의 반복적인 로드 작업을 자동으로 예약 및 관리할 수 있습니다.

시작하기 전에

타사 데이터 전송을 만들기 전에 다음을 수행합니다.

• BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
• 데이터를 저장할 BigQuery 데이터세트를 만듭니다.
• 타사 데이터 소스의 문서를 참조하여 전송을 사용 설정하는 데 필요한 권한을 구성했는지 확인합니다.
• Pub/Sub의 전송 실행 알림을 설정하려면 pubsub.topics.setIamPolicy 권한이 있어야 합니다. 이메일 알림만 설정한다면 Pub/Sub 권한이 필요하지 않습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.

필요한 BigQuery 역할

BigQuery 데이터 전송 서비스 데이터 전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 BigQuery 관리자 (roles/bigquery.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 BigQuery Data Transfer Service 데이터 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

BigQuery Data Transfer Service 데이터 전송을 만들려면 다음 권한이 필요합니다.

• BigQuery Data Transfer Service 권한:
  • bigquery.transfers.update
  • bigquery.transfers.get
• BigQuery 권한:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

자세한 내용은 bigquery.admin 액세스 권한 부여를 참고하세요.

제한사항

타사 전송에는 다음과 같은 제한사항이 적용됩니다.

• Google Cloud 콘솔을 사용하여 서드 파티 전송을 만들거나 업데이트해야 합니다.
• bq 명령줄 도구를 사용하여 제3자 전송을 구성하거나 업데이트할 수 없습니다.

제3자 데이터 전송 설정

Google Cloud 콘솔을 사용하여 서드 파티 데이터 전송을 만들려면 다음 안내를 따르세요.

1. Google Cloud Marketplace로 이동합니다.

   Google Cloud Marketplace로 이동

2. 적절한 타사 제공업체를 클릭합니다.

3. 제3자 제공업체의 문서 페이지에서 등록을 클릭합니다. 등록이 처리되는 데 시간이 다소 걸릴 수 있습니다.

4. 등록이 완료되면 전송 구성을 클릭합니다.

5. 전송 만들기 페이지에서 다음을 수행합니다.

   • 소스에서 적절한 타사 데이터 소스를 선택합니다. 데이터 소스 탐색을 클릭하여 Google Cloud Marketplace에서 제3자 제공업체 목록을 볼 수 있습니다.

     

   • 표시 이름에 전송 이름(예: My Transfer)을 입력합니다. 전송 이름은 나중에 수정해야 할 경우에 대비해 전송을 식별할 수 있는 값이면 됩니다.

     

   • 일정에서 기본값(지금 시작)을 유지하거나 설정 시간에 시작을 클릭합니다.

     • 반복 빈도에서 전송을 실행할 빈도 옵션을 선택합니다. 옵션은 다음과 같습니다.

       • 매일(기본값)
       • 매주
       • 매월
       • 커스텀
       • 주문형

       매일 이외의 옵션을 선택하면 추가 옵션이 제공됩니다. 예를 들어 매주를 선택하면 요일을 선택할 수 있는 옵션이 나타납니다.

     • 시작일 및 실행 시간에 전송을 시작할 날짜와 시간을 입력합니다. 지금 시작을 선택하면 이 옵션은 사용 중지됩니다.

       

   • 대상 데이터세트에서 데이터를 저장하기 위해 만든 데이터세트를 선택합니다.

     

   • (선택사항) 알림 옵션 섹션에서 다음을 수행합니다.

     • 전환을 클릭하여 이메일 알림을 사용 설정합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
     • Cloud Pub/Sub 주제 선택에서 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만듭니다. 이 옵션은 전송에 대한 Pub/Sub 실행 알림을 구성합니다.

6. 소스 연결을 클릭합니다.

   참고: 대상 데이터세트를 선택하지 않은 경우 소스 연결을 클릭하면 A selected destination dataset is required before connecting to the source. 오류가 발생합니다.

7. 메시지가 표시되면 수락을 클릭하여 데이터 소스에 연결하고 BigQuery의 데이터를 관리할 수 있는 BigQuery Data Transfer Service 권한을 부여합니다.

8. 다음 페이지의 안내를 따라 외부 데이터 소스에 연결을 구성합니다.

9. 구성 단계를 완료했으면 저장을 클릭합니다.

제3자 전송 설정 문제 해결

전송 설정 중에 문제가 발생하면 관련 제3자 공급업체에 문의하세요. 연락처 정보는 Google Cloud Marketplace의 전송 설명서 페이지에 표시되어 있습니다.

데이터 쿼리

BigQuery로 전송되는 데이터는 내부 데이터화 시간별로 파티션을 나눈 테이블에 기록됩니다. 자세한 내용은 파티션을 나눈 테이블 소개를 참조하세요.

자동 생성된 뷰를 사용하지 않고 직접 테이블을 쿼리하는 경우에는 쿼리에서 _PARTITIONTIME 유사 열을 사용해야 합니다. 자세한 내용은 파티션을 나눈 테이블 쿼리를 참조하세요.

다음 단계

• BigQuery Data Transfer Service 개요는 BigQuery Data Transfer Service 소개를 참조하세요.
• 전송 구성 정보 가져오기, 전송 구성 나열, 전송 실행 기록 보기를 포함한 전송 사용에 대한 정보는 전송 작업을 참조하세요.