BigQuery 파이프라인 소개

BigQuery 파이프라인을 사용하여 BigQuery 데이터 프로세스를 자동화하고 간소화할 수 있습니다. 파이프라인을 사용하면 코드 애셋을 순서대로 예약하고 실행하여 효율성을 개선하고 수동 작업을 줄일 수 있습니다.

개요

파이프라인은 Dataform을 기반으로 합니다.

파이프라인은 다음 코드 애셋 중 하나 이상으로 구성됩니다.

파이프라인을 사용하여 코드 애셋의 실행을 예약할 수 있습니다. 예를 들어 SQL 쿼리를 매일 실행하도록 예약하고 최신 소스 데이터로 테이블을 업데이트하면 대시보드에 사용할 수 있습니다.

코드 애셋이 여러 개인 파이프라인에서는 실행 시퀀스를 정의합니다. 예를 들어 머신러닝 모델을 학습하려면 SQL 쿼리가 데이터를 준비하고 후속 노트북이 해당 데이터를 사용하여 모델을 학습하는 워크플로를 만들 수 있습니다.

기능

파이프라인에서 다음 작업을 할 수 있습니다.

제한사항

파이프라인에는 다음과 같은 제한사항이 적용됩니다.

  • 파이프라인은 Google Cloud 콘솔에서만 사용할 수 있습니다.
  • 파이프라인을 만든 후에는 파이프라인을 저장할 리전을 변경할 수 없습니다.
  • 사용자 또는 그룹에 선택한 파이프라인에 대한 액세스 권한을 부여할 수 있지만 파이프라인 내의 개별 태스크에 대한 액세스 권한은 부여할 수 없습니다.
  • 예약된 파이프라인 실행이 다음 예약된 실행이 시작되기 전에 완료되지 않으면 다음 예약된 실행이 건너뛰고 오류로 표시됩니다.

코드 애셋의 기본 리전 설정

프로젝트의 모든 새 코드 애셋은 기본 리전을 사용합니다. Google Cloud 애셋을 만든 후에는 리전을 변경할 수 없습니다.

새 코드 애셋의 기본 리전을 설정하려면 다음 단계를 따르세요.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 파일 을 클릭하여 파일 브라우저를 엽니다.

    **파일** 을 클릭하여 파일 브라우저를 엽니다.

  3. 프로젝트 이름 옆에 있는 파일 패널 작업 보기 > 코드 리전 전환을 클릭합니다.

  4. 기본값으로 사용할 코드 리전을 선택합니다.

  5. 저장 을 클릭합니다.

지원되는 리전 목록은 BigQuery Studio 위치를 참조하세요.

모든 코드 애셋은 코드 애셋의 기본 리전에 저장됩니다. 기본 리전을 업데이트하면 해당 시점 이후에 생성된 모든 코드 애셋의 리전이 변경됩니다.

할당량 및 한도

BigQuery 파이프라인에는 Dataform 할당량 및 한도가 적용됩니다.

가격 책정

BigQuery 파이프라인 태스크를 실행하면 BigQuery에서 컴퓨팅 및 스토리지 요금이 청구됩니다. 자세한 내용은 BigQuery 가격 책정을 참조하세요.

노트북이 포함된 파이프라인에는 기본 머신 유형에 따라 Colab Enterprise 런타임 요금이 청구됩니다. 가격 책정의 세부정보는 Colab Enterprise 가격 책정을 참조하세요.

각 BigQuery 파이프라인 실행은 Cloud Logging을 사용하여 로깅됩니다. Logging은 BigQuery 파이프라인 실행에 자동으로 사용 설정되며, Cloud Logging 청구 요금이 발생할 수 있습니다. 자세한 내용은 Cloud Logging 가격 책정을 참조하세요.

다음 단계