BigQuery 파이프라인 소개

BigQuery 파이프라인을 사용하여 BigQuery 데이터 프로세스를 자동화하고 간소화할 수 있습니다. 파이프라인을 사용하면 코드 애셋을 순서대로 예약하고 실행하여 효율성을 높이고 수동 작업을 줄일 수 있습니다.

개요

파이프라인은 Dataform을 기반으로 합니다. 코드 애셋을 실행하는 것 외에도 Dataform은 파이프라인 내에서 생성된 테이블의 Knowledge Catalog에 있는 메타데이터를 자동으로 업데이트합니다.

파이프라인은 다음 코드 애셋 중 하나 이상으로 구성됩니다.

파이프라인을 사용하여 코드 애셋의 실행을 예약할 수 있습니다. 예를 들어 SQL 쿼리를 매일 실행하도록 예약하고 최신 소스 데이터로 테이블을 업데이트하면 대시보드에 사용할 수 있습니다.

코드 애셋이 여러 개인 파이프라인에서는 실행 시퀀스를 정의합니다. 예를 들어 머신러닝 모델을 학습하려면 SQL 쿼리가 데이터를 준비하고 후속 노트북이 해당 데이터를 사용하여 모델을 학습하는 워크플로를 만들 수 있습니다.

파이프라인 실행을 트리거하면 BigQuery는 종속 항목에 의해 정의된 순서대로 작업을 실행합니다. 각 작업에 대해 BigQuery는 다음 단계를 실행합니다.

  1. BigQuery에서 컴파일된 SQL을 실행합니다.
  2. 실행 로그에서 작업 상태를 업데이트합니다.
  3. 작업이 완료되면 Dataform은 Knowledge Catalog에 대한 메타데이터 동기화를 자동으로 시작합니다. 이 보강 프로세스는 SQLX 구성에 정의된 시맨틱 메타데이터로 Knowledge Catalog를 업데이트합니다. 동기화는 비동기적으로 이루어지며 재시도 메커니즘을 활용하므로 Dataplex API를 일시적으로 사용할 수 없는 경우 메타데이터 업데이트가 파이프라인 지연 시간에 영향을 미치거나 워크플로 실패로 이어지지 않습니다.

기능

파이프라인에서 다음 작업을 할 수 있습니다.

제한사항

파이프라인에는 다음과 같은 제한사항이 적용됩니다.

  • 파이프라인은 Google Cloud 콘솔에서만 사용할 수 있습니다.
  • 파이프라인을 만든 후에는 파이프라인을 저장할 리전을 변경할 수 없습니다.
  • 사용자 또는 그룹에 선택한 파이프라인에 대한 액세스 권한을 부여할 수 있지만 파이프라인 내의 개별 작업에 대한 액세스 권한은 부여할 수 없습니다.
  • 예약된 파이프라인 실행이 다음 예약된 실행이 시작되기 전에 완료되지 않으면 다음 예약된 실행이 건너뛰고 오류로 표시됩니다.

코드 애셋의 기본 리전 설정

Google Cloud 프로젝트의 모든 새 코드 애셋은 기본 리전을 사용합니다. 애셋이 생성된 후에는 리전을 변경할 수 없습니다.

새 코드 애셋의 기본 리전을 설정하려면 다음 단계를 따르세요.

  1. BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 파일을 클릭하여 파일 브라우저를 엽니다.

    **파일** 을 클릭하여 파일 브라우저를 엽니다.

  3. 프로젝트 이름 옆에 있는 파일 패널 작업 보기 > 코드 리전 전환을 클릭합니다.

  4. 기본값으로 사용할 코드 리전을 선택합니다.

  5. 저장을 클릭합니다.

지원되는 리전 목록은 BigQuery Studio 위치를 참고하세요.

모든 코드 애셋은 코드 애셋의 기본 리전에 저장됩니다. 기본 리전을 업데이트하면 해당 시점 이후에 생성된 모든 코드 애셋의 리전이 변경됩니다.

할당량 및 한도

BigQuery 파이프라인에는 Dataform 할당량 및 한도가 적용됩니다.

가격 책정

BigQuery 파이프라인 태스크를 실행하면 BigQuery에서 컴퓨팅 및 스토리지 요금이 청구됩니다. 자세한 내용은 BigQuery 가격 책정을 참조하세요.

노트북이 포함된 파이프라인에는 기본 머신 유형에 따라 Colab Enterprise 런타임 요금이 청구됩니다. 가격 책정의 세부정보는 Colab Enterprise 가격 책정을 참조하세요.

각 BigQuery 파이프라인 실행은 Cloud Logging을 사용하여 로깅됩니다. Logging은 BigQuery 파이프라인 실행에 자동으로 사용 설정되며, Cloud Logging 청구 요금이 발생할 수 있습니다. 자세한 내용은 Cloud Logging 가격 책정을 참조하세요.

다음 단계