파이프라인 및 연결 페이지를 사용하여 데이터 통합 워크플로 만들기

BigQuery 파이프라인 및 연결 페이지를 사용하면 Google Cloud 콘솔 내에서 직접 데이터 통합 작업을 관리하고 간소화할 수 있습니다. 이 페이지에서는 BigQuery Data Transfer Service, Datastream, Pub/Sub와 같은 서비스에 대한 BigQuery 전용 구성 워크플로를 안내합니다.

파이프라인 및 연결 페이지를 사용하여 다음 작업을 수행할 수 있습니다.

  • 데이터 로드. 단계별로 안내하는 환경을 통해 지원되는 데이터 소스에서 데이터를 찾고 로드합니다.
  • 데이터 작업 예약. 예약된 쿼리, 노트북, 데이터 준비, 파이프라인을 비롯한 데이터 프로세스가 자동으로 실행되도록 예약합니다.
  • 데이터 변환. 분석 및 보고를 위해 데이터를 정리하고 구조화하고 준비하는 등의 작업을 수행하는 파이프라인 및 데이터 준비를 만듭니다.
  • 데이터 소스에 연결 만들기. 데이터 액세스 및 원격 실행을 위해 외부 데이터 소스, 컴퓨팅 런타임, AI 서비스에 연결합니다.

파이프라인 및 연결 페이지를 설정하면 상태를 표시하고 운영 측정항목을 제공하여 데이터 통합 애셋을 관리하고 모니터링할 수 있는 중앙 집중식 위치를 제공합니다.

선택 또는 선택 해제

미리보기 중에 파이프라인 및 연결 페이지를 사용하도록 선택하거나 선택 해제할 수 있습니다.

선택

파이프라인 및 연결 페이지를 사용하도록 선택하려면 다음 단계를 따르세요.

  1. 콘솔로 이동합니다. Google Cloud

    콘솔로 이동

  2. Google Cloud 콘솔 툴바에서 탐색 메뉴를 클릭합니다.

  3. 솔루션 > 모든 제품을 클릭합니다.

  4. 애널리틱스 섹션에서 BigQuery 를 클릭합니다.

    BigQuery Studio 페이지가 열립니다.

  5. 탐색 메뉴를 펼치려면 BigQuery 탐색 메뉴 전환 을 클릭합니다.

    BigQuery 탐색 메뉴

  6. 탐색 메뉴에서 다음 옵션 중 하나를 클릭합니다.

    • 데이터 전송
    • 예약된 쿼리
    • 예약

  7. 통합 파이프라인 및 연결 배너로 이동합니다.

    UI의 통합 파이프라인 및 연결 배너

  8. 선택 을 클릭합니다.

    선택하면 기존 데이터 전송, 예약, 예약된 쿼리 페이지가 파이프라인 및 연결 페이지로 대체됩니다.

선택 해제

통합 파이프라인 및 연결 페이지 사용을 선택 해제하려면 다음 단계를 따르세요.

  1. 파이프라인 및 연결 페이지의 통합 파이프라인 및 연결 배너에서 선택 해제 를 클릭합니다.

  2. 의견 대화상자가 열립니다. 누락된 기능 또는 버그와 같이 선택 해제하는 이유에 관한 의견을 제공합니다.

  3. 보내기를 클릭한 다음 닫기를 클릭합니다.

    양식을 제출하면 탐색 메뉴가 별도의 데이터 전송, 예약, 예약된 쿼리 페이지를 사용하는 것으로 되돌아갑니다.

데이터 통합 애셋 만들기

예약된 쿼리, 데이터 전송, 외부 연결과 같은 애셋을 만들려면 다음 단계를 따르세요.

  1. 파이프라인 및 연결 페이지로 이동합니다.

    파이프라인 및 연결로 이동

  2. 만들기 를 클릭합니다.

  3. 만들려는 애셋의 경우 카드에서 옵션을 클릭합니다.

    1. 단계별로 안내하는 워크플로를 사용하여 지원되는 데이터 소스 중 하나의 데이터를 추가하려면 데이터 로드 카드에서 데이터 추가 를 클릭합니다.

    2. 쿼리, 노트북, 데이터 준비 또는 파이프라인을 예약하려면 데이터 작업 예약 카드에서 예약 을 클릭한 후 적절한 옵션을 선택합니다.

    3. 변환 파이프라인 또는 데이터 준비를 만들려면 데이터 변환 카드에서 만들기를 클릭한 후 적절한 옵션을 선택합니다.

    4. 외부 데이터 소스에 연결을 만들려면 외부 연결 카드에서 연결 만들기 를 클릭합니다.

애셋 모니터링

애셋을 만든 후에는 애셋을 보고 모니터링할 수 있습니다. 파이프라인 및 연결 페이지에서 사용할 수 있는 운영 측정항목에는 BigQuery Data Transfer Service 실행 기록, Pub/Sub 구독의 처리량 및 지연 시간, Datastream 파이프라인의 데이터 최신 상태 및 이벤트 수가 포함됩니다. BigQuery Data Transfer Service 실행 및 Datastream 객체 상태의 로그와 같은 문제 해결 정보도 찾을 수 있습니다.

  1. 파이프라인 및 연결 페이지로 이동합니다.

    파이프라인 및 연결로 이동

  2. 연결에 대한 세부정보를 보려면 연결 탭을 클릭합니다.

  3. 파이프라인을 모니터링하려면 파이프라인 탭을 클릭합니다. 이 페이지를 사용하여 파이프라인의 상태, 유형, 실행 기록과 같은 세부정보를 볼 수 있습니다.

  4. 파이프라인의 세부정보를 보려면 표시 이름 열에서 링크를 클릭합니다.

다음 단계