파이프라인 및 연결 페이지를 사용하여 데이터 통합 워크플로 만들기

미리보기

이 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제품 또는 서비스 약관'이 적용됩니다. GA 이전 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

참고: 의견을 제공하거나, 질문을 하거나, 이 프리뷰 기능의 선택 해제를 요청하려면 [e-mail]으로 문의하세요.

콘솔의 BigQuery 파이프라인 및 연결 페이지는 BigQuery Data Transfer Service, Datastream, Pub/Sub과 같은 서비스에 대해 안내가 포함된 BigQuery 전용 구성 워크플로를 제공하여 데이터 통합 작업을 간소화합니다.

파이프라인 및 연결 페이지를 사용하여 다음 작업을 실행할 수 있습니다.

• 데이터 로드 단계별로 안내하는 환경을 사용하여 지원되는 데이터 소스에서 데이터를 찾아 로드합니다.
• 데이터 작업 예약 예약된 쿼리, 노트북, 데이터 준비, 파이프라인 등 데이터 프로세스가 자동으로 실행되도록 예약합니다.
• 데이터 변환. 분석 및 보고를 위해 데이터를 정리하고 구조화하고 준비하는 등의 작업을 실행하는 파이프라인과 데이터 준비를 만듭니다.
• 데이터 소스에 대한 연결 만들기 데이터 액세스 및 원격 실행을 위해 외부 데이터 소스, 컴퓨팅 런타임, AI 서비스에 연결합니다.

작업을 만든 후 파이프라인 및 연결 페이지에서 애셋을 관리하고 모니터링할 수 있습니다. 목록 보기에서 애셋의 상태를 확인할 수 있으며, 세부 모니터링 페이지를 사용하여 예약된 쿼리, 파이프라인, 전송, 연결, 스트림, 구독과 같이 구성된 각 애셋의 운영 측정항목을 확인할 수 있습니다.

운영 측정항목에는 BigQuery Data Transfer Service 실행 기록, Pub/Sub 구독의 처리량 및 지연 시간, Datastream 파이프라인의 데이터 업데이트 빈도 및 이벤트 수가 포함됩니다.

모니터링 페이지에는 BigQuery Data Transfer Service 실행 및 Datastream 객체 상태의 로그와 같은 문제 해결 정보도 포함됩니다.

선택 또는 선택 해제

미리보기 중에 파이프라인 및 연결 페이지를 사용할지 선택할 수 있습니다.

선택

파이프라인 및 연결 페이지를 사용하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔로 이동합니다.

   Console로 이동

2. Google Cloud 콘솔 툴바에서 탐색 메뉴를 클릭합니다.

3. 솔루션 > 모든 제품을 클릭합니다.

4. 애널리틱스 섹션에서 BigQuery를 클릭합니다.

   BigQuery Studio 페이지가 열립니다.

5. 탐색 메뉴를 펼치려면 BigQuery 탐색 메뉴 전환을 클릭합니다.

   

6. 탐색 메뉴에서 다음 옵션 중 하나를 클릭합니다.

   • 데이터 전송
   • 예약된 쿼리
   • 예약

7. 통합 파이프라인 및 연결 배너로 이동합니다.

   

8. 선택을 클릭합니다.

   선택하면 기존 데이터 전송, 예약, 예약된 쿼리 페이지가 파이프라인 및 연결 페이지로 대체됩니다.

   참고: Dataform 페이지는 변경되지 않습니다.

선택 해제

통합 파이프라인 및 연결 페이지를 사용하지 않으려면 다음 단계를 따르세요.

1. 파이프라인 및 연결 페이지의 통합 파이프라인 및 연결 배너에서 선택 해제를 클릭합니다.

2. 의견 대화상자가 열립니다. 기능 누락이나 버그와 같이 선택 해제하는 이유에 대한 의견을 제공합니다.

3. 보내기를 클릭한 다음 닫기를 클릭합니다.

   양식을 제출하면 탐색 메뉴가 별도의 데이터 전송, 예약, 예약된 쿼리 페이지를 사용하는 것으로 되돌아갑니다.

데이터 통합 애셋 만들기

예약된 쿼리, 데이터 전송, 외부 연결과 같은 애셋을 만들려면 다음 단계를 따르세요.

1. 파이프라인 및 연결 페이지로 이동합니다.

   파이프라인 및 연결로 이동

2. 만들기를 클릭합니다.

3. 만들려는 애셋의 카드에서 옵션을 클릭합니다.

   1. 지원되는 데이터 소스 중 하나에서 가이드 워크플로를 사용하여 데이터를 추가하려면 데이터 로드 카드에서 데이터 추가를 클릭합니다.

   2. 쿼리, 노트북, 데이터 준비 또는 파이프라인을 예약하려면 데이터 작업 예약 카드에서 예약을 클릭한 다음 적절한 옵션을 선택합니다.

   3. 변환 파이프라인 또는 데이터 준비를 만들려면 데이터 변환 카드에서 만들기를 클릭한 다음 적절한 옵션을 선택합니다.

   4. 외부 데이터 소스에 대한 연결을 만들려면 외부 연결 카드에서 연결 만들기를 클릭합니다.

애셋 모니터링

애셋을 만든 후에는 애셋을 확인하고 모니터링할 수 있습니다.

1. 파이프라인 및 연결 페이지로 이동합니다.

   파이프라인 및 연결로 이동

2. 연결에 관한 세부정보를 보려면 연결 탭을 클릭합니다.

3. 파이프라인을 모니터링하려면 파이프라인 탭을 클릭합니다. 이 페이지를 사용하여 파이프라인의 상태, 유형, 실행 기록과 같은 세부정보를 확인할 수 있습니다.

4. 파이프라인의 세부정보를 보려면 표시 이름 열에서 링크를 클릭합니다.

다음 단계

• BigQuery에서 Dataform 파이프라인을 만드는 방법을 알아보세요.
• 파이프라인을 예약하는 방법을 알아보세요.
• 쿼리를 예약하는 방법을 알아보세요.
• BigQuery Data Transfer Service 전송에 대해 알아봅니다.