파이프라인 관리

이 문서에서는 파이프라인을 보고, 예약하고, 배포하고, 삭제하는 방법을 비롯하여 BigQuery 파이프라인을(를) 관리하는 방법을 설명합니다.

이 문서에서는 Knowledge Catalog에서 파이프라인 메타데이터를 보고 관리하는 방법도 설명합니다.

파이프라인은 Dataform을 기반으로 합니다. 파일 및 폴더 (사용자 폴더 및 팀 폴더) 또는 BigQuery Studio Git 저장소 (Git 폴더) (미리보기)에 저장된 파이프라인을 구성하고 관리할 수 있습니다.

시작하기 전에

  1. BigQuery 파이프라인을 만듭니다.
  2. Knowledge Catalog에서 파이프라인 메타데이터를 관리하려면, Dataplex API가 프로젝트에서 사용 설정되어 있어야 합니다. Google Cloud

필요한 역할

파이프라인을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataform IAM에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요. 폴더의 역할에 대한 자세한 내용은 폴더 만들기 및 관리를 참조하세요. Git 저장소의 역할에 대한 자세한 내용은 BigQuery Studio Git 저장소로 코드 관리를 참조하세요.

Google Cloud

커스텀 서비스 계정을 사용하여 파이프라인을 실행하는 경우 해당 서비스 계정에 다음 역할을 부여해야 합니다.

파이프라인 보기

파일 창의 폴더 또는 Git 폴더에 저장된 파이프라인을 보고 검사할 수 있습니다. 탐색기 창에서 독립형 파이프라인과 폴더에 저장된 파이프라인을 볼 수 있습니다. Git 폴더에 저장된 파이프라인은 탐색기 창에 표시되지 않습니다.

파일 창에서 파이프라인 보기

폴더 또는 Git 폴더에 저장된 파이프라인은 파일 창에 직접 표시됩니다.

폴더 또는 Git 폴더에 저장된 파이프라인을 보려면 다음 단계를 따르세요.

  1. 콘솔에서 BigQuery 페이지로 이동합니다. Google Cloud

    BigQuery로 이동

  2. 왼쪽 창에서 파일을 클릭하여 파일 브라우저를 엽니다.

    왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기 를 클릭하여 창을 엽니다.

  3. 사용자 폴더, 팀 폴더 또는 연결된 Git 저장소 폴더를 펼칩니다.

    파이프라인은 표준 폴더 아이콘 대신 파이프라인 아이콘으로 표시됩니다.

  4. 파이프라인 폴더를 클릭하여 파이프라인 뷰어 를 엽니다.

    파이프라인 뷰어 에는 파이프라인 작업의 컴파일된 방향성 비순환 그래프 (DAG), 실행 상태, 구성 탭이 표시됩니다.

  5. 파일 브라우저에서 파이프라인 디렉터리를 펼쳐 중첩된 디렉터리 (예: definitions/)와 개별 작업 파일을 탐색합니다.

탐색기 창에서 파이프라인 보기

독립형 파이프라인과 폴더에 저장된 파이프라인의 목록을 보려면 다음 단계를 따르세요.

  1. 콘솔에서 BigQuery 페이지로 이동합니다. Google Cloud

    BigQuery로 이동

  2. 왼쪽 창에서 탐색기를 클릭합니다.

    강조 표시된 탐색기 창 버튼

    왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기 를 클릭하여 창을 엽니다.

  3. 탐색기 창에서 프로젝트를 펼치고 파이프라인 을 클릭합니다.

  4. 파이프라인을 선택하여 파이프라인 뷰어 에서 엽니다.

이전 수동 실행 보기

선택한 파이프라인의 이전 수동 실행을 보려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 탐색기를 클릭합니다.

    강조 표시된 탐색기 창 버튼

  3. 탐색기 창에서 프로젝트를 펼치고 파이프라인을 클릭한 후 파이프라인을 선택합니다.

  4. 실행 을 클릭합니다.

  5. (선택사항) 이전 실행 목록을 새로고침하려면 새로고침을 클릭합니다.

실패한 파이프라인 실행에 대한 알림 구성

각 파이프라인에는 해당하는 Dataform 저장소 ID가 있습니다. 각 BigQuery 파이프라인 실행은 해당 Dataform 저장소 ID를 사용하여 Cloud Logging에 로깅됩니다. Cloud Monitoring을 사용하여 Cloud Logging 로그에서 BigQuery 파이프라인 실행 추세를 관찰하고 사용자가 지정한 조건이 발생하면 알림을 받을 수 있습니다.

BigQuery 파이프라인 실행이 실패할 경우 알림을 수신하려면 해당 Dataform 저장소 ID에 로그 기반 알림 정책을 만들면 됩니다. 자세한 내용은 실패한 워크플로 호출에 대한 알림 구성을 참조하세요.

파이프라인의 Dataform 저장소 ID를 찾으려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 탐색기를 클릭합니다.

    강조 표시된 탐색기 창 버튼

  3. 탐색기 창에서 프로젝트를 펼치고 파이프라인을 클릭한 후 파이프라인을 선택합니다.

  4. 설정 을 클릭합니다.

    파이프라인의 Dataform 저장소 ID가 설정 탭 하단에 표시됩니다.

파이프라인 삭제

파이프라인을 영구적으로 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다. BigQuery로 이동

  • 폴더 또는 Git 폴더에 저장된 파이프라인을 삭제하려면 다음 단계를 따르세요.

    1. 왼쪽 창에서 파일을 클릭합니다.

    2. 파일 트리에서 삭제하려는 파이프라인 폴더를 찾습니다.

    3. 파이프라인 폴더 옆에 있는 작업 보기를 클릭한 후 삭제를 클릭합니다.

    4. 확인 대화상자에서 삭제 를 클릭합니다.

      파이프라인 폴더와 그 안에 포함된 모든 작업 및 파일이 작업공간에서 삭제됩니다.

  • 탐색기 창에 나열된 파이프라인을 삭제하려면 다음 단계를 따르세요.

    1. 왼쪽 창에서 탐색기를 클릭합니다.

      강조 표시된 탐색기 창 버튼

    2. 탐색기 창에서 프로젝트를 펼치고 파이프라인 을 클릭합니다.

    3. 삭제할 파이프라인을 찾습니다.

    4. 파이프라인 옆에 있는 작업 보기를 클릭한 후 삭제를 클릭합니다.

    5. 삭제 를 클릭합니다.

Knowledge Catalog에서 메타데이터 관리

Knowledge Catalog를 사용하면 파이프라인의 메타데이터를 저장하고 관리할 수 있습니다. Knowledge Catalog에서는 기본적으로 추가 구성 없이 파이프라인을 사용할 수 있습니다.

Knowledge Catalog를 사용하여 모든 파이프라인 위치의 파이프라인을 관리할 수 있습니다. Knowledge Catalog에서 파이프라인을 관리하는 경우 Knowledge Catalog 할당량 및 한도 와 Knowledge Catalog 가격 책정이 적용됩니다.

Knowledge Catalog는 파이프라인에서 다음 메타데이터를 자동으로 검색합니다.

  • 데이터 애셋 이름
  • 데이터 애셋 상위 항목
  • 데이터 애셋 위치
  • 데이터 애셋 유형
  • 해당 Google Cloud 프로젝트

Knowledge Catalog는 파이프라인을 항목으로 다음과 같은 항목 값을 사용해 로깅합니다.

시스템 항목 그룹
파이프라인의
시스템 항목 그룹 은 @dataform입니다. Knowledge Catalog에서 파이프라인 항목의 세부정보를 보려면 dataform 시스템 항목 그룹을 확인해야 합니다. 항목 그룹의 모든 항목 목록을 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 그룹 세부정보 보기 를 참조하세요.
시스템 항목 유형
파이프라인의 시스템 항목 유형은 dataform-code-asset입니다. 파이프라인의 세부정보를 보려면 dataform-code-asset 시스템 항목 유형을 확인하고, 관점 기반 필터로 결과를 필터링하고, dataform-code-asset 관점 내의 type 필드를 WORKFLOW로 설정해야 합니다. 그런 다음 선택한 파이프라인의 항목을 선택합니다. 선택한 항목 유형의 세부정보를 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 유형의 세부정보 보기 를 참조하세요. 선택한 항목의 세부정보를 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 세부정보 보기 를 참조하세요.
시스템 관점 유형
파이프라인의 시스템 관점 유형은 dataform-code-asset입니다.
관점으로 데이터 파이프라인 항목에 주석을 추가하여 Knowledge Catalog의 파이프라인에 추가 컨텍스트를 제공하려면 dataform-code-asset 관점 유형을 확인하고 관점 기반 필터로 결과를 필터링한 다음 dataform-code-asset 관점 내의 type 필드를 WORKFLOW로 설정합니다. 관점으로 항목에 주석을 추가하는 방법에 관한 안내는 Knowledge Catalog 문서의 관점 관리 및 메타데이터 보강 을 참조하세요.
유형
데이터 캔버스의 유형은 WORKFLOW입니다. 이 유형을 사용하면 관점 기반 필터에서 aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW 쿼리를 사용하여 dataform-code-asset 시스템 항목 유형 및 dataform-code-asset 관점 유형의 파이프라인을 필터링할 수 있습니다.

Knowledge Catalog에서 애셋을 검색하는 방법에 관한 안내는 Knowledge Catalog에서 데이터 애셋 검색 Knowledge Catalog 문서의 을 참고하세요.

메타데이터 보강 및 데이터 품질 스코어카드 통합

Dataform은 다음 메타데이터를 Knowledge Catalog에 게시할 수 있습니다.

  • 개요 관점 유형
  • 일반 관점 유형
  • 데이터 품질 스코어카드 관점 유형

Dataform 어설션은 Knowledge Catalog 데이터 품질 스코어카드와 자동으로 통합됩니다. 파이프라인 실행 중에 Dataform 어설션의 결과가 Knowledge Catalog에 자동으로 게시됩니다. 이러한 결과는 Knowledge Catalog 데이터 품질 스코어카드에 통과 또는 실패 상태를 채웁니다.

메타데이터 업데이트 상태를 확인하려면 이전 수동 실행 보기의 안내를 따르세요.

메타데이터가 동기화되면 Knowledge Catalog에서 항목을 검색하고 볼 수 있습니다. 자세한 내용은 리소스 검색을 참고하세요.

다음 단계