파이프라인 알림 만들기

Cloud Data Fusion의 파이프라인 알림을 사용하면 실행 상태를 추적하고 워크플로 상태를 모니터링할 수 있습니다. 이러한 알림은 파이프라인 오류를 즉시 감지하는 데 도움이 됩니다.

배포 단계에 따라 두 가지 서비스를 사용하여 알림을 구성할 수 있습니다. Cloud Data Fusion 알림은 일괄 파이프라인 설계 중에 설정되며 배포 후에는 추가하거나 수정할 수 없습니다. 반면 파이프라인을 배포하기 전이나 후에 언제든지 Google Cloud 콘솔에서 Cloud Monitoring을 통해 로그 기반 알림을 만들 수 있습니다.

시작하기 전에

Cloud Data Fusion 인스턴스가 필요합니다. 자세한 내용은 공개 인스턴스 만들기를 참조하세요.

Cloud Data Fusion에서 알림 추가

  1. 인스턴스를 엽니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 파이프라인을 설계하는 스튜디오 페이지로 이동합니다.

  3. 구성 > 파이프라인 알림 > 추가를 클릭합니다.

  4. 경고를 선택하고 구성합니다. 알림 구성에 대한 자세한 내용은 일괄 파이프라인 알림을 참조하세요.

  5. 알림을 구성한 후 검증을 클릭하여 오류를 확인하고 확인을 클릭합니다.

Monitoring에서 알림 만들기

  1. Cloud Data Fusion 인스턴스에서 Cloud Logging을 사용 설정합니다.

  2. 로그 기반 알림을 만듭니다.

    1. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

      로그 탐색기로 이동

      이 페이지에서 데이터를 저장, 쿼리, 업데이트, 삭제할 수 있습니다.

    2. 다음 쿼리를 입력합니다.

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      PROJECT_ID를 프로젝트 ID로 바꿉니다.

    3. 경고 만들기를 클릭하고 알림을 구성합니다.

알림은 파이프라인이 Managed Service for Apache Spark 클러스터에서 실행되고 실패할 때만 생성됩니다. Managed Service for Apache Spark 클러스터 생성 실패의 경우 알림이 생성되지 않습니다.

다음 단계