Cloud Logging에서 고급 파이프라인 로그 보기

이 페이지에서는 Cloud Data Fusion Dataproc 클러스터에 Cloud Logging을 사용 설정하고 고급 파이프라인 로그에 액세스하는 방법을 설명합니다.

Dataproc Cloud Logging 사용 설정

Cloud Logging에서 파이프라인 및 클러스터 문제를 보려면 새 Cloud Data Fusion 인스턴스 또는 기존 Cloud Data Fusion 인스턴스에서 고급 로그를 사용 설정하세요. 기존 인스턴스에서 고급 로그를 사용 설정하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Cloud Data Fusion 인스턴스 페이지로 이동합니다.

    인스턴스로 이동

  2. 인스턴스 이름을 클릭합니다.

  3. 고급 모니터링 및 로깅 섹션에서 Dataproc Cloud Logging의 수정을 클릭합니다.

  4. Cloud Logging 창에서 Cloud Logging 사용 설정 체크박스를 선택합니다.

  5. 저장을 클릭합니다.

로그 보기

각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다. 파이프라인을 배포 및 실행한 후 RunID를 확인합니다. 그런 다음 Logging에서 RunID를 사용하여 파이프라인 로그를 볼 수 있습니다.

파이프라인의 RunID 가져오기

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 목록을 클릭합니다.
  3. 실행 ID를 가져올 파이프라인을 클릭합니다.
  4. 요약을 클릭합니다.
  5. 실행 기록 섹션에서 표를 클릭합니다.
  6. 실행 ID를 복사하려면 RunID를 마우스 오른쪽 버튼으로 클릭하고 복사를 클릭합니다.

로그 탐색기에서 로그 보기

  1. Google Cloud 콘솔에서 Cloud Logging > 로그 탐색기 페이지로 이동합니다.

    Go 로그 탐색기

  2. 모든 리소스 드롭다운에서 Cloud Dataproc 클러스터 > cdap-PIPELINE_NAME-YOUR_RUNID를 선택합니다.

선택사항: 로그 필터링

필터 메뉴를 사용하여 로그를 필터링합니다. 다양한 로그 심각도 수준 또는 구성요소(예: datafusion-pipeline-logs) 기준으로 필터링할 수 있습니다.

선택사항: 로그 다운로드

로그 다운로드를 클릭합니다.

자세한 내용은 로그 항목 다운로드를 참고하세요.

다음 단계