Cloud Logging에서 고급 파이프라인 로그 보기

Apache Spark용 Cloud Data Fusion Managed Service for Apache Spark 클러스터에 Cloud Logging을 사용 설정하면 표준 파이프라인 측정항목 외에도 세부적인 실행 레코드에 액세스할 수 있습니다. 이러한 고급 로그를 사용하여 실행 실패 문제를 해결하고, 드라이버 및 실행자 동작을 검사하고, 복잡한 데이터 변환을 디버깅할 수 있습니다.

Managed Service for Apache Spark Cloud Logging 사용 설정

Cloud Logging에서 파이프라인 및 클러스터 문제를 보려면 새 인스턴스 또는 기존 Cloud Data Fusion 인스턴스에서 고급 로그를 사용 설정합니다. 기존 인스턴스에서 고급 로그를 사용 설정하려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 Cloud Data Fusion 인스턴스 페이지로 이동합니다.

    인스턴스로 이동

  2. 인스턴스 이름을 클릭합니다.

  3. 고급 모니터링 및 로깅 섹션에서 Dataproc Cloud Logging에 대해 수정을 클릭합니다.

  4. Cloud Logging 창에서 Cloud Logging 사용 설정 체크박스를 선택합니다.

  5. 저장을 클릭합니다.

로그 보기

각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다. 파이프라인을 배포하고 실행한 후 RunID를 찾습니다. 그런 다음 Logging에서 RunID를 사용하여 파이프라인 로그를 볼 수 있습니다.

파이프라인의 RunID 가져오기

  1. 인스턴스로 이동합니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 목록을 클릭합니다.
  3. 실행 ID를 가져오려는 파이프라인을 클릭합니다.
  4. 요약을 클릭합니다.
  5. 실행 기록 섹션에서 테이블을 클릭합니다.
  6. 실행 ID를 복사하려면 RunID를 마우스 오른쪽 버튼으로 클릭하고 복사를 클릭합니다.

로그 탐색기에서 로그 보기

  1. Google Cloud 콘솔에서 Cloud Logging > 로그 탐색기 페이지로 이동합니다.

    Go 로그 탐색기

  2. 모든 리소스 드롭다운에서 Cloud Dataproc 클러스터 > cdap-PIPELINE_NAME-YOUR_RUNID를 선택합니다.

선택사항: 로그 필터링

필터 메뉴를 사용하여 로그를 필터링합니다. 다양한 로그 심각도 수준 또는 구성요소(예: datafusion-pipeline-logs) 기준으로 필터링할 수 있습니다.

선택사항: 로그 다운로드

로그 다운로드를 클릭합니다.

자세한 내용은 로그 항목 다운로드를 참조하세요.

다음 단계