이 문서에서는 Cloud Data Fusion의 파이프라인 로그 및 서비스 로그에 액세스하고 보는 방법을 설명합니다.
Cloud Data Fusion 버전 6.11부터 파이프라인 로그 및 서비스 로그를 Cloud Logging에서 사용할 수 있습니다.
로그 유형 정보
Cloud Data Fusion은 데이터 통합 프로세스를 모니터링하고 문제를 해결하는 데 도움이 되는 여러 유형의 로그를 생성합니다.
가격 책정
Cloud Logging 및 Cloud Monitoring 사용에는 요금이 부과됩니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참조하세요.
선택사항: Cloud Data Fusion 로깅 대시보드 가져오기
Cloud Data Fusion 로깅 대시보드를 사용하여 파이프라인 로그 및 서비스 로그를 보려면 대시보드를 가져옵니다.
콘솔에서 Cloud Monitoring 대시보드 페이지로 이동합니다. Google Cloud
대시보드 템플릿 보기 를 클릭합니다.
Cloud Data Fusion 로깅 을 검색하고 대시보드를 선택합니다.
목록에 Cloud Data Fusion 로깅 대시보드 추가 를 클릭합니다.
파이프라인 로그 보기
Cloud Data Fusion 로깅 대시보드를 사용하거나 로그 탐색기에서 직접 파이프라인 로그를 볼 수 있습니다.
대시보드를 사용하여 파이프라인 로그 보기
아직 가져오지 않은 경우 Cloud Data Fusion 로깅 대시보드를 가져옵니다.
내 대시보드 섹션에서 Cloud Data Fusion 로깅 을 클릭합니다.
파이프라인 로그 섹션에서 파이프라인 로그 목록을 봅니다. 심각도, 필드 이름, 값으로 로그를 필터링할 수 있습니다.
쿼리를 사용하여 검색을 구체화하려면 로그 탐색기를 사용합니다.
로그 탐색기에서 파이프라인 로그 보기
콘솔에서 로그 탐색기 페이지로 이동합니다. Google Cloud
다음 쿼리를 입력합니다.
resource.type="datafusion.googleapis.com/PipelineV2"파이프라인 로그 목록이 표시됩니다. 필터를 사용하여 결과를 구체화할 수 있습니다.
파이프라인 로그 필터링
실행 ID, 인스턴스 ID, 파이프라인 ID, 위치, 네임스페이스 또는 커스텀 라벨별로 파이프라인 로그를 필터링할 수 있습니다.
각 Cloud Data Fusion 파이프라인 실행에는 고유한 RunID가 할당됩니다.
파이프라인을 배포 및 실행한 후 파이프라인의 RunID를 찾고 해당 파이프라인 로그를 볼 수 있습니다.
RunID별로 파이프라인 로그를 필터링하려면 다음 단계를 따르세요.
콘솔에서 로그 탐색기 페이지로 이동합니다. Google Cloud
다음 쿼리를 입력합니다.
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
서비스 로그 보기
Cloud Data Fusion 로깅 대시보드 또는 로그 탐색기에서 서비스 로그를 볼 수 있습니다.
대시보드를 사용하여 서비스 로그 보기
아직 가져오지 않은 경우 Cloud Data Fusion 로깅 대시보드를 가져옵니다.
내 대시보드 섹션에서 Cloud Data Fusion 로깅 을 클릭합니다.
서비스 로그 섹션에서 서비스 로그 목록을 봅니다. 심각도, 필드 이름, 값으로 로그를 필터링할 수 있습니다.
쿼리를 사용하여 검색을 구체화하려면 로그 탐색기를 사용합니다.
로그 탐색기에서 서비스 로그 보기
Cloud Data Fusion 버전 6.11.1.1부터 시스템 서비스 로그
는 기본적으로 InstanceV3 모니터링 리소스 (datafusion.googleapis.com/InstanceV3)
를 사용합니다. 이러한 로그는 services-v3 로그 이름 접미사를 사용하며 이전 버전에서 발견된 org_id 또는 namespace 라벨을 포함하지 않습니다. 새 인스턴스 및 업그레이드된 인스턴스의 경우
InstanceV2 로그 내보내기가 기본적으로 사용 중지되지만
작업이 기존
라벨에 의존하는 경우
Cloud Data Fusion REST API를 사용하여 InstanceV2 로깅을 다시 사용 설정할 수 있습니다.
로그 탐색기에서 서비스 로그를 보려면 다음 단계를 따르세요.
콘솔에서 로그 탐색기 페이지로 이동합니다. Google Cloud
해당 서비스의 특정 쿼리를 입력하여 서비스 로그를 찾습니다.
서비스 이름 InstanceV2의 로그 쿼리 InstanceV3의 로그 쿼리 Appfabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
AppFabric 프로세서 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
데이터 세트 실행자 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
로그 세이버 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
메타데이터 서비스 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
측정항목 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
런타임 resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
Wrangler 서비스 resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
InstanceV2 로그 사용 설정
기본적으로 버전 6.11.1.1 이상을 실행하는 Cloud Data Fusion 인스턴스는 InstanceV2 로깅을 사용 중지합니다. 작업에 이전 로깅 형식이 필요한 경우 (예: org_id 또는 namespace 라벨에 의존하는 경우) Cloud Data Fusion REST API를 사용하여 InstanceV2 로그를 다시 사용 설정할 수 있습니다.
InstanceV2 로그를 사용 설정하려면
instances.patch
메서드를 enable_instance_v2_logs를 true로 설정하여 사용합니다. 이 설정은 InstanceV2 로그와 InstanceV3 로그를 모두 내보냅니다.
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-GFE-SSL: yes" \
-H "Host: datafusion.googleapis.com" \
-d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"
다음을 바꿉니다.
PROJECT_ID: Google Cloud 프로젝트 ID입니다.LOCATION: 인스턴스의 위치입니다 .INSTANCE_ID: Cloud Data Fusion 인스턴스의 ID입니다.
Cloud Data Fusion의 구성 가능한 로깅
Cloud Data Fusion 6.11.0은 구성 가능한 로깅을 제공하며 Cloud Logging은 기본적으로 사용 설정되어 있습니다. Cloud Logging을 사용 중지할 수 있지만 중요한 파이프라인 및 인스턴스 로그에 액세스할 수 있도록 사용 설정해 두는 것이 좋습니다.
Cloud Logging을 사용 중지하려면 다음 명령어를 실행합니다.
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
다음을 바꿉니다.
PROJECT_ID: Google Cloud 프로젝트 ID입니다.LOCATION: 인스턴스의 위치입니다.INSTANCE_ID: Cloud Data Fusion 인스턴스의 ID입니다.