측정항목 개요

이 페이지에서는 Cloud Data Fusion 인스턴스 및 파이프라인의 상태와 성능을 모니터링하는 데 도움이 되는 측정항목을 설명합니다. Cloud Monitoring을 사용하여 이러한 측정항목을 모니터링합니다. 측정항목은 파이프라인 실행, 인스턴스 세부정보, API 요청, 승인 확인에 관한 유용한 정보를 제공합니다.

측정항목은 파이프라인 측정항목 또는 인스턴스 측정항목으로 분류됩니다.

  • 파이프라인 측정항목은 실행 상태, 기간, 지연 시간, 데이터 처리량과 같은 개별 파이프라인 실행에 관한 데이터를 제공합니다.
  • 인스턴스 측정항목은 서비스 가용성, 배포된 파이프라인 수, API 요청 수 등 인스턴스 내 파이프라인에 관한 집계 정보를 제공합니다.

측정항목 및 모니터링 리소스 라벨을 사용하여 Monitoring에서 Cloud Data Fusion 파이프라인 및 인스턴스 측정항목을 필터링하고 집계할 수 있습니다. 측정항목 보기 맞춤설정 시 이러한 라벨 유형 중 하나 또는 둘 다를 사용할 수 있습니다.

Cloud Data Fusion 파이프라인 모니터링 리소스 라벨

다음 Cloud Data Fusion 파이프라인 모니터링 리소스 라벨을 사용하여 측정항목을 필터링하고 집계합니다.

라벨 이름 설명
resource_container 고객 프로젝트의 ID입니다.
org_id 고객 프로젝트가 속한 조직의 ID입니다.
location 인스턴스가 호스팅되는 영역 또는 리전입니다.
edition Cloud Data Fusion 인스턴스의 버전입니다.
is_private_ip_enabled 인스턴스가 내부 IP 주소를 사용하는지 여부입니다.
version 인스턴스의 Cloud Data Fusion 데이터 플레인 버전입니다.
instance_id Cloud Data Fusion 인스턴스 ID입니다.
namespace 파이프라인의 네임스페이스입니다.
pipeline_id 파이프라인 ID입니다.
run_id 파이프라인의 실행 ID입니다.

파이프라인 측정항목 라벨

Monitoring에서 다음 Cloud Data Fusion 측정항목 라벨을 사용하여 측정항목을 필터링하고 집계합니다.

이름 측정항목 설명 측정항목 라벨
파이프라인 실행 상태 datafusion.googleapis.com/pipeline/v2/runs_completed_count 실행이 완료된 파이프라인의 누적 개수입니다.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
파이프라인 실행 시간 datafusion.googleapis.com/pipeline/v2/pipeline_duration 파이프라인 실행을 완료하는 데 걸린 시간입니다.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
파이프라인 시작 지연 시간 datafusion.googleapis.com/pipeline/v2/pipeline_start_latency 파이프라인이 실행 중 상태에 도달하는 데 걸린 시간입니다.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
프로비저닝 지연 시간 datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Managed Service for Apache Spark 클러스터 프로비저닝 지연 시간입니다.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API 요청 datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Dataproc API 요청의 누적 수입니다.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
파이프라인 미리보기 실행 시간 datafusion.googleapis.com/pipeline/v2/preview_duration 미리보기를 완료하는 데 걸린 시간입니다.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
작성된 파이프라인 바이트 datafusion.googleapis.com/pipeline/v2/write_bytes_count 파이프라인에서 기록한 누적 바이트 수입니다.
  • enable_rbac
  • private_service_connect_enabled
읽은 파이프라인 바이트 datafusion.googleapis.com/pipeline/v2/read_bytes_count 파이프라인에서 읽은 바이트의 누적 수입니다.
  • enable_rbac
  • private_service_connect_enabled
셔플된 파이프라인 바이트 datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count 파이프라인에서 셔플된 바이트의 누적 수입니다.
  • enable_rbac
  • private_service_connect_enabled
수신하여 처리된 플러그인 레코드 datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count 플러그인에 입력되는 누적 레코드 수입니다.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
처리되어 전송된 플러그인 레코드 datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count 플러그인에서 나가는 레코드의 누적 개수입니다.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Cloud Data Fusion 인스턴스 모니터링 리소스 라벨

Cloud Data Fusion 버전 6.11.1.1부터 InstanceV3(datafusion.googleapis.com/InstanceV3) 모니터링 리소스가 인스턴스 수준 측정항목의 기본 리소스 유형입니다. 모든 새 인스턴스와 버전 6.11.1.1 이상으로 업그레이드된 인스턴스는 InstanceV3를 사용하여 측정항목과 로그를 자동으로 내보냅니다. InstanceV3 리소스 구조는 org_id 및 namespace 라벨이 삭제되어 이전 버전과 다릅니다.

기본적으로 Cloud Data Fusion 버전 6.11.1.1 이상에서는 InstanceV2 측정항목의 배출이 사용 중지됩니다. 하지만 기존 대시보드 또는 쿼리의 이전 버전과의 호환성이 필요한 경우 Cloud Data Fusion REST API를 사용하여 InstanceV3와 함께 InstanceV2 방출을 다시 사용 설정할 수 있습니다.

다음 Cloud Data Fusion 인스턴스 모니터링 리소스 라벨을 사용하여 측정항목을 필터링하고 집계할 수 있습니다.

InstanceV3 모니터링 리소스 라벨

라벨 이름 설명
resource_container 고객 프로젝트의 ID입니다.
location 인스턴스가 호스팅되는 영역 또는 리전입니다.
edition 인스턴스의 버전입니다.
is_private_ip_enabled 인스턴스가 내부 IP 주소를 사용하는지 여부입니다.
version 인스턴스의 Cloud Data Fusion 데이터 플레인 버전입니다.
instance_id Cloud Data Fusion 인스턴스 ID입니다.

InstanceV2 모니터링 리소스 라벨

라벨 이름 설명
resource_container 고객 프로젝트의 ID입니다.
org_id 고객 프로젝트가 속한 조직의 ID입니다.
location 인스턴스가 호스팅되는 영역 또는 리전입니다.
edition 인스턴스의 버전입니다.
is_private_ip_enabled 인스턴스가 내부 IP 주소를 사용하는지 여부입니다.
version 인스턴스의 Cloud Data Fusion 데이터 플레인 버전입니다.
instance_id Cloud Data Fusion 인스턴스 ID입니다.
namespace 네임스페이스 이름입니다.

인스턴스 측정항목 라벨

Monitoring에서 다음 Cloud Data Fusion 측정항목 라벨을 사용하여 측정항목을 필터링하고 집계합니다.

InstanceV3 측정항목 라벨

이름 측정항목 설명 측정항목 라벨
서비스 상태 datafusion.googleapis.com/instance/v3/service_available Cloud Data Fusion 서비스의 가용성
  • service
  • enable_rbac
  • private_service_connect_enabled
배포된 파이프라인 수 datafusion.googleapis.com/instance/v3/pipelines 배포된 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
실행 중인 동시 파이프라인 수 datafusion.googleapis.com/instance/v3/concurrent_pipelines_running 동시에 실행되는 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
동시 파이프라인 실행 횟수 datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched 프로비저닝 또는 시작 상태의 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
수신된 CDAP REST API 요청 datafusion.googleapis.com/instance/v3/api_request_count 백엔드의 서비스가 수신한 REST API 요청의 누적 개수입니다.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
전송된 CDAP REST API 응답 datafusion.googleapis.com/instance/v3/api_response_count 백엔드의 서비스가 전송한 REST API 응답의 누적 개수입니다.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
승인 확인 수 datafusion.googleapis.com/instance/v3/authorization_check_count 액세스 시행자가 실행한 승인 확인의 누적 수입니다.
  • enable_rbac
  • type
  • private_service_connect_enabled
승인 확인 시간 datafusion.googleapis.com/instance/v3/authorization_check_time 액세스 시행자가 실행한 승인 확인의 지연 시간입니다.
  • enable_rbac
  • type
  • private_service_connect_enabled
초안 파이프라인 수 datafusion.googleapis.com/instance/v3/draft_pipelines 임시 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
네임스페이스 수 datafusion.googleapis.com/instance/v3/namespaces 네임스페이스 수입니다.
  • enable_rbac
  • private_service_connect_enabled

InstanceV2 측정항목 라벨

이름 측정항목 설명 측정항목 라벨
서비스 상태 datafusion.googleapis.com/instance/v2/service_available Cloud Data Fusion 서비스의 가용성
  • service
  • enable_rbac
  • private_service_connect_enabled
배포된 파이프라인 수 datafusion.googleapis.com/instance/v2/pipelines 배포된 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
실행 중인 동시 파이프라인 수 datafusion.googleapis.com/instance/v2/concurrent_pipelines_running 동시에 실행되는 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
동시 파이프라인 실행 횟수 datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched 프로비저닝 또는 시작 상태의 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
수신된 CDAP REST API 요청 datafusion.googleapis.com/instance/v2/api_request_count 백엔드의 서비스가 수신한 REST API 요청의 누적 개수입니다.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
전송된 CDAP REST API 응답 datafusion.googleapis.com/instance/v2/api_response_count 백엔드의 서비스가 전송한 REST API 응답의 누적 개수입니다.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
승인 확인 수 datafusion.googleapis.com/instance/v2/authorization_check_count 액세스 시행자가 실행한 승인 확인의 누적 수입니다.
  • enable_rbac
  • type
  • private_service_connect_enabled
승인 확인 시간 datafusion.googleapis.com/instance/v2/authorization_check_time 액세스 시행자가 실행한 승인 확인의 지연 시간입니다.
  • enable_rbac
  • type
  • private_service_connect_enabled
초안 파이프라인 수 datafusion.googleapis.com/instance/v2/draft_pipelines 임시 파이프라인 수입니다.
  • enable_rbac
  • private_service_connect_enabled
네임스페이스 수 datafusion.googleapis.com/instance/v2/namespaces 네임스페이스 수입니다.
  • enable_rbac
  • private_service_connect_enabled

InstanceV2 측정항목 배출 관리

버전 6.11.1.1 이상을 실행하는 Cloud Data Fusion 인스턴스의 경우 InstanceV2 측정항목 내보내기가 기본적으로 사용 중지됩니다. 이전 형식을 사용하는 대시보드 또는 알림과의 하위 호환성을 유지해야 하는 경우 Cloud Data Fusion REST API를 사용하여 InstanceV2 측정항목을 다시 사용 설정할 수 있습니다.

InstanceV2 측정항목 사용 설정

InstanceV2 측정항목의 방출을 사용 설정하려면 enable_instance_v2_metrics이 true로 설정된 instances.patch 메서드를 사용합니다.

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
  • LOCATION: 인스턴스의 위치
  • INSTANCE_ID: Cloud Data Fusion 인스턴스의 ID

InstanceV2 측정항목 사용 중지

InstanceV2 측정항목을 사용 중지하고 기본 동작(InstanceV3 측정항목만 내보냄)으로 되돌리려면 enable_instance_v2_metrics이 false로 설정된 instances.patch 메서드를 사용합니다.

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
  • LOCATION: 인스턴스의 위치
  • INSTANCE_ID: Cloud Data Fusion 인스턴스의 ID

InstanceV2에서 InstanceV3로 Cloud Monitoring 쿼리 마이그레이션

Cloud Data Fusion 버전 6.11.1.1부터 InstanceV3(datafusion.googleapis.com/InstanceV3) 모니터링 리소스가 인스턴스 수준 측정항목의 기본 리소스 유형입니다. InstanceV2를 타겟팅하는 기존 모니터링 대시보드, 차트 또는 알림 정책이 있는 경우 InstanceV3 리소스 유형 및 측정항목 경로를 사용하도록 업데이트할 수 있습니다.

쿼리를 이전하려면 다음 단계를 따르세요.

  1. 리소스 유형 변경: resource.type을 datafusion.googleapis.com/InstanceV2에서 datafusion.googleapis.com/InstanceV3로 업데이트합니다.

  2. 측정항목 이름 업데이트: 측정항목 경로를 .../instance/v2/...에서 .../instance/v3/...로 변경합니다.

  3. 라벨 삭제: 이러한 라벨은 InstanceV3에 없으므로 resource.labels.org_id 또는 resource.labels.namespace에 기반한 필터나 집계를 삭제합니다.

예를 들어 기존 InstanceV2 쿼리가 다음과 같은 경우:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

다음과 같이 업데이트합니다.

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

다음 단계