指標總覽

本頁說明如何使用指標監控 Cloud Data Fusion 執行個體和管道的健康狀態和效能。使用 Cloud Monitoring 監控這些指標。這些指標可深入瞭解管道執行、執行個體詳細資料、API 要求和授權檢查。

指標可分為管道指標或執行個體指標：

  • 管道指標提供個別管道執行的相關資料，例如執行狀態、持續時間、延遲時間和資料處理量。
  • 執行個體指標提供執行個體內管道的匯總資訊，包括服務可用性、已部署的管道數量和 API 要求計數。

使用指標和受監控資源標籤，在 Monitoring 中篩選及匯總 Cloud Data Fusion 管道和執行個體指標。 自訂指標檢視畫面時，您可以使用其中一種或兩種標籤類型。

Cloud Data Fusion 管道受監控資源標籤

使用下列 Cloud Data Fusion 管道受監控資源標籤，篩選及彙整指標：

標籤名稱 說明
resource_container 客戶專案的 ID。
org_id 客戶專案所屬的機構 ID。
location 執行個體代管的區域或地區。
edition Cloud Data Fusion 執行個體的版本。
is_private_ip_enabled 執行個體是否使用內部 IP 位址。
version 執行個體的 Cloud Data Fusion 資料平面版本。
instance_id Cloud Data Fusion 執行個體 ID。
namespace 管道的命名空間。
pipeline_id 管道 ID。
run_id 管道的執行 ID。

管道指標標籤

在 Monitoring 中，使用下列 Cloud Data Fusion 指標標籤篩選及匯總指標：

名稱 指標 說明 指標標籤
pipeline 執行作業狀態 datafusion.googleapis.com/pipeline/v2/runs_completed_count 已完成執行的管道累計次數。
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
管道執行時間 datafusion.googleapis.com/pipeline/v2/pipeline_duration 完成管道執行作業所花費的時間。
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
管道啟動延遲時間 datafusion.googleapis.com/pipeline/v2/pipeline_start_latency 管道達到「Running」狀態所需的時間。
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
佈建延遲時間 datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Managed Service for Apache Spark 叢集佈建延遲時間。
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API 要求 datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Dataproc API 要求的累計數量。
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
管道預覽執行時間 datafusion.googleapis.com/pipeline/v2/preview_duration 完成預覽所需時間。
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
管道寫入位元組數 datafusion.googleapis.com/pipeline/v2/write_bytes_count 管道寫入的累計位元組數。
  • enable_rbac
  • private_service_connect_enabled
已讀取的管道位元組數 datafusion.googleapis.com/pipeline/v2/read_bytes_count 管道讀取的累計位元組數。
  • enable_rbac
  • private_service_connect_enabled
重組的管道位元組數 datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count 管道中隨機排序的位元組累計數。
  • enable_rbac
  • private_service_connect_enabled
外掛程式處理的記錄筆數：輸入 datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count 進入外掛程式的記錄累計數量。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
外掛程式處理的記錄筆數：輸出 datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count 外掛程式輸出的記錄累計數量。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Cloud Data Fusion 執行個體受監控資源標籤

從 Cloud Data Fusion 6.11.1.1 版開始，InstanceV3 (datafusion.googleapis.com/InstanceV3) 受監控資源是執行個體層級指標的預設資源類型。所有新執行個體和升級至 6.11.1.1 以上版本的執行個體，都會自動使用 InstanceV3 發出指標和記錄。InstanceV3 資源結構與舊版不同，因為移除了 org_id 和 namespace 標籤。

在 Cloud Data Fusion 6.11.1.1 以上版本中，預設會停用 InstanceV2 指標的發布功能。不過，如果您需要現有資訊主頁或查詢的回溯相容性，可以使用 Cloud Data Fusion REST API，重新啟用 InstanceV2 和 InstanceV3 的發布作業。

您可以使用下列 Cloud Data Fusion 執行個體監控資源標籤，篩選及匯總指標。

InstanceV3 受監控資源標籤

標籤名稱 說明
resource_container 客戶專案的 ID。
location 執行個體代管的區域或地區。
edition 執行個體的版本。
is_private_ip_enabled 執行個體是否使用內部 IP 位址。
version 執行個體的 Cloud Data Fusion 資料平面版本。
instance_id Cloud Data Fusion 執行個體 ID。

InstanceV2 受監控資源標籤

標籤名稱 說明
resource_container 客戶專案的 ID。
org_id 客戶專案所屬的機構 ID。
location 執行個體代管的區域或地區。
edition 執行個體的版本。
is_private_ip_enabled 執行個體是否使用內部 IP 位址。
version 執行個體的 Cloud Data Fusion 資料平面版本。
instance_id Cloud Data Fusion 執行個體 ID。
namespace 命名空間名稱。

執行個體指標標籤

在 Monitoring 中，使用下列 Cloud Data Fusion 指標標籤篩選及匯總指標。

InstanceV3 指標標籤

名稱 指標 說明 指標標籤
服務狀態 datafusion.googleapis.com/instance/v3/service_available Cloud Data Fusion 服務的可用性。
  • service
  • enable_rbac
  • private_service_connect_enabled
已部署的 pipeline 數量 datafusion.googleapis.com/instance/v3/pipelines 已部署的管道數量。
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
正在並行執行的管道數量 datafusion.googleapis.com/instance/v3/concurrent_pipelines_running 並行執行的管道數量。
  • enable_rbac
  • private_service_connect_enabled
並行啟動的管道數量 datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched 處於「佈建」或「啟動」狀態的管道數量。
  • enable_rbac
  • private_service_connect_enabled
收到的 CDAP REST API 要求 datafusion.googleapis.com/instance/v3/api_request_count 後端服務收到的 REST API 要求累計次數。
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
傳送的 CDAP REST API 回應 datafusion.googleapis.com/instance/v3/api_response_count 後端服務傳送的 REST API 回應累計數量。
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
授權檢查次數 datafusion.googleapis.com/instance/v3/authorization_check_count 存取強制執行者進行授權檢查的累計次數。
  • enable_rbac
  • type
  • private_service_connect_enabled
授權檢查時間 datafusion.googleapis.com/instance/v3/authorization_check_time 存取權執行者進行授權檢查的延遲時間。
  • enable_rbac
  • type
  • private_service_connect_enabled
草稿管道數量 datafusion.googleapis.com/instance/v3/draft_pipelines 草稿管道的數量。
  • enable_rbac
  • private_service_connect_enabled
命名空間數量 datafusion.googleapis.com/instance/v3/namespaces 命名空間數量。
  • enable_rbac
  • private_service_connect_enabled

InstanceV2 指標標籤

名稱 指標 說明 指標標籤
服務狀態 datafusion.googleapis.com/instance/v2/service_available Cloud Data Fusion 服務的可用性。
  • service
  • enable_rbac
  • private_service_connect_enabled
已部署的 pipeline 數量 datafusion.googleapis.com/instance/v2/pipelines 已部署的管道數量。
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
正在並行執行的管道數量 datafusion.googleapis.com/instance/v2/concurrent_pipelines_running 並行執行的管道數量。
  • enable_rbac
  • private_service_connect_enabled
並行啟動的管道數量 datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched 處於「佈建」或「啟動」狀態的管道數量。
  • enable_rbac
  • private_service_connect_enabled
收到的 CDAP REST API 要求 datafusion.googleapis.com/instance/v2/api_request_count 後端服務收到的 REST API 要求累計次數。
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
傳送的 CDAP REST API 回應 datafusion.googleapis.com/instance/v2/api_response_count 後端服務傳送的 REST API 回應累計數量。
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
授權檢查次數 datafusion.googleapis.com/instance/v2/authorization_check_count 存取強制執行者進行授權檢查的累計次數。
  • enable_rbac
  • type
  • private_service_connect_enabled
授權檢查時間 datafusion.googleapis.com/instance/v2/authorization_check_time 存取權執行者進行授權檢查的延遲時間。
  • enable_rbac
  • type
  • private_service_connect_enabled
草稿管道數量 datafusion.googleapis.com/instance/v2/draft_pipelines 草稿管道的數量。
  • enable_rbac
  • private_service_connect_enabled
命名空間數量 datafusion.googleapis.com/instance/v2/namespaces 命名空間數量。
  • enable_rbac
  • private_service_connect_enabled

管理 InstanceV2 指標發布作業

如果 Cloud Data Fusion 執行個體執行的是 6.11.1.1 以上版本，系統預設會停用 InstanceV2 指標發布功能。如要維持與使用舊格式的資訊主頁或快訊回溯相容，可以使用 Cloud Data Fusion REST API 重新啟用 InstanceV2 指標。

啟用 InstanceV2 指標

如要啟用 InstanceV2 指標的發送功能，請使用 instances.patch 方法，並將 enable_instance_v2_metrics 設為 true：

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

停用 InstanceV2 指標

如要停用 InstanceV2 指標並還原為預設行為 (只發出 InstanceV3 指標)，請使用 instances.patch 方法，並將 enable_instance_v2_metrics 設為 false：

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

將 Cloud Monitoring 查詢從 InstanceV2 遷移至 InstanceV3

從 Cloud Data Fusion 6.11.1.1 版開始，InstanceV3 (datafusion.googleapis.com/InstanceV3) 受監控資源是執行個體層級指標的預設資源類型。如果您有以 InstanceV2 為目標的現有監控資訊主頁、圖表或快訊政策，可以更新這些項目，改用 InstanceV3 資源類型和指標路徑。

如要遷移查詢，請按照下列步驟操作：

  1. 變更資源類型：將 resource.type 從 datafusion.googleapis.com/InstanceV2 更新為 datafusion.googleapis.com/InstanceV3。

  2. 更新指標名稱：將指標路徑從 .../instance/v2/... 變更為 .../instance/v3/...。

  3. 移除標籤：根據 resource.labels.org_id 或 resource.labels.namespace 移除所有篩選器或匯總，因為這些標籤不會出現在 InstanceV3 中。

舉例來說，假設您現有的 InstanceV2 查詢如下：

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

更新方式如下：

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

後續步驟