指標總覽

本頁說明如何使用指標監控 Cloud Data Fusion 執行個體和管道的健康狀態和效能。使用 Cloud Monitoring 監控這些指標。這些指標可深入瞭解管道執行、執行個體詳細資料、API 要求和授權檢查。

指標分為管道指標或執行個體指標：

  • 管道指標提供個別管道執行的相關資料，例如執行狀態、持續時間、延遲時間和資料輸送量。
  • 執行個體指標提供執行個體內管道的匯總資訊，包括服務可用性、已部署的管道數量和 API 要求計數。

在 Monitoring 中，使用 metric 和 monitored-resource 標籤，篩選及匯總 Cloud Data Fusion 管道和執行個體指標。 自訂指標檢視畫面時，您可以使用其中一種或兩種標籤類型。

Cloud Data Fusion 管道受監控資源標籤

使用下列 Cloud Data Fusion 管道受監控資源標籤，篩選及匯總指標：

標籤名稱 說明
resource_container 客戶專案的 ID。
org_id 客戶專案所屬機構的 ID。
location 執行個體代管的區域或地區。
edition Cloud Data Fusion 執行個體的版本。
is_private_ip_enabled 執行個體是否使用內部 IP 位址。
version 執行個體的 Cloud Data Fusion 資料平面版本。
instance_id Cloud Data Fusion 執行個體 ID。
namespace 管道的命名空間。
pipeline_id 管道 ID。
run_id 管道的執行 ID。

管道指標標籤

在 Monitoring 中，使用下列 Cloud Data Fusion 指標標籤篩選及匯總指標：

名稱 指標 說明 指標標籤
pipeline 執行作業狀態 datafusion.googleapis.com/pipeline/v2/runs_completed_count 已完成執行作業的管道累計數量。
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
管道執行時間 datafusion.googleapis.com/pipeline/v2/pipeline_duration 完成管道執行作業所花費的時間。
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
管道啟動延遲 datafusion.googleapis.com/pipeline/v2/pipeline_start_latency 管道達到「執行中」狀態所需的時間。
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
佈建延遲時間 datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Dataproc 叢集佈建延遲時間。
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API 要求 datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Dataproc API 要求的累計數量。
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
管道預覽執行時間 datafusion.googleapis.com/pipeline/v2/preview_duration 完成預覽所需的時間。
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
已寫入的管道位元組數 datafusion.googleapis.com/pipeline/v2/write_bytes_count 管道寫入的累計位元組數。
  • enable_rbac
  • private_service_connect_enabled
已讀取的管道位元組數 datafusion.googleapis.com/pipeline/v2/read_bytes_count 管道讀取的累計位元組數。
  • enable_rbac
  • private_service_connect_enabled
重組的管道位元組數 datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count 管道中累計重組的位元組數。
  • enable_rbac
  • private_service_connect_enabled
外掛程式處理的記錄筆數：輸入 datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count 進入外掛程式的記錄累計數量。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
外掛程式處理的記錄筆數：輸出 datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count 外掛程式輸出的累計記錄數。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Cloud Data Fusion 執行個體受監控資源標籤

使用下列 Cloud Data Fusion 執行個體受監控資源標籤，篩選及匯總指標：

標籤名稱 說明
resource_container 客戶專案的 ID。
org_id 客戶專案所屬機構的 ID。
location 執行個體代管的區域或地區。
edition 執行個體的版本。
is_private_ip_enabled 執行個體是否使用內部 IP 位址。
version 執行個體的 Cloud Data Fusion 資料平面版本。
instance_id Cloud Data Fusion 執行個體 ID。
namespace 命名空間名稱。

執行個體指標標籤

在 Monitoring 中，使用下列 Cloud Data Fusion 指標標籤篩選及匯總指標：

名稱 指標 說明 指標標籤
服務狀態 datafusion.googleapis.com/instance/v2/service_available Cloud Data Fusion 服務的可用性。
  • service
  • enable_rbac
  • private_service_connect_enabled
已部署的 pipeline 數量 datafusion.googleapis.com/instance/v2/pipelines 已部署的管道數量。
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
正在並行執行的管道數量 datafusion.googleapis.com/instance/v2/concurrent_pipelines_running 同時執行的管道數量。
  • enable_rbac
  • private_service_connect_enabled
並行啟動的管道數 datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched 處於「佈建」或「啟動」狀態的管道數量。
  • enable_rbac
  • private_service_connect_enabled
收到的 CDAP REST API 要求 datafusion.googleapis.com/instance/v2/api_request_count 後端服務收到的 REST API 要求累計次數。
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
傳送的 CDAP REST API 回應 datafusion.googleapis.com/instance/v2/api_response_count 後端服務傳送的 REST API 回應累計數量。
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
授權檢查次數 datafusion.googleapis.com/instance/v2/authorization_check_count 存取強制執行者進行授權檢查的累計次數。
  • enable_rbac
  • type
  • private_service_connect_enabled
授權檢查時間 datafusion.googleapis.com/instance/v2/authorization_check_time 存取權執行者進行授權檢查的延遲時間。
  • enable_rbac
  • type
  • private_service_connect_enabled
草稿管道數量 datafusion.googleapis.com/instance/v2/draft_pipelines 草稿管道的數量。
  • enable_rbac
  • private_service_connect_enabled
命名空間數量 datafusion.googleapis.com/instance/v2/namespaces 命名空間數量。
  • enable_rbac
  • private_service_connect_enabled

後續步驟