本指南說明如何監控 Cloud Data Fusion 執行個體和管道。您可以在 Cloud Data Fusion 監控資訊主頁中查看重要指標。如要進行其他彙整或篩選作業,可以在 Cloud Monitoring 中查看指標。
事前準備
開始監控 Cloud Data Fusion 執行個體和管道之前,請先查看定價並授予必要角色。
定價
使用 Cloud Monitoring 會產生費用。詳情請參閱「Google Cloud Observability 定價」。
必要的角色
如要取得查看指標所需的權限,請要求管理員授予您專案的「Monitoring 檢視者 」(roles/monitoring.viewer) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
在 Cloud Data Fusion 中監控
使用監控資訊主頁,直接在 Cloud Data Fusion 中查看及篩選執行個體和管道的指標:
前往 Google Cloud 控制台的 Cloud Data Fusion 頁面。
按一下「Instances」(執行個體),然後按一下執行個體名稱,前往「Instance details」(執行個體詳細資料) 頁面。
按一下 [監控] 分頁。系統會顯示資訊主頁,其中包含執行個體及其管道的圖表。
資訊主頁會顯示下列檢視畫面:
- 總覽:監控 Cloud Data Fusion 系統指標。
- 執行個體:監控專案中的所有 Cloud Data Fusion 執行個體。
- 管道:提供管道執行和效能相關資訊。
如要查看任何檢視畫面中指標的詳細資訊,請將滑鼠游標懸停在小工具上,然後按一下「更多」>「在 Metrics Explorer 中查看」。
監控資訊主頁中的小工具
以下各節說明「總覽」、「執行個體」和「管道」檢視畫面中可用的小工具。
總覽檢視畫面小工具
下表說明「總覽」檢視畫面中的小工具:
| 小工具 | 說明 |
|---|---|
| AppFabric 服務健康狀態 | AppFabric 服務可用性 |
| 指標服務健康狀態 | 指標的服務可用性 |
| Wrangler 服務健康狀態 | Wrangler 服務適用情形 |
| Dataset Executor 健康狀態 | 資料集的服務可用性 |
| Pipeline Studio 健康狀態 | Pipeline Studio 服務可用性 |
| Runtime 服務健康狀態 | 執行階段的服務可用性 |
| Log Saver 服務健康狀態 | Log Saver 服務可用性 |
| 中繼資料服務健康狀態 | 中繼資料的服務可用性 |
管道檢視畫面小工具
下表說明「Pipeline」(管線) 檢視畫面中的小工具:
| 小工具 | 說明 |
|---|---|
| 成功的管道執行作業 | 成功執行管道的累計次數。 |
| 失敗的管道執行作業 | 失敗的管道執行作業累計次數。 |
| 終止的管道執行作業 | 遭終止的管道執行作業累計次數。 |
| 已拒絕的管道執行作業 | 累計遭拒的管道執行作業次數。 |
| 管道執行作業成功時間 | 成功執行管道所需的時間。 |
| 管道啟動延遲時間 | 管道執行作業達到「執行中」狀態所需的時間。 |
| Managed Service for Apache Spark 佈建延遲 | 佈建 Managed Service for Apache Spark 叢集所花費的時間。 |
| Managed Service for Apache Spark API 請求數 | 向 Managed Service for Apache Spark 發出的 API 要求的累計次數。 |
| 執行時間:成功的預覽 | 成功完成預覽執行作業所需的時間。 |
| 預覽執行作業 | 預覽執行次數。 |
| 已讀取的管道位元組數 | 管道讀取的累計位元組數。 |
| 管道寫入位元組數 | 管道寫入的累計位元組數。 |
| 重組的管道位元組數 | 管道中重組的累計位元組數。 |
| 外掛程式處理的記錄筆數:輸入 | 進入外掛程式的記錄累計數量。 |
| 外掛程式處理的記錄筆數:輸出 | 外掛程式輸出的記錄累計數。 |
執行個體檢視畫面小工具
下表說明「執行個體」檢視畫面中的小工具:
| 小工具 | 說明 |
|---|---|
| 正在並行執行的管道 | 同時執行的管道數。 |
| 已啟動並行執行的管道 | 處於佈建或啟動狀態的管道數量。 |
| 收到的 API 要求 | 收到的 API 要求累計次數。 |
| API 回應次數 | 傳送的 API 回應累計次數。 |
| 授權檢查次數 | 授權檢查累計次數。 |
| 授權檢查時間 | 授權檢查的延遲時間。 |
| 已部署的 pipeline 數量 | 已部署的管道數量。 |
| 草稿管道數量 | 草稿管道數量。 |
| 命名空間數量 | 命名空間數量。 |
在 Cloud Monitoring 中查看指標,進行進階分析
如需其他篩選和匯總選項,請在 Cloud Monitoring 中查看指標:
前往 Google Cloud 控制台的 Cloud Monitoring「指標探索器」頁面。
選取「Cloud Data Fusion」受監控資源。
選擇指標。
選取篩選器和匯總。
後續步驟
- 如要瞭解篩選器和指標,請參閱 Cloud Data Fusion 指標總覽。