Dataflow 專案監控資訊主頁

Dataflow 網頁監控介面包含資訊主頁，可監控專案層級的 Dataflow 工作。圖表會顯示一個專案中所有工作的資料。

前往資訊主頁

資訊主頁可協助您執行下列工作：

  • 偵測並找出配額錯誤的來源。
  • 偵測工作中的異常水平自動調度資源。
  • 找出執行速度緩慢或停滯的串流工作。

這個資訊主頁會使用 Cloud Monitoring 存取 Dataflow 工作指標。如要自訂圖表中顯示的資訊，請使用 Metrics Explorer。

功能

這個資訊主頁包含下列功能：

  • 使用規則運算式，選擇要在資訊主頁中顯示哪些工作。
  • 從個別圖表存取工作詳細資料頁面。
  • 自訂資訊主頁小工具和圖表。

必要的角色

如要取得查看圖表資料所需的權限，請要求管理員授予您監控檢視者 (roles/monitoring.viewer) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備 monitoring.timeSeries.list 權限，可查看圖表資料。

您或許還可透過自訂角色或其他預先定義的角色取得這項權限。

存取資訊主頁

如要存取資訊主頁，請按照下列步驟操作：

  1. 登入 Google Cloud 控制台。
  2. 選取 Google Cloud Platform 專案。
  3. 開啟導覽選單。
  4. 在「數據分析」中，按一下「資料流」。

  5. 在 Dataflow 導覽選單中，按一下「監控」。

    前往資訊主頁

資訊主頁指標

根據預設，資訊主頁會顯示下列時間序列圖表。如要進一步瞭解顯示的指標，請參閱「作業指標」。

下列圖表適用於批次和串流工作：

  • 執行中的工作。顯示專案中正在執行的有效工作數量。這張圖表會顯示專案中一段時間內的整體 Dataflow 活動。
  • 各工作的 worker 數量 (前 25 名)。顯示 25 個最平行化工作的目前工作站計數。這張圖表有助於瞭解資源分配情形，以及找出工作負載較高的工作。您也可以查看作業是否出現非預期的擴充行為。
  • vCPU 總數。顯示專案中所有工作目前使用的虛擬 CPU (vCPU) 總數。vCPU 總數會影響 Compute Engine 配額。
  • 每個工作的 vCPU 數量 (前 25 名)。顯示耗用最多 vCPU 資源的 25 項工作。這張圖表會醒目顯示可能費用高昂的工作。
  • vCPU 總數。顯示專案中使用的 vCPU 匯總數。這張圖表提供工作耗用的 Compute Engine 資源高階檢視畫面。
  • 超過配額限制所造成的錯誤。如果達到 Dataflow 配額或 Compute Engine 配額，系統會回報所有執行個體。這張圖表有助於找出潛在的工作失敗或擴充速度變慢問題。

下列圖表適用於串流工作：

  • 平均系統延遲時間。顯示系統延遲時間的平均值，反映資料通過來源階段時的典型延遲時間。這張圖表可指出潛在的輸入瓶頸。使用這張圖表找出串流工作，這些工作在資料顯示於來源和資料寫入所有接收器之間，有不尋常的延遲。
  • 系統延遲時間 (前 25 名)。顯示系統延遲時間最長的 25 個串流管道，也就是資料處理或等待處理的時間最長。這張圖表可指出潛在的即時處理瓶頸。
  • 各階段的資料浮水印延遲時間 (前 25 名)。顯示浮水印延遲時間最長的 25 項串流工作。階段的浮水印延遲是指階段收到的最新事件時間與浮水印之間的差異。這張圖表可指出各階段的潛在瓶頸。使用這張圖表找出可能緩慢或停滯的串流工作。詳情請參閱「排解串流作業緩慢或停滯的問題」。
  • SECU 使用率 (前 25 名)。顯示耗用最多 Streaming Engine 運算單元的 25 項串流工作。使用這張圖表，評估採用以資源為準計費的串流工作費用和強度。
  • 使用者處理延遲時間 (前 25 名)。顯示 25 個串流工作，其中處理階段中使用者定義的程式碼耗時最長。您可以使用這張圖表，找出應用程式邏輯中潛在的效能瓶頸。
  • 最高待處理位元組數 (前 25 名)。顯示未處理資料量最大的 25 項串流工作，這些資料在任何階段都處於等待狀態。這張圖表可指出潛在的輸入超載或處理速度緩慢問題。
  • 待處理的鍵 (前 25 名)。顯示瓶頸階段待處理鍵數量最多的待處理串流工作。詳情請參閱「排解瓶頸問題」。
  • 造成瓶頸的可能原因 (前 10 名)。顯示待處理工作出現瓶頸階段的前 10 大可能原因。詳情請參閱「排解瓶頸問題」。

如要進一步瞭解如何使用圖表，請參閱「探索圖表資料」。

自訂資訊主頁

您可以自訂資訊主頁內容和圖表顯示的資訊。編輯資訊主頁時，系統會建立新的自訂資訊主頁。

這個資訊主頁會使用 Cloud Monitoring 存取 Dataflow 作業指標。使用 Cloud Monitoring 工具自訂圖表。

  1. 開啟資訊主頁，然後點選「自訂資訊主頁」。
  2. 修改資訊主頁。
  3. 按一下「儲存」，然後按一下「查看自訂資訊主頁」。

建立自訂資訊主頁後，如要返回預設資訊主頁，請在「資訊主頁」選單中選取「預先定義」。

如要瞭解如何將自訂指標圖表新增至資訊主頁，請參閱「自訂 Dataflow 監控資訊主頁」。

疑難排解

本節提供常見問題的疑難排解操作說明

未提供資料

開啟資訊主頁時，一或多個圖表會顯示以下訊息：

No data is available for the selected time frame.

如果圖表涵蓋的時間範圍沒有任何資料，系統就會顯示這則訊息。如要解決這個問題，請變更或擴大時間範圍。

如要變更顯示的時間範圍，請在圖表上按一下「探索資料」，然後使用時間範圍選取器。

無法還原已刪除的小工具

從資訊主頁移除小工具後，系統會建立自訂資訊主頁。建立自訂資訊主頁後，如要返回預設資訊主頁，請在「資訊主頁」選單中選取「預先定義」。

無法查看圖表

如要查看圖表資料，必須具備 monitoring.timeSeries.list 權限。詳情請參閱「必要的角色」一節。

後續步驟