使用 Dataflow 工作監控介面

使用 Dataflow 執行管道時,可以利用 Dataflow 監控介面查看該工作和任何其他工作。監控介面可讓您查看 Dataflow 工作,並與這些工作互動。

您可以在Google Cloud console中存取 Dataflow 監控介面。

您可以使用監控介面執行下列工作:

  • 查看執行中、已完成和失敗的工作清單。
  • 以圖形表示工作階段和每個階段的進度
  • 查看工作指標圖表,例如資料更新間隔、資源使用率和 I/O 要求。
  • 監控工作的預估費用。
  • 查看管道記錄。
  • 找出可能導致管道延遲的步驟。
  • 找出來源和接收器發生延遲的原因。
  • 瞭解管道錯誤。

監控介面元件

監控介面包含下列視覺化工具和圖表:

專案監控資訊主頁
資訊主頁,可監控專案層級的 Dataflow 工作。
工作清單
所有正在執行的 Dataflow 工作,以及過去 30 天內執行的所有工作清單,其中會列出工作狀態、區域、經過時間和其他資訊。
工作圖表
管道的圖示。工作圖表也會提供工作摘要、工作記錄,以及管道中每個步驟的相關資訊。
執行作業詳細資料
顯示工作的執行階段、串流工作的資料更新間隔,以及批次工作的 worker 進度。
工作指標
圖表:顯示工作期間的指標。
預估費用
根據資源用量指標,預估 Dataflow 工作的費用。
建議
改善工作效能、降低成本及排解錯誤的建議。
自動調度資源
一組圖表,可協助您瞭解串流工作的自動調度資源行為。
即時警報
預先設定的串流工作警告政策,可監控待處理工作處理時間和資源用量。
管道記錄
管道和 Dataflow 服務發出的記錄。
資料取樣
這項工具可讓您觀察管道每個步驟的樣本資料。

後續步驟