建立管道警示

Cloud Data Fusion 的管道快訊可讓您追蹤執行狀態，並監控工作流程健康狀態。這些通知可協助您立即偵測管道故障。

您可以根據部署階段，使用兩種不同的服務設定快訊。Cloud Data Fusion 警告是在設計批次管道時設定，部署後即無法新增或編輯。相較之下，您可以在部署管道前後，隨時透過 Google Cloud 控制台中的 Cloud Monitoring 建立記錄指標警告。

事前準備

您需要 Cloud Data Fusion 執行個體。詳情請參閱「建立公開執行個體」。

在 Cloud Data Fusion 中新增警告

  1. 開啟執行個體。

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 前往設計管道的「Studio」頁面。

  3. 依序點選「設定」>「管道快訊」>「新增」。

  4. 選取並設定快訊。如要進一步瞭解如何設定快訊，請參閱「批次管道快訊」。

  5. 設定快訊後，請按一下「Validate」(驗證) 檢查是否有錯誤，然後按一下「Confirm」(確認)。

在 Monitoring 中建立警告

  1. 在 Cloud Data Fusion 執行個體中啟用 Cloud Logging。

  2. 建立記錄式警告。

    1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

      前往「Logs Explorer」

      您可以在這個頁面儲存、查詢、更新及刪除資料。

    2. 輸入下列查詢：

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      將 PROJECT_ID 替換為專案 ID。

    3. 按一下「建立快訊」，然後設定快訊。

只有在管道於 Managed Service for Apache Spark 叢集上執行失敗時，系統才會產生警告。如果 Managed Service for Apache Spark 叢集建立失敗，系統不會產生警告。

後續步驟