Dataflow 的即時快訊

如要監控串流管道健康狀態和資源耗用量,不必在 Cloud Monitoring 中手動設定政策,只要在 Dataflow 中啟用即用型快訊即可。您可以在工作啟動期間啟用預先設定的建議快訊政策套件,取得即時快訊。

這項功能可讓您:

  • 即時掌握情況:自動追蹤重要的串流指標,例如待處理項目處理時間和 vCPU 成長,無須手動設定。
  • 標準化監控:快速將基準警告政策套用至新舊實際工作負載。
  • 自訂快訊:調整預設快訊門檻、停用個別政策,或在套件中新增自訂快訊政策。

您隨時可以在 Cloud Monitoring 中自訂這些預設政策,也可以將自訂快訊政策與即用型快訊套件整合。

必要條件

如要使用即時警報,專案必須符合下列規定:

  1. 通知管道:您必須至少設定一個通知管道 (例如電子郵件、Slack 或 PagerDuty)。建議您設定重要聯絡人,確保快訊能傳送給適當的利害關係人。Dataflow 服務不會強制執行這項規定。詳情請參閱「建立及管理通知管道」。

  2. 權限:Dataflow 服務帳戶 (P4SA) 需要特定的 IAM 權限,才能代表您建立及管理這些政策:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    如果是新專案,系統會自動新增這些權限。如果是現有專案,您可能需要在 P4SA 帳戶中手動設定這些權限。

更新 P4SA 權限

Dataflow 服務代理 (通常稱為 P4SA,或個別產品/專案服務帳戶) 是您啟用 Dataflow API 時,系統自動管理的服務帳戶。電子郵件地址格式如下:

service-PROJECT_NUMBER@dataflow-service-producer-prod.iam.gserviceaccount.com

如要更新 P4SA,您需要 resourcemanager.projects.setIamPolicy 權限,或包含這項權限的角色,例如專案 IAM 管理員 (roles/resourcemanager.projectIamAdmin)。

如要使用 Google Cloud 控制台授予必要角色,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「IAM」(身分與存取權管理) 頁面。

    前往 IAM

  2. 選取專案。

  3. 勾選「包含 Google 提供的角色授予項目」核取方塊。

  4. 在主體清單中,找出 Dataflow 服務代理程式的資料列 (service-PROJECT_NUMBER@dataflow-service-producer-prod.iam.gserviceaccount.com 或具有「Cloud Dataflow 服務代理程式」角色的主體)。

  5. 在該列中,按一下 「編輯主體」

  6. 在「編輯權限」窗格中,按一下 「新增其他角色」

  7. 在「Select a role」(選取角色) 清單中,選取「Monitoring Editor」(監控編輯者) (roles/monitoring.editor)。

  8. 按一下 [儲存]。權限更新可能需要幾分鐘才會全面生效。

啟用即時警報

您可以使用 gcloud CLI,將工作註冊至即時警報。

使用 gcloud CLI 啟用快訊

在提交作業時新增下列任一旗標,即可啟用或停用這項功能:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

如果服務帳戶缺少必要權限,CLI 會拒絕要求並顯示缺少的權限。詳情請參閱「必要條件」。

工作更新時,系統會保留預設警告設定。更新工作時,系統會保留先前的即時快訊設定,因此除非想變更設定,否則不必再次指定 --enable-turnkey-alerts--no-enable-turnkey-alerts 旗標。

預設政策套件

即用型快訊包含兩項主要政策,專為一般串流工作負載設計,著重於處理時間和資源用量等即時 KPI。Google 提供的政策會加上 Default Policy: 前置字元,方便識別,但服務會使用標籤做為主要 ID。

系統會自動為客戶啟用預設政策套件中的所有政策。如有需要,您可以在 Cloud Monitoring 快訊中停用特定預設政策。

政策名稱 基本指標 預設門檻 理由
預設政策:預估積壓工作 job/estimated_backlog_processing_time 30 分鐘 估算清除目前待處理事項所需的時間。如果積壓時間超過 30 分鐘,表示工作難以進展。
預設政策:vCPU 成長政策 job/current_num_vcpus 1 小時平均 vCPU 用量比 7 天平均值高出 5 倍以上 監控 vCPU 數量相對變化,協助評估非預期的工作費用。

政策生命週期

  • Beta 版政策:這些政策的名稱會加上 BETA 前置字串,且門檻經過調整後,政策可能會變更或刪除。
  • 正式版政策:政策穩定後,系統會移除 BETA 前置字元。

自訂及管理快訊

即時警報是起點,建議您根據特定業務需求自訂這些範本。

  1. 在 Google Cloud 控制台中,依序前往「Cloud Monitoring」>「Alerting」(快訊)
  2. 找出政策 (例如「預設政策:預估積壓工作」)。
  3. 將門檻編輯為所需值。

建立自訂政策

只要在 Cloud Monitoring 快訊政策中加入 goog-turnkey-alerts 標籤,即可將該政策新增至即用型快訊套件。這樣一來,您就能在預設套件中管理自訂的商家專屬規則。

停用或刪除快訊政策

您可以使用「監控」功能停用或刪除特定預設政策。停用政策後,Monitoring 會停止評估政策條件,也不會建立新事件,但政策設定會保留。政策一經刪除,就會從專案中永久移除。如要進一步瞭解如何管理政策生命週期,請參閱「管理快訊政策」和「已停用的快訊政策」。

疑難排解

問題 解析度
PERMISSION_DENIED 請確認 Dataflow P4SA 具備「monitoring.alertPolicies.*」一節先決條件中列出的必要權限。如果 P4SA 缺少這些角色,管道仍會順利啟動,但指令列輸出內容和工作記錄中會顯示 PERMISSION_DENIED 錯誤,指出無法建立預設快訊。
未收到快訊 檢查事件,判斷是否符合警告條件。您可以在 Monitoring 中查看觸發的快訊和事件時間軸 (請參閱「查看事件和活動」)。
重複的政策 如果多項政策共用 goog-turnkey-alerts 標籤和相同的指標設定,通常就會發生這種情況。Dataflow 會檢查標籤和指標是否重疊,而不是完全相符。檢查政策,並從多餘的設定中移除標籤。