建立指標警告

您可以建立 Monitoring 警告,在 Managed Service for Apache Spark 叢集或工作指標超過指定門檻時通知您。

建立警告

  1. 在 Google Cloud 控制台中,開啟「Alerting」(警告) 頁面。

  2. 按一下「+ 建立政策」,開啟「建立警告政策」頁面。

    1. 按一下「選取指標」。
    2. 在「Filter by resource or metric name」(依資源或指標名稱篩選) 輸入方塊中,輸入「dataproc」來列出 Managed Service for Apache Spark 指標。瀏覽 Cloud Managed Service for Apache Spark 指標的階層結構,選取叢集、工作、批次或工作階段指標。
    3. 按一下「套用」。
    4. 點選「Next」(下一步),開啟「Configure alert trigger」(設定快訊觸發條件) 窗格。
    5. 設定觸發快訊的門檻值。
    6. 按一下「Next」(下一步),開啟「Configure notifications and finalize alert」(設定通知並完成快訊) 窗格。
    7. 設定通知管道、說明文件和警告政策名稱。
    8. 點選「Next」(下一步),查看警告政策。
    9. 點選「建立政策」,建立警告。

快訊範例

本節說明提交至 Managed Service for Apache Spark 的工作範例警告,以及以 YARN 應用程式執行的工作警告。

長時間執行的 Managed Service for Apache Spark 工作警告

Managed Service for Apache Spark 會發出 dataproc.googleapis.com/job/state 指標,追蹤工作處於不同狀態的時間長度。這項指標位於 Google Cloud 控制台 Metrics Explorer 的「Cloud Managed Service for Apache Spark Job」(Cloud Managed Service for Apache Spark 工作) (cloud_dataproc_job) 資源下方。您可以使用這項指標設定快訊,在工作RUNNING狀態超過時間長度門檻 (上限:7 天) 時通知您。如要為預計執行超過 7 天的工作設定快訊,請參閱「長時間執行的 YARN 應用程式快訊」。

工作時間長度快訊設定

這個範例使用 Prometheus 查詢語言 (PromQL) 建立警告政策。詳情請參閱「建立以 PromQL 為基礎的警告政策 (控制台)」。

sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING"
}) != 0

如要在工作執行超過 30 分鐘時觸發這項警告,請在「Configure trigger」(設定觸發條件) 分頁中,將「Evaluation Interval」(評估間隔) 設為 30 分鐘。

您可以篩選 job_id 來修改查詢,將其套用至特定工作:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="RUNNING",
  "job_id"="1234567890"
}) != 0

長時間執行的 YARN 應用程式警告

上述範例顯示,當 Managed Service for Apache Spark 工作的執行時間超過指定時間長度時,系統會觸發警告,但這項設定僅適用於透過 Google Cloud 控制台、Google Cloud CLI,或直接呼叫 Managed Service for Apache Spark jobs API,提交至 Managed Service for Apache Spark 服務的工作。您也可以使用 OSS 指標設定類似的快訊,監控 YARN 應用程式的執行時間。

首先,我們來瞭解一些背景資訊。YARN 會將執行時間指標發送至多個值區。根據預設,YARN 會將 60、300 和 1440 分鐘設為值區門檻,並發出 4 個指標:running_0、running_60、running_300 和 running_1440:

  • running_0 記錄執行時間介於 0 至 60 分鐘的工作數量。

  • running_60 記錄執行時間介於 60 至 300 分鐘的工作數量。

  • running_300 記錄執行時間介於 300 至 1440 分鐘的工作數量。

  • running_1440 會記錄執行時間超過 1440 分鐘的工作數量。

舉例來說,執行 72 分鐘的工作會記錄在 running_60,但不會記錄在 running_0。

建立 Managed Service for Apache Spark 叢集時,只要將新值傳遞至 yarn:yarn.resourcemanager.metrics.runtime.buckets 叢集屬性,即可修改這些預設值。定義自訂 bucket 門檻時,也必須定義指標覆寫。舉例來說,如要指定 30、60 和 90 分鐘的值區門檻,gcloud dataproc clusters create 指令應包含下列旗標:

  • bucket 門檻:‑‑properties=yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90

  • 指標覆寫:‑‑metric-overrides=yarn:ResourceManager:QueueMetrics:running_0, yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60, yarn:ResourceManager:QueueMetrics:running_90

叢集建立指令範例

gcloud dataproc clusters create test-cluster  \
   --properties ^#^yarn:yarn.resourcemanager.metrics.runtime.buckets=30,60,90  \
   --metric-sources=yarn  \
   --metric-overrides=yarn:ResourceManager:QueueMetrics:running_0,yarn:ResourceManager:QueueMetrics:running_30,yarn:ResourceManager:QueueMetrics:running_60,yarn:ResourceManager:QueueMetrics:running_90

這些指標會列在 Google Cloud 控制台 Metrics Explorer 的「VM 執行個體」(gce_instance) 資源下方。

YARN 應用程式快訊設定

  1. 建立叢集,並啟用必要的 bucket 和指標。

  2. 建立警告政策,在 YARN 指標值區中的應用程式數量超過指定門檻時觸發。

    • 您也可以新增篩選器,針對符合特定模式的叢集發出警告。

    • 設定觸發警告的門檻。

Managed Service for Apache Spark 工作失敗警告

您也可以使用 dataproc.googleapis.com/job/state 指標 (請參閱「長時間執行的 Managed Service for Apache Spark 工作警告」),在 Managed Service for Apache Spark 工作失敗時發出警告。

失敗工作快訊設定

這個範例使用 Prometheus 查詢語言 (PromQL) 建立警告政策。詳情請參閱「建立以 PromQL 為基礎的警告政策 (控制台)」。

警告 PromQL
sum by (job_id, state) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR"
}) != 0
警告觸發條件設定

在以下範例中,當專案中的任何 Managed Service for Apache Spark 工作失敗時,就會觸發警告。

您可以篩選 job_id 來修改查詢,將其套用至特定工作:

sum by (job_id) ({
  "__name__"="dataproc.googleapis.com/job/state",
  "monitored_resource"="cloud_dataproc_job",
  "state"="ERROR",
  "job_id"="1234567890"
}) != 0

叢集容量偏差警告

Managed Service for Apache Spark 會發出 dataproc.googleapis.com/cluster/capacity_deviation 指標,回報叢集中預期節點數量與有效 YARN 節點數量之間的差異。您可以在Google Cloud 控制台的「Metrics Explorer」中,找到「Cloud Managed Service for Apache Spark Cluster」資源下的這項指標。您可以使用這項指標建立快訊,在叢集容量偏離預期容量的時間超過指定門檻時,通知您。

下列作業可能會導致 capacity_deviation 指標暫時低估叢集節點數量。為避免偽陽性快訊,請設定指標警告門檻,將這些作業納入考量:

  • 叢集建立和更新:在叢集建立或更新作業期間,系統不會發出 capacity_deviation 指標。

  • 叢集初始化動作:佈建節點後,系統會執行初始化動作。

  • 次要 worker 更新:更新作業完成後,系統會以非同步方式新增次要 worker。

設定容量偏差快訊

這個範例使用 Prometheus 查詢語言 (PromQL) 建立警告政策。詳情請參閱「建立以 PromQL 為基礎的警告政策 (控制台)」。

{
  "__name__"="dataproc.googleapis.com/cluster/capacity_deviation",
  "monitored_resource"="cloud_dataproc_cluster"
} != 0

在下一個範例中,如果叢集容量偏差值超過 30 分鐘不為零,就會觸發警告。

查看快訊

指標門檻條件觸發警告時,Monitoring 會建立事件和對應的事件。您可以在 Google Cloud 控制台的「Monitoring alerting」(Monitoring 警告) 頁面查看事件。

如果您在警告政策中定義了通知機制 (例如電子郵件或簡訊通知),Monitoring 會傳送事件通知。

後續步驟