在 Gemini Enterprise Agent Platform 監控 Ray 叢集

本頁面說明如何查看與 Ray 叢集相關聯的追蹤記錄，以及監控 Agent Platform 上的 Ray 指標。此外，我們也提供 Ray 叢集偵錯指南。

查看記錄

在 Gemini Enterprise Agent Platform 使用 Ray 叢集執行工作時，系統會自動產生追蹤記錄，並儲存在 Cloud Logging 和開放原始碼 Ray 資訊主頁。本節說明如何透過 Google Cloud 控制台存取產生的記錄。

開始之前，請務必詳閱「Ray on Agent Platform 總覽」，並設定所有必要工具。

Ray OSS 資訊主頁

您可以透過 Ray OSS 資訊主頁查看開放原始碼 Ray 記錄檔：

1. 前往 Google Cloud 控制台的「Ray on Agent Platform」頁面。

   前往 Ray on Agent Platform 頁面

2. 在您建立的叢集資料列中，選取 「more actions」(更多動作) 選單。

3. 選取 Ray OSS 資訊主頁連結。資訊主頁會在另一個分頁中開啟。

4. 前往選單右上角的「記錄」檢視畫面：

   

5. 按一下各個節點，即可查看與該節點相關聯的記錄檔。

Cloud Logging 控制台

1. 前往 Google Cloud 控制台的 segment「Logs Explorer」頁面：

   前往「Logs Explorer」(記錄檔探索工具)

   如果是使用搜尋列尋找這個頁面，請選取子標題為「Logging」的結果。

2. 選取現有的 Google Cloud 專案、資料夾或組織。

3. 如要顯示所有 Ray 記錄，請在查詢編輯器欄位中輸入下列查詢，然後按一下「Run query」(執行查詢)：

   resource.labels.task_name="ray-cluster-logs"

4. 如要將記錄範圍縮小至特定 Ray 叢集，請在查詢中新增下列程式碼，然後點選「Run query」(執行查詢)：

   labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

   將 CLUSTER_NAME 替換為 Ray 叢集名稱。在 Google Cloud 控制台，依序前往「Gemini Enterprise Agent Platform」>「Ray on Agent Platform」，即可查看各區域的叢集名稱清單。

5. 如要進一步縮小記錄範圍，只顯示特定記錄檔 (例如 raylet.out)，請依序點選「Log fields」(記錄欄位) ->「Log name」(記錄名稱) 下方的記錄名稱。

6. 您可以將類似的記錄項目分組：

   1. 在「查詢結果」中，點選記錄項目即可展開記錄。

   2. 在 jsonPayload 中，按一下 tailed_path 值。系統會顯示下拉式選單。

   3. 按一下「Show matching entries」(顯示相符的項目)。

停用記錄功能

根據預設，Ray on Vertex AI Cloud Logging 為啟用狀態。

• 如要停用將 Ray 記錄匯出至 Cloud Logging 的功能，請使用下列 Agent Platform SDK for Python 指令：

  vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
  

即使停用 Ray on Agent Platform Cloud Logging 功能，您仍可在 Ray 資訊主頁查看 Ray 記錄檔。

監控指標

您可以使用 Google Cloud Monitoring (GCM)，以不同方式查看 Ray on Agent Platform 指標。或者，您也可以將 GCM 的指標匯出至自己的 Grafana 伺服器。

注意：如要瞭解定價和資料儲存資訊，請參閱「Google Cloud Managed Service for Prometheus (GMP)」。

在 GCM 中監控指標

在 GCM 中，您可以透過兩種方式查看 Ray on Agent Platform 指標。

• 使用「Metrics Explorer」下方的直接檢視畫面。

• 匯入 Grafana 資訊主頁。

Metrics Explorer

如要使用「Metrics Explorer」下的直接檢視畫面，請按照下列步驟操作：

1. 前往 Cloud Monitoring 控制台。
2. 在「Explore」(探索) 下方，選取「Metrics explorer」(Metrics Explorer)。
3. 在「Active Resources」(使用中的資源) 下方，選取「Prometheus Target」(Prometheus 目標)。系統會顯示「Active Metric Categories」(使用中的指標類別)。

4. 選取「Ray」。

   系統會顯示指標清單：

   
5. 選取要監控的指標。舉例來說：
   1. 選擇 CPU 使用率百分比做為監控指標：
      
      
   2. 選取篩選器。例如，選取叢集：
      使用叢集 ID，只監控特定叢集的上述指標。如要找出叢集 ID，請按照下列步驟操作：

      1. 前往 Google Cloud 控制台的「Ray」頁面。

         前往 Ray

      2. 確認您位於要建立實驗的專案。
         
      3. 「Name」(名稱) 下方會顯示叢集 ID 清單。
      
   3. 選取「匯總」方法即可查看指標。也就是說，您可以選擇查看未匯總的指標，顯示各個 Ray 程序的 CPU 使用率：
      

GCM 資訊主頁

如要為 Agent Platform 上的 Ray 匯入 Grafana 資訊主頁，請按照 Cloud Monitoring 資訊主頁「匯入自己的 Grafana 資訊主頁」中的指南操作。

您只需要 Grafana 資訊主頁 JSON 檔案。OSS Ray 提供預設資訊主頁 Grafana JSON 檔案，支援手動設定。

監控指標

從使用者擁有的 Grafana

如果您已有執行中的 Grafana 伺服器，也可以將 Gemini Enterprise Agent Platform Prometheus 上的所有 Ray 叢集指標，匯出至現有的 Grafana 伺服器。如要這麼做，請按照 GMP 的使用 Grafana 查詢指南操作。這樣一來，您就能在現有的 Grafana 伺服器中新增 Grafana 資料來源，並使用資料來源同步器，將新的 Grafana Prometheus 資料來源同步至 Ray on Agent Platform 指標。

請務必使用資料來源同步器，設定並驗證新加入的 Grafana 資料來源。按照「設定 Grafana 資料來源並進行驗證」一節中的步驟操作。

同步完成後，您就能根據 Agent Platform 上的 Ray 指標，建立及新增任何需要的資訊主頁。

根據預設，系統會啟用 Ray on Agent Platform 指標收集功能。如要使用 Agent Platform SDK for Python 停用這些功能，請按照下列步驟操作：

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

對 Ray 叢集進行偵錯

如要對 Ray 叢集進行偵錯，請使用主要節點互動式殼層：

注意：互動式殼層僅適用於偵錯，或無法透過其他方式執行的進階作業。不建議用於執行工作負載等一般作業。

Google Cloud 控制台

如要存取主要節點互動式殼層，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Ray on Agent Platform」頁面。
   前往 Ray on Agent Platform
2. 請務必確認您位於正確的專案。
   
3. 選取要查看的叢集。「基本資訊」部分隨即顯示。
4. 在「Access links」(存取連結) 區段中，按一下「Head node interactive shell」(主要節點互動式殼層) 連結。主要節點互動式殼層隨即顯示。
5. 請按照「使用互動式殼層監控及偵錯訓練」中的說明操作。

後續步驟

• 刪除 Ray 叢集