監控工作負載架構指標
本文說明如何收集及查看在 Google Kubernetes Engine (GKE) 執行的 Cloud TPU 工作負載 Megascale XLA (MXLA)、Orbax 和 PyGrain (Grain) 指標,以及如何在機器學習診斷平台查看以這些指標為基礎建構的分析器。監控這些指標,即可找出並排解多配量通訊、檢查點和資料載入的效能瓶頸。
每組指標都針對工作負載的不同元件,協助您診斷管道不同階段的問題:
- Megascale XLA (MXLA) 指標:測量多切片 TPU 工作負載中的跨切片資料中心網路 (DCN) 傳輸延遲時間、裝置對主機 (D2H) 和主機對裝置 (H2D) 傳輸時間、運算延遲時間,以及端對端集體作業。您可以運用這些指標,找出落後者和硬體瓶頸。
- Orbax 指標:追蹤 Orbax 查核點程式庫的非同步查核點儲存和還原時間長度、資料量和寫入處理量。您可以參考這些指標,偵測查核點延遲、停滯或訓練執行緒封鎖時間過長的問題。
- PyGrain (Grain) 指標:從 PyGrain 資料載入程式庫,評估資料集疊代延遲時間、資料來源讀取時間、讀取的總位元組數,以及預先擷取緩衝區準備情況。您可以依據這些指標,判斷工作負載是否因 I/O 或資料載入瓶頸而受限於輸入。
您可以透過直接讀取的 Prometheus 通訊埠、TPU Monitoring Library、tpu-info CLI 或 Cloud Monitoring 存取這些指標。
ML Diagnostics 平台也包含工作負載監控分析器,可在工作負載效能降低時自動分析這些指標。這些分析器會判斷 TPU 工作週期下降的原因,是否為 MXLA 網路傳輸延遲、Orbax 非同步檢查點,或 PyGrain 資料載入。
Megascale 指標
Megascale XLA (MXLA) 是通訊執行階段和編譯器擴充功能,可透過資料中心網路 (DCN) 協調多個 TPU 磁碟區的集體作業。晶片間互連 (ICI) 連結負責處理單一配量內 TPU 晶片之間的高速通訊,MXLA 則管理配量之間的資料移轉、主機端縮減,以及主機記憶體和 TPU 高頻寬記憶體 (HBM) 之間的資料移動。
在 TPU 上執行多配量工作負載時,您可以收集 MXLA 指標,排解跨配量網路和主機處理瓶頸。GKE 預設會以 GKE 系統指標的形式收集這些指標,您可以在 Cloud Monitoring 中查看。指標也會自動顯示在 ML Diagnostics 系統指標分頁中,並自動匯總機器學習執行作業工作負載背景資訊。
下表列出可用的 Megascale 指標:
| 指標名稱 | GKE 指標名稱 | 說明 |
|---|---|---|
| MXLA DCN 傳輸延遲時間 | container/multislice/network/dcn_transfer_latencies |
測量每個資料區塊的資料中心網路 (DCN) 來回傳輸延遲時間。離群值可能與網路硬體故障有關。 指標具有下列屬性:
|
| MXLA 傳入傳輸延遲時間 | container/multislice/network/dcn_inbound_transfer_latencies |
測量每個資料區塊的單向傳入 DCN 傳輸延遲時間。 離群值可能與網路硬體故障有關。 指標具有下列屬性:
|
| MXLA 運算延遲時間 | container/multislice/accelerator/compute_latencies |
測量完成縮減作業所需的主機運算延遲時間。離群值可能代表 CPU 或記憶體問題,例如雙列直插式記憶體模組 (DIMM) 故障。 指標具有下列屬性:
|
| MXLA 端對端集體作業延遲時間 | container/multislice/network/collective_end_to_end_latencies |
測量 DCN 的端對端集體延遲時間,從主機啟動作業到所有對等點收到輸出內容為止。包括主機端資料縮減,以及將輸出內容傳送至 TPU。 結果為字串,詳細說明緩衝區空間、作業類型,以及平均、P50、P90、P95 和 P99.9 延遲時間。 指標具有下列屬性:
|
| MXLA d2h 延遲時間 | container/multislice/accelerator/device_to_host_transfer_latencies |
測量每個資料區塊的單向裝置到主機 (D2H) 傳輸延遲時間。離群值可能與網路硬體故障有關。 指標具有下列屬性:
|
| MXLA h2d 延遲時間 | container/multislice/accelerator/host_to_device_transfer_latencies |
測量每個資料區塊的單向主機到裝置 (H2D) 傳輸延遲時間。離群值可能與網路硬體故障有關。 指標具有下列屬性:
|
Orbax 指標
Orbax 是 JAX 工作負載的分散式檢查點程式庫,可在單一主機和多主機環境中儲存及還原模型權重、最佳化工具狀態和資料集疊代器。為盡可能縮短訓練停機時間,Orbax 支援非同步設定查核點,在同步階段將狀態從 TPU 記憶體複製到主機記憶體,然後在訓練繼續進行時,透過背景執行緒將查核點寫入儲存空間。
如果工作負載使用 Orbax 建立檢查點,您可以收集 Orbax 指標,排解檢查點延遲、寫入處理量緩慢或停滯的問題。Orbax 會在 Prometheus 連接埠匯出這些指標,您可以直接讀取,或使用 Google Cloud Managed Service for Prometheus 傳送至 Cloud Monitoring。如要在 GKE、Cloud Monitoring 或 ML Diagnostics 中啟用這些指標,請參閱「存取 Orbax 和 PyGrain 指標」。
下表列出可用的 Orbax 指標:
| Prometheus 指標名稱 | 說明 |
|---|---|
jax_checkpoint_write_async_total_duration_secs |
整個非同步查核點寫入管道的總時間。 指標具有下列屬性:
|
jax_orbax_write_gbytes |
儲存查核點時寫入的總 GB 數。 指標具有下列屬性:
|
jax_orbax_write_gbytes_per_sec |
在檢查點儲存作業的同步和非同步階段,每秒寫入的資料量 (GB)。 指標具有下列屬性:
|
jax_checkpoint_write_async_blocking_duration_secs |
在非同步查核點儲存作業的封鎖階段中,將作業交給背景執行緒前所花費的時間。 指標具有下列屬性:
|
jax_orbax_read_total_duration_secs |
查核點還原作業的端對端總時長。 指標具有下列屬性:
|
jax_orbax_read_blocking_duration_secs |
查核點還原作業的同步 (封鎖) 準備階段時間長度。 指標具有下列屬性:
|
jax_orbax_write_async_start_total |
已啟動的非同步檢查點寫入作業數量。 指標具有下列屬性:
|
PyGrain 指標
PyGrain (Grain) 是 Python 程式庫,用於讀取、預先處理及批次處理輸入資料,以便進行機器學習訓練和評估工作負載。PyGrain 提供確定性、可重現的資料管道,可在主機 CPU 上預先擷取及轉換記錄,因此 TPU 加速器不會因等待輸入批次而停滯。
如果工作負載使用 PyGrain 載入資料,您可以收集 PyGrain 指標,排解輸入管道瓶頸、儲存空間讀取速度緩慢,或預先擷取緩衝區耗盡等問題。PyGrain 會在 Prometheus 通訊埠匯出這些指標,您可以直接讀取,或使用 Google Cloud Managed Service for Prometheus 傳送至 Cloud Monitoring。如要在 GKE、Cloud Monitoring 或機器學習診斷中啟用這些指標,請參閱「存取 Orbax 和 PyGrain 指標」。
下表列出可用的 PyGrain 指標:
| Prometheus 指標名稱 | 說明 |
|---|---|
grain_python_dataset_next_duration_ns |
資料集 指標具有下列屬性:
|
grain_python_dataset_prefetch_buffer_ready_count |
預先擷取緩衝區中準備就緒的元素數量。 指標具有下列屬性:
|
grain_python_data_sources_bytes_read_total |
從資料來源讀取的位元組總數。 指標具有下列屬性:
|
grain_python_dataset_source_read_time_ns |
從資料來源讀取資料所花費的時間。 指標具有下列屬性:
|
grain_python_data_loader_iterator_get_next |
指標具有下列屬性:
|
必要條件
收集 Megascale、Orbax 或 PyGrain 指標,或使用相關聯的機器學習診斷分析器之前,請確認環境符合下列各節的需求。
超大規模需求
如要收集 Megascale 指標並在 Cloud Monitoring 中查看,請符合下列版本需求:
- 安裝 LibTPU
0.40.0以上版本。 - 如要在 Cloud Monitoring 中查看這些指標,請安裝 GKE
1.36.4-gke.1247000以上版本。
Orbax 和 PyGrain 需求
如要從工作負載匯出 Orbax 和 PyGrain 指標,請符合下列套件和容器需求:
- Python 套件:
- 安裝 Orbax (
orbax-checkpoint)0.12.1以上版本。 - 安裝 PyGrain (
grain)0.2.18以上版本。 - 在容器映像檔中安裝
prometheus-clientPython 套件。orbax-checkpoint套件會自動安裝prometheus-client做為依附元件,但grain不會。如果工作負載只使用 PyGrain,請執行pip install prometheus-client安裝套件。
- 安裝 Orbax (
- 工作負載容器設定:
- 設定下列環境變數:
ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(啟用 Orbax 指標)ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(啟用 PyGrain 指標)
- 在工作負載容器上公開 TCP 通訊埠
9431。
- 設定下列環境變數:
下列容器規格範例會設定遙測環境變數,並公開 TCP 通訊埠 9431:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
將 WORKLOAD_CONTAINER 替換為工作負載容器的名稱。
ML Diagnostics 分析工具需求
如要使用 ML 診斷分析器分析 Megascale、Orbax 和 PyGrain 指標,請安裝 GKE 1.36.4-gke.1247000 以上版本。
存取 Megascale 指標
如果叢集執行支援的 GKE 版本和 LibTPU,GKE 會自動收集 Megascale 指標,方便您在 Cloud Monitoring 查看。您也可以部署自選的 Prometheus 收集器,直接從 MXLA 執行階段的 Prometheus 通訊埠讀取 Megascale 指標。
存取 Orbax 和 PyGrain 指標
在工作負載容器啟用 Prometheus 遙測功能後,Orbax 和 PyGrain 會透過 TCP 通訊埠 9431 匯出指標。您可以透過下列任一方式存取這些指標:
- 直接讀取 Prometheus 端點:部署您選擇的 Prometheus 收集器,從工作負載容器的
9431通訊埠讀取 Orbax 和 PyGrain 指標。 - 將指標傳送至 Cloud Monitoring:使用 Google Cloud Managed Service for Prometheus 讀取每個節點上的通訊埠
9431,並將指標傳送至 Cloud Monitoring。
使用 Google Cloud Managed Service for Prometheus 查看指標
如要將 Orbax 和 PyGrain 指標從通訊埠 9431 傳送至 Cloud Monitoring,請在 GKE 叢集中部署 Google Cloud Managed Service for Prometheus PodMonitoring 自訂資源。PodMonitoring 資源會指示每個節點上的 Google Cloud Managed Service for Prometheus 收集器讀取通訊埠 9431,並將指標傳送至 Cloud Monitoring。詳情請參閱「設定 PodMonitoring 資源」。
根據預設,GKE 叢集會啟用 prometheus.googleapis.com 端點和 Google Cloud Managed Service for Prometheus 收集器。使用 Google Cloud Managed Service for Prometheus 會產生額外費用。
啟用代管集合
在執行 GKE 1.27 以上版本的 GKE Standard 叢集中,Google Cloud Managed Service for Prometheus 的代管收集功能預設為啟用。詳情請參閱「啟用代管集合」。
如果叢集未啟用代管收集功能,請啟用:
gcloud container clusters update CLUSTER_NAME \
--enable-managed-prometheus \
--region=REGION
更改下列內容:
CLUSTER_NAME:GKE 叢集名稱。REGION:叢集所在的區域。
如果您修改了節點服務帳戶的預設權限,請確認該帳戶具備「Monitoring Metric Writer」(roles/monitoring.metricWriter) 角色。
設定工作負載 Pod 範本
如要準備工作負載 Pod 以進行抓取,請更新 JobSet、Job 或 Deployment 資訊清單中的 Pod 範本:
- 新增 Pod 標籤,例如
ml-framework-metrics: "enabled",讓PodMonitoring資源可以選取工作負載 Pod。 - 將
ENABLE_ORBAX_PROMETHEUS_TELEMETRY和ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY環境變數設為"true"。 - 公開 TCP 通訊埠
9431,並指派通訊埠名稱,例如framework-metrics。
下列 Pod 範本範例會設定這些欄位:
template:
metadata:
labels:
ml-framework-metrics: "enabled" # used by the PodMonitoring selector
spec:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
將 WORKLOAD_CONTAINER 替換為工作負載容器的名稱。
驗證指標端點
部署 PodMonitoring 資源前,請確認工作負載容器會匯出通訊埠 9431 的指標。從執行中的工作負載 Pod 轉送通訊埠 9431,並查詢 /metrics 端點:
kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'
更改下列內容:
NAMESPACE:執行工作負載的 Kubernetes 命名空間。WORKLOAD_POD:執行中工作負載 Pod 的名稱。
Orbax 會在首次記錄值時初始化各項指標,因此 Orbax 指標只會在首次儲存或還原檢查點後顯示。
部署 PodMonitoring 資源
如要設定 Google Cloud Managed Service for Prometheus 讀取工作負載 Pod,請完成下列步驟:
將下列資訊清單儲存為
orbax-grain-podmonitoring.yaml:apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: orbax-grain-metrics namespace: WORKLOAD_NAMESPACE # must match the workload namespace spec: selector: matchLabels: ml-framework-metrics: "enabled" endpoints: - port: framework-metrics # the named containerPort (9431) path: /metrics interval: 30s # a longer interval reduces sample volume and cost metricRelabeling: # optional: keep only Orbax and PyGrain series to control cost - action: keep sourceLabels: [__name__] regex: (jax_orbax_|jax_checkpoint_|grain_python_).+ targetLabels: # optional: copy the JobSet name onto every series fromPod: - from: jobset.sigs.k8s.io/jobset-name to: jobset_name將
WORKLOAD_NAMESPACE替換為執行工作負載的 Kubernetes 命名空間。套用資訊清單,並確認
PodMonitoring資源已建立:kubectl apply -f orbax-grain-podmonitoring.yaml kubectl get podmonitoring -A
PodMonitoring 資源只會讀取自身命名空間中的 Pod。如果工作負載在多個命名空間中執行,請使用與 kind:
ClusterPodMonitoring 相同的規格,並省略 metadata.namespace 欄位。ClusterPodMonitoring 資源會探索所有命名空間中相符的 Pod。
選用:確認 Google Cloud Managed Service for Prometheus 正在抓取 Pod
如要確認 Google Cloud Managed Service for Prometheus 是否正在抓取工作負載 Pod,請完成下列步驟:
- 在
gmp-public命名空間中,編輯OperatorConfig資源,並將features.targetStatus.enabled設為true。 檢查
PodMonitoring資源,並確認目標回報Health: up:kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metrics將
NAMESPACE替換為執行工作負載的 Kubernetes 命名空間。疑難排解完成後,請將
OperatorConfig資源中的features.targetStatus.enabled設回false。建議您只在調查未解決的問題時,才啟用目標狀態。
在 Cloud Monitoring 中查詢指標
如要查詢傳送至 Cloud Monitoring 的指標,請完成下列步驟:
- 在 Google Cloud 控制台,依序前往「Monitoring」>「Metrics Explorer」。
選取「PromQL」PromQL,然後輸入下列查詢,確認目標是否回報:
up{namespace="NAMESPACE"}將
NAMESPACE替換為工作負載的 Kubernetes 命名空間。
在選單式指標挑選器中,指標會以 prometheus.googleapis.com/METRIC_NAME/TYPE 格式儲存,其中 TYPE 為 counter、histogram 或 gauge。每個程式庫都會將 / 替換為 _,從指標路徑建構 Prometheus 指標名稱。計數器會附加 _total 後置字串,直方圖則會匯出為 _bucket、_sum 和 _count 時間序列。
您可以使用下列 PromQL 查詢範例,分析 Orbax 和 PyGrain 指標:
# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))
# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
/ sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))
# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))
# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))
# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))
費用注意事項
Google Cloud Managed Service for Prometheus 的計費依據為擷取的樣本數量。如要降低費用,請設定較長的抓取 interval,並使用 metricRelabeling,只保留所需的時間序列。您可以在 Cloud Monitoring 的「Metrics Management」(指標管理) 頁面,查看各項指標的擷取量。
在 ML Diagnostics 中查看分析器輸出內容
在 GKE 1.36.4-gke.1247000 以上版本執行的 GKE TPU JobSet 和 Job 工作負載,會自動啟用機器學習診斷工作負載監控和工作負載情境化系統指標。工作負載監控功能會追蹤工作負載的匯總 TPU 工作週期。如果工作週期 (performance degradation) 下降 15% 以上,ML Diagnostics 會在基礎架構、自動化調度管理工具和架構層執行分析器。
如果工作負載在多個切片上執行 (使用 MXLA 層),或使用 PyGrain 或 Orbax 程式庫,ML 診斷會執行下列架構分析器,判斷效能降低是否由網路傳輸延遲、資料載入或非同步檢查點造成:
機器學習診斷分析工具報表不需額外付費,且產生分析工具結果時,不需為 Orbax 和 PyGrain 指標設定 Google Cloud Managed Service for Prometheus。在 ML Diagnostics Google Cloud 控制台的「System metrics」(系統指標)分頁中,如果使用支援的 LibTPU 和 GKE 版本,系統會自動顯示 Megascale 指標。
您可以透過下列任一方式查看分析器輸出內容:
- Google Cloud 控制台:在機器學習診斷 Google Cloud 控制台 (請參閱「查看機器學習執行作業」) 中,開啟「Monitoring overview」(監控總覽) 分頁標籤,找到
performance degradation事件,然後按一下「View details」(查看詳細資料) 即可檢查分析器報告。 - Google Cloud CLI 或 REST API:使用
monitored-events指令列出及描述事件和分析器報告。詳情請參閱「開始使用 ML Diagnostics CLI」。