Memantau metrik framework workload
Dokumen ini menjelaskan cara mengumpulkan dan melihat metrik Megascale XLA (MXLA), Orbax, dan PyGrain (Grain) untuk workload Cloud TPU yang berjalan di Google Kubernetes Engine (GKE), serta cara melihat penganalisis yang dibangun di atas metrik ini di platform ML Diagnostics. Dengan memantau metrik ini, Anda dapat mengidentifikasi dan memecahkan masalah bottleneck performa di seluruh komunikasi multislice, checkpointing, dan pemuatan data.
Setiap set metrik menargetkan komponen workload yang berbeda untuk membantu Anda mendiagnosis masalah pada berbagai tahap pipeline:
- Metrik Megascale XLA (MXLA): Mengukur latensi transfer Jaringan Pusat Data (DCN) lintas slice, waktu transfer perangkat ke host (D2H) dan host ke perangkat (H2D), latensi komputasi, dan operasi kolektif end-to-end dalam workload TPU multislice. Gunakan metrik ini untuk mengidentifikasi straggler dan bottleneck hardware.
- Metrik Orbax: Melacak durasi penyimpanan dan pemulihan checkpoint asinkron, volume data, dan throughput tulis dari library checkpoint Orbax. Gunakan metrik ini untuk mendeteksi penundaan, penghentian, atau waktu pemblokiran thread pelatihan yang berlebihan pada checkpoint.
- Metrik PyGrain (Grain): Mengukur latensi iterasi set data, waktu baca sumber data, total byte yang dibaca, dan kesiapan buffer pengambilan data di awal dari library pemuatan data PyGrain. Gunakan metrik ini untuk menentukan apakah workload Anda terikat input karena bottleneck I/O atau pemuatan data.
Anda dapat mengakses metrik ini melalui port Prometheus yang Anda baca secara langsung, TPU Monitoring Library, tpu-info CLI, atau Cloud Monitoring.
Platform ML Diagnostics juga mencakup penganalisis pemantauan workload yang otomatis menganalisis metrik ini saat workload mengalami penurunan performa. Alat analisis ini menentukan apakah penurunan siklus kerja TPU disebabkan oleh latensi transfer jaringan MXLA, checkpoint asinkron Orbax, atau pemuatan data PyGrain.
Metrik skala besar
Megascale XLA (MXLA) adalah runtime komunikasi dan ekstensi compiler yang mengoordinasikan operasi kolektif di beberapa slice TPU melalui Jaringan Pusat Data (DCN). Meskipun link Inter-Chip Interconnect (ICI) menangani komunikasi berkecepatan tinggi antara chip TPU dalam satu slice, MXLA mengelola transfer data antar-slice, pengurangan sisi host, dan pergerakan data antara memori host dan memori bandwidth tinggi (HBM) TPU.
Saat menjalankan workload multi-slice di TPU, Anda dapat mengumpulkan metrik MXLA untuk memecahkan masalah jaringan lintas slice dan bottleneck pemrosesan host. GKE mengumpulkan metrik ini secara default sebagai metrik sistem GKE, dan Anda dapat melihatnya di Cloud Monitoring. Metrik juga tersedia secara otomatis di tab metrik sistem ML Diagnostics, tempat metrik tersebut digabungkan secara otomatis untuk konteks workload operasi ML.
Tabel berikut mencantumkan metrik Megascale yang tersedia:
| Nama metrik | Nama metrik GKE | Deskripsi |
|---|---|---|
| Latensi transfer DCN MXLA | container/multislice/network/dcn_transfer_latencies |
Mengukur latensi transfer Jaringan Pusat Data (DCN) bolak-balik untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak. Metrik ini memiliki properti berikut:
|
| Latensi transfer masuk MXLA | container/multislice/network/dcn_inbound_transfer_latencies |
Mengukur latensi transfer DCN masuk satu arah untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak. Metrik ini memiliki properti berikut:
|
| Latensi komputasi MXLA | container/multislice/accelerator/compute_latencies |
Mengukur latensi komputasi host yang diperlukan untuk menyelesaikan operasi pengurangan. Pencilan dapat mengindikasikan masalah CPU atau memori, seperti kesalahan dual inline memory module (DIMM). Metrik ini memiliki properti berikut:
|
| Latensi kolektif e2e MXLA | container/multislice/network/collective_end_to_end_latencies |
Mengukur latensi kolektif menyeluruh melalui DCN, mulai dari saat host memulai operasi hingga saat semua peer menerima output. Mencakup pengurangan data sisi host dan pengiriman output ke TPU. Hasilnya adalah string yang menjelaskan ukuran buffer, jenis operasi, serta latensi rata-rata, P50, P90, P95, dan P99,9. Metrik ini memiliki properti berikut:
|
| Latensi d2h MXLA | container/multislice/accelerator/device_to_host_transfer_latencies |
Mengukur latensi transfer satu arah dari perangkat ke host (D2H) untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak. Metrik ini memiliki properti berikut:
|
| Latensi h2d MXLA | container/multislice/accelerator/host_to_device_transfer_latencies |
Mengukur latensi transfer host-ke-perangkat (H2D) satu arah untuk setiap potongan data. Pencilan dapat berkorelasi dengan hardware jaringan yang rusak. Metrik ini memiliki properti berikut:
|
Metrik Orbax
Orbax adalah library checkpointing terdistribusi untuk workload JAX yang menyimpan dan memulihkan bobot model, status pengoptimal, dan iterator set data di seluruh lingkungan host tunggal dan multi-host. Untuk meminimalkan periode nonaktif pelatihan, Orbax mendukung checkpointing asinkron, yang menyalin status dari memori TPU ke memori host selama fase sinkron, lalu menulis checkpoint ke penyimpanan di thread latar belakang saat pelatihan berlanjut.
Jika workload Anda menggunakan Orbax untuk checkpoint, Anda dapat mengumpulkan metrik Orbax untuk memecahkan masalah penundaan checkpoint, throughput tulis yang lambat, atau gangguan. Orbax mengekspor metrik ini di port Prometheus, yang dapat Anda baca langsung atau kirim ke Cloud Monitoring menggunakan Google Cloud Managed Service for Prometheus. Untuk mengaktifkan metrik ini di GKE, Cloud Monitoring, atau ML Diagnostics, lihat Mengakses metrik Orbax dan PyGrain.
Tabel berikut mencantumkan metrik Orbax yang tersedia:
| Nama metrik Prometheus | Deskripsi |
|---|---|
jax_checkpoint_write_async_total_duration_secs |
Total waktu untuk seluruh pipeline penulisan checkpoint asinkron. Metrik ini memiliki properti berikut:
|
jax_orbax_write_gbytes |
Total gigabyte yang ditulis selama operasi penyimpanan checkpoint. Metrik ini memiliki properti berikut:
|
jax_orbax_write_gbytes_per_sec |
Throughput tulis dalam gigabyte per detik (GBps) di seluruh fase sinkron dan asinkron operasi penyimpanan checkpoint. Metrik ini memiliki properti berikut:
|
jax_checkpoint_write_async_blocking_duration_secs |
Waktu yang dihabiskan dalam fase pemblokiran penyimpanan checkpoint asinkron sebelum diserahkan ke thread latar belakang. Metrik ini memiliki properti berikut:
|
jax_orbax_read_total_duration_secs |
Total durasi end-to-end operasi pemulihan checkpoint. Metrik ini memiliki properti berikut:
|
jax_orbax_read_blocking_duration_secs |
Durasi fase persiapan sinkron (pemblokiran) dari operasi pemulihan checkpoint. Metrik ini memiliki properti berikut:
|
jax_orbax_write_async_start_total |
Jumlah operasi tulis checkpoint asinkron yang dimulai. Metrik ini memiliki properti berikut:
|
Metrik PyGrain
PyGrain (Grain) adalah library Python untuk membaca, melakukan pra-pemrosesan, dan mengelompokkan data input untuk workload pelatihan dan evaluasi machine learning. PyGrain menyediakan pipeline data deterministik dan dapat direproduksi yang mengambil data di awal dan mengubah data di CPU host sehingga akselerator TPU tidak terhenti saat menunggu batch input.
Jika workload Anda menggunakan PyGrain untuk pemuatan data, Anda dapat mengumpulkan metrik PyGrain untuk memecahkan masalah bottleneck pipeline input, pembacaan penyimpanan yang lambat, atau buffer pengambilan data di awal yang habis. PyGrain mengekspor metrik ini di port Prometheus, yang dapat Anda baca langsung atau kirim ke Cloud Monitoring menggunakan Google Cloud Managed Service for Prometheus. Untuk mengaktifkan metrik ini di GKE, Cloud Monitoring, atau ML Diagnostics, lihat Mengakses metrik Orbax dan PyGrain.
Tabel berikut mencantumkan metrik PyGrain yang tersedia:
| Nama metrik Prometheus | Deskripsi |
|---|---|
grain_python_dataset_next_duration_ns |
Waktu yang dihabiskan dalam panggilan metode Metrik ini memiliki properti berikut:
|
grain_python_dataset_prefetch_buffer_ready_count |
Jumlah elemen siap dalam buffer pengambilan data di awal. Metrik ini memiliki properti berikut:
|
grain_python_data_sources_bytes_read_total |
Total byte yang dibaca dari sumber data. Metrik ini memiliki properti berikut:
|
grain_python_dataset_source_read_time_ns |
Waktu yang dihabiskan untuk membaca dari sumber data. Metrik ini memiliki properti berikut:
|
grain_python_data_loader_iterator_get_next |
Waktu yang dihabiskan dalam panggilan metode Metrik ini memiliki properti berikut:
|
Prasyarat
Sebelum mengumpulkan metrik Megascale, Orbax, atau PyGrain atau menggunakan penganalisis ML Diagnostics terkait, pastikan lingkungan Anda memenuhi persyaratan di bagian berikut.
Persyaratan skala besar
Untuk mengumpulkan metrik Megascale dan melihatnya di Cloud Monitoring, penuhi persyaratan versi berikut:
- Instal LibTPU versi
0.40.0atau yang lebih baru. - Untuk melihat metrik ini di Cloud Monitoring, instal GKE versi
1.36.4-gke.1247000atau yang lebih baru.
Persyaratan Orbax dan PyGrain
Untuk mengekspor metrik Orbax dan PyGrain dari workload Anda, penuhi persyaratan paket dan container berikut:
- Paket Python:
- Instal Orbax (
orbax-checkpoint) versi0.12.1atau yang lebih baru. - Instal PyGrain (
grain) versi0.2.18atau yang lebih baru. - Instal paket Python
prometheus-clientdi image container Anda. Paketorbax-checkpointmenginstalprometheus-clientsecara otomatis sebagai dependensi, tetapigraintidak. Jika workload Anda hanya menggunakan PyGrain, instal paket dengan menjalankanpip install prometheus-client.
- Instal Orbax (
- Konfigurasi container workload:
- Tetapkan variabel lingkungan berikut:
ENABLE_ORBAX_PROMETHEUS_TELEMETRY="true"(mengaktifkan metrik Orbax)ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY="true"(mengaktifkan metrik PyGrain)
- Mengekspos port TCP
9431pada container workload.
- Tetapkan variabel lingkungan berikut:
Contoh spesifikasi container berikut menetapkan variabel lingkungan telemetri dan mengekspos port TCP 9431:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Ganti WORKLOAD_CONTAINER dengan nama container workload Anda.
Persyaratan penganalisis ML Diagnostics
Untuk menggunakan penganalisis ML Diagnostics untuk metrik Megascale, Orbax, dan PyGrain, instal GKE versi 1.36.4-gke.1247000 atau yang lebih baru.
Mengakses metrik Megascale
Saat cluster Anda menjalankan versi GKE dan LibTPU yang didukung, GKE akan otomatis mengumpulkan metrik Megascale sehingga Anda dapat melihatnya di Cloud Monitoring. Anda juga dapat men-deploy kolektor Prometheus pilihan Anda untuk membaca metrik Megascale langsung dari port Prometheus runtime MXLA.
Mengakses metrik Orbax dan PyGrain
Saat Anda mengaktifkan telemetri Prometheus di container workload, Orbax dan
PyGrain mengekspor metrik di port TCP 9431. Anda dapat mengakses metrik ini dengan salah satu cara berikut:
- Membaca endpoint Prometheus secara langsung: Deploy kolektor Prometheus pilihan Anda untuk membaca metrik Orbax dan PyGrain dari port
9431di container workload. - Mengirim metrik ke Cloud Monitoring: Gunakan Google Cloud Managed Service for Prometheus untuk membaca port
9431di setiap node dan mengirim metrik ke Cloud Monitoring.
Melihat metrik dengan Google Cloud Managed Service for Prometheus
Untuk mengirim metrik Orbax dan PyGrain dari port 9431 ke Cloud Monitoring,
deploy resource kustom PodMonitoring Google Cloud Managed Service for Prometheus di
cluster GKE Anda. Resource PodMonitoring menginstruksikan
kolektor Google Cloud Managed Service for Prometheus di setiap node untuk membaca port 9431 dan
mengirim metrik ke Cloud Monitoring. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi resource PodMonitoring.
Endpoint prometheus.googleapis.com dan kolektor Google Cloud Managed Service for Prometheus diaktifkan secara default di cluster GKE. Penggunaan Google Cloud Managed Service for Prometheus akan dikenai biaya tambahan.
Mengaktifkan koleksi terkelola
Koleksi terkelola untuk Google Cloud Managed Service for Prometheus diaktifkan secara default di cluster GKE Standard yang menjalankan GKE versi 1.27 atau yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan pengumpulan terkelola.
Jika pengumpulan terkelola dinonaktifkan di cluster Anda, aktifkan:
gcloud container clusters update CLUSTER_NAME \
--enable-managed-prometheus \
--region=REGION
Ganti kode berikut:
CLUSTER_NAME: nama cluster GKE Anda.REGION: region tempat cluster Anda berada.
Jika Anda mengubah izin default di akun layanan node, pastikan akun tersebut memiliki peran Monitoring Metric Writer (roles/monitoring.metricWriter).
Mengonfigurasi template Pod workload
Untuk menyiapkan Pod workload untuk scraping, perbarui template Pod di manifes JobSet, Job, atau Deployment:
- Tambahkan label Pod, seperti
ml-framework-metrics: "enabled", sehingga resourcePodMonitoringdapat memilih Pod workload. - Tetapkan variabel lingkungan
ENABLE_ORBAX_PROMETHEUS_TELEMETRYdanENABLE_PYGRAIN_PROMETHEUS_TELEMETRYke"true". - Ekspos port TCP
9431dan tetapkan nama port, sepertiframework-metrics.
Contoh template Pod berikut mengonfigurasi kolom ini:
template:
metadata:
labels:
ml-framework-metrics: "enabled" # used by the PodMonitoring selector
spec:
containers:
- name: WORKLOAD_CONTAINER
env:
- name: ENABLE_ORBAX_PROMETHEUS_TELEMETRY
value: "true"
- name: ENABLE_PYGRAIN_PROMETHEUS_TELEMETRY
value: "true"
ports:
- name: framework-metrics
containerPort: 9431
protocol: TCP
Ganti WORKLOAD_CONTAINER dengan nama container workload Anda.
Memverifikasi endpoint metrik
Sebelum men-deploy resource PodMonitoring, pastikan container workload Anda mengekspor metrik di port 9431. Teruskan port 9431 dari Pod workload yang sedang berjalan dan buat kueri endpoint /metrics:
kubectl -n NAMESPACE port-forward pod/WORKLOAD_POD 9431:9431
curl -s localhost:9431/metrics | grep -E '^(jax_orbax|jax_checkpoint|grain_python)'
Ganti kode berikut:
NAMESPACE: namespace Kubernetes tempat workload Anda berjalan.WORKLOAD_POD: nama Pod workload yang sedang berjalan.
Orbax menginisialisasi setiap metrik saat pertama kali mencatat nilai, sehingga metrik Orbax hanya muncul setelah operasi penyimpanan atau pemulihan checkpoint pertama.
Men-deploy resource PodMonitoring
Untuk mengonfigurasi Google Cloud Managed Service for Prometheus agar membaca Pod workload Anda, selesaikan langkah-langkah berikut:
Simpan manifes berikut sebagai
orbax-grain-podmonitoring.yaml:apiVersion: monitoring.googleapis.com/v1 kind: PodMonitoring metadata: name: orbax-grain-metrics namespace: WORKLOAD_NAMESPACE # must match the workload namespace spec: selector: matchLabels: ml-framework-metrics: "enabled" endpoints: - port: framework-metrics # the named containerPort (9431) path: /metrics interval: 30s # a longer interval reduces sample volume and cost metricRelabeling: # optional: keep only Orbax and PyGrain series to control cost - action: keep sourceLabels: [__name__] regex: (jax_orbax_|jax_checkpoint_|grain_python_).+ targetLabels: # optional: copy the JobSet name onto every series fromPod: - from: jobset.sigs.k8s.io/jobset-name to: jobset_nameGanti
WORKLOAD_NAMESPACEdengan namespace Kubernetes tempat workload Anda berjalan.Terapkan manifes dan pastikan resource
PodMonitoringtelah dibuat:kubectl apply -f orbax-grain-podmonitoring.yaml kubectl get podmonitoring -A
Resource PodMonitoring hanya membaca Pod di namespace-nya sendiri. Jika workload Anda berjalan di beberapa namespace, gunakan spesifikasi yang sama dengan kind:
ClusterPodMonitoring dan hapus kolom metadata.namespace. Resource ClusterPodMonitoring menemukan Pod yang cocok di semua namespace.
Opsional: Memastikan Google Cloud Managed Service for Prometheus melakukan scraping pada Pod
Untuk memverifikasi bahwa Google Cloud Managed Service for Prometheus secara aktif meng-scrape Pod workload Anda, selesaikan langkah-langkah berikut:
- Di namespace
gmp-public, edit resourceOperatorConfigdan tetapkanfeatures.targetStatus.enabledketrue. Periksa resource
PodMonitoringdan pastikan target melaporkanHealth: up:kubectl -n NAMESPACE describe podmonitoring/orbax-grain-metricsGanti
NAMESPACEdengan namespace Kubernetes tempat workload Anda berjalan.Setelah Anda selesai memecahkan masalah, tetapkan kembali
features.targetStatus.enabledkefalsedi resourceOperatorConfig. Sebaiknya aktifkan status target hanya saat Anda menyelidiki masalah aktif.
Membuat kueri metrik di Cloud Monitoring
Untuk mengkueri metrik yang dikirim ke Cloud Monitoring, selesaikan langkah-langkah berikut:
- Di konsol Google Cloud , buka Monitoring > Metrics Explorer.
Pilih PromQL, lalu masukkan kueri berikut untuk mengonfirmasi bahwa target Anda melaporkan:
up{namespace="NAMESPACE"}Ganti
NAMESPACEdengan namespace Kubernetes workload Anda.
Dalam pemilih metrik berbasis menu, metrik disimpan menggunakan format
prometheus.googleapis.com/METRIC_NAME/TYPE, dengan TYPE adalah counter, histogram, atau gauge. Setiap library membuat nama metrik Prometheus dari jalur metriknya dengan mengganti / dengan _. Penghitung menambahkan akhiran _total, dan histogram diekspor sebagai deret waktu _bucket, _sum, dan _count.
Anda dapat menggunakan contoh kueri PromQL berikut untuk menganalisis metrik Orbax dan PyGrain:
# Asynchronous checkpoint saves started per Pod
sum by (pod) (increase(jax_orbax_write_async_start_total[1h]))
# Average time training is blocked by asynchronous checkpointing
sum(rate(jax_checkpoint_write_async_blocking_duration_secs_sum[10m]))
/ sum(rate(jax_checkpoint_write_async_blocking_duration_secs_count[10m]))
# PyGrain P99 dataset iterator next() latency (nanoseconds)
histogram_quantile(0.99, sum by (le) (rate(grain_python_dataset_next_duration_ns_bucket[5m])))
# PyGrain bytes read per second, by data source
sum by (source) (rate(grain_python_data_sources_bytes_read_total[5m]))
# Median prefetch-buffer readiness (low values can indicate an I/O bottleneck)
histogram_quantile(0.5, sum by (le) (rate(grain_python_dataset_prefetch_buffer_ready_count_bucket[5m])))
Pertimbangan biaya
Penagihan Google Cloud Managed Service for Prometheus didasarkan pada jumlah sampel yang diserap. Untuk mengurangi biaya, konfigurasikan interval scraping yang lebih lama dan gunakan metricRelabeling untuk hanya menyimpan deret waktu yang Anda perlukan. Anda dapat melihat volume penyerapan untuk setiap metrik di halaman Metrics Management di Cloud Monitoring.
Melihat output penganalisis di ML Diagnostics
Pemantauan workload ML Diagnostics
dan metrik sistem yang dikontekstualisasikan workload diaktifkan secara otomatis untuk
workload GKE TPU JobSet dan Job yang berjalan di
GKE versi 1.36.4-gke.1247000 dan yang lebih baru. Pemantauan workload
melacak siklus kerja TPU gabungan untuk workload Anda. Jika terjadi penurunan siklus proses sebesar 15% atau lebih (performance degradation), ML Diagnostics akan menjalankan penganalisis di seluruh lapisan infrastruktur, orchestrator, dan framework.
Jika workload Anda berjalan di beberapa slice (menggunakan lapisan MXLA) atau menggunakan library PyGrain atau Orbax, ML Diagnostics akan menjalankan penganalisis framework berikut untuk menentukan apakah penurunan performa disebabkan oleh latensi transfer jaringan, pemuatan data, atau checkpointing asinkron:
Laporan penganalisis ML Diagnostics disediakan tanpa biaya tambahan, dan pembuatan hasil penganalisis tidak memerlukan konfigurasi Google Cloud Managed Service for Prometheus untuk metrik Orbax dan PyGrain. Di tab System metrics pada konsol ML Diagnostics Google Cloud , metrik Megascale akan muncul secara otomatis saat Anda menggunakan versi LibTPU dan GKE yang didukung.
Anda dapat melihat output penganalisis dengan salah satu cara berikut:
- Google Cloud konsol: Di konsol ML Diagnostics Google Cloud
(lihat Melihat operasi machine learning), buka
tab Ringkasan pemantauan, temukan peristiwa
performance degradation, dan klik Lihat detail untuk memeriksa laporan penganalisis. - Google Cloud CLI atau REST API: Gunakan perintah
monitored-eventsuntuk mencantumkan dan mendeskripsikan peristiwa serta laporan penganalisisnya. Untuk mengetahui informasi selengkapnya, lihat Memulai CLI ML Diagnostics.