Halaman ini membahas cara melihat log pelacakan yang terkait dengan cluster Ray dan memantau metrik Ray di Platform Agen. Panduan untuk men-debug cluster Ray juga disediakan.
Melihat log
Saat Anda menjalankan tugas dengan cluster Ray di Platform Agen Gemini Enterprise, log pelacakan akan otomatis dibuat dan disimpan di Cloud Logging dan dasbor Ray open source. Bagian ini menjelaskan cara mengakses log yang dihasilkan melalui Google Cloud konsol.
Sebelum memulai, pastikan untuk membaca ringkasan Ray di Platform Agen dan menyiapkan semua alat prasyarat yang Anda butuhkan.Dasbor Ray OSS
Anda dapat melihat file log Ray open source melalui dasbor Ray OSS:
Di Google Cloud konsol, buka halaman Ray di Platform Agen.
Di baris untuk cluster yang Anda buat, pilih more actions menu.
Pilih link dasbor Ray OSS. Dasbor akan terbuka di tab lain.
Buka tampilan Logs di pojok kanan atas di menu:
Klik setiap node untuk melihat file log yang terkait dengan node tersebut.
Konsol Cloud Logging
-
Di Google Cloud konsol, buka halaman Logs Explorer:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.
Pilih organisasi, folder, atau project Google Cloud yang sudah ada.
Untuk menampilkan semua log Ray, masukkan kueri berikut ke kolom editor kueri, lalu klik Run query:
resource.labels.task_name="ray-cluster-logs"
Untuk mempersempit log ke cluster Ray tertentu, tambahkan baris berikut ke kueri, lalu klik Run query:
labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME
Ganti CLUSTER_NAME dengan nama untuk cluster Ray Anda. Di Google Cloud konsol, buka Gemini Enterprise Agent Platform > Ray on Agent Platform tempat Anda melihat daftar nama cluster di setiap region.
Untuk lebih mempersempit log ke file log tertentu seperti
raylet.out, klik nama log di bagian Log fields -> Log name.Anda dapat mengelompokkan entri log yang serupa:
Di Query results, klik entri log untuk meluaskan log.
Di
jsonPayload, klik nilaitailed_path. Menu drop-down akan muncul.Klik Show matching entries.
Menonaktifkan log
Secara default, Cloud Logging Ray di Vertex AI diaktifkan.
Untuk menonaktifkan ekspor log Ray ke Cloud Logging, gunakan perintah Agent Platform SDK untuk Python berikut:
vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
Anda dapat melihat file log Ray di dasbor Ray meskipun fitur Cloud Logging Ray di Platform Agen dinonaktifkan.
Memantau metrik
Anda dapat melihat metrik Ray di Platform Agen dengan berbagai cara menggunakan Google Cloud Monitoring (GCM). Atau, Anda dapat mengekspor metrik dari GCM ke server Grafana Anda sendiri.
Memantau Metrik di GCM
Ada dua cara untuk melihat metrik Ray di Platform Agen di GCM.
- Gunakan tampilan langsung di bagian Metrics Explorer.
Impor dasbor Grafana.
Metrics Explorer
Untuk menggunakan tampilan langsung di bagian Metrics Explorer, ikuti langkah-langkah berikut:
- Buka konsol Google Cloud Monitoring.
- Di bagian Explore , pilih Metrics explorer.
- Di bagian Active Resources, pilih Prometheus Target. Active Metric Categories akan muncul.
Pilih Ray.
Daftar metrik akan muncul:
- Pilih metrik yang ingin Anda pantau. Contoh:
- Pilih persentase pemakaian CPU sebagai metrik yang dipantau:
- Pilih filter. Misalnya, pilih cluster:
Gunakan ID cluster untuk hanya memantau metrik di atas untuk cluster tertentu. Untuk menemukan ID cluster Anda,
ikuti langkah-langkah berikut:
Di Google Cloud konsol, buka halaman Ray.
- Pastikan Anda berada dalam project tempat eksperimen akan dibuat.
- Di bagian Name , daftar ID cluster akan muncul.
- Pilih metode Aggregation untuk melihat metrik. Artinya, Anda dapat memilih untuk
melihat metrik yang tidak diagregasi, yang menunjukkan pemakaian CPU setiap proses Ray:
- Pilih persentase pemakaian CPU sebagai metrik yang dipantau:
Dasbor GCM
Yang Anda butuhkan hanyalah file JSON dasbor Grafana. OSS Ray mendukung penyiapan manual ini dengan menyediakan file JSON Grafana dasbor default.
Memantau metrik
dari Grafana milik pengguna
Jika Anda sudah menjalankan server Grafana, ada juga cara untuk mengekspor semua metrik Prometheus cluster Ray di Platform Agen Gemini Enterprise ke server Grafana yang ada. Untuk melakukannya, ikuti panduan GMP Query menggunakan Grafana Hal ini memungkinkan Anda menambahkan sumber data Grafana baru ke server Grafana yang ada dan menggunakan sinkronisasi sumber data untuk menyinkronkan sumber data Grafana Prometheus baru ke metrik Ray di Platform Agen.
Anda harus mengonfigurasi dan mengautentikasi sumber data Grafana yang baru ditambahkan menggunakan sinkronisasi sumber data. Ikuti langkah-langkah yang diberikan di Mengonfigurasi dan mengautentikasi sumber data Grafana.
Setelah disinkronkan, Anda dapat membuat dan menambahkan dasbor apa pun yang Anda butuhkan berdasarkan metrik Ray di Platform Agen.
Secara default, koleksi metrik Ray di Platform Agen diaktifkan. Berikut cara menonaktifkannya menggunakan Agent Platform SDK untuk Python:
vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)
Men-debug cluster Ray
Untuk men-debug cluster Ray, gunakan Head node interactive shell:
Google Cloud Konsol
Untuk mengakses Head node interactive shell, lakukan hal berikut:
- Di Google Cloud konsol, buka halaman Ray di Platform Agen.
Buka Ray di Platform Agen - Pastikan Anda berada dalam project yang benar.
- Pilih cluster yang ingin Anda periksa. Bagian Basic info akan muncul.
- Di bagian Access links, klik link untuk Head node interactive shell. Shell interaktif node head akan muncul.
- Ikuti petunjuk yang diuraikan dalam Memantau dan men-debug pelatihan dengan shell interaktif.