Halaman ini membahas cara melihat log pelacakan yang terkait dengan cluster Ray dan memantau metrik Ray on Agent Platform. Panduan untuk men-debug cluster Ray juga disediakan.
Melihat log
Saat Anda melakukan tugas dengan cluster Ray di Platform Agen Gemini Enterprise, log pelacakan akan otomatis dibuat dan disimpan di Cloud Logging dan dasbor Ray open source. Bagian ini menjelaskan cara mengakses log yang dihasilkan melalui konsol Google Cloud .
Sebelum memulai, pastikan untuk membaca ringkasan Ray di Platform Agen dan menyiapkan semua alat prasyarat yang Anda butuhkan.Dasbor Ray OSS
Anda dapat melihat file log Ray open source melalui dasbor Ray OSS:
Di konsol Google Cloud , buka halaman Ray on Agent Platform.
Di baris untuk cluster yang Anda buat, pilih menu more actions.
Pilih link dasbor Ray OSS. Dasbor akan terbuka di tab lain.
Buka tampilan Log di pojok kanan atas di menu:
Klik setiap node untuk melihat file log yang terkait dengan node tersebut.
Konsol Cloud Logging
-
Di konsol Google Cloud , buka halaman Logs Explorer:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.
Pilih organisasi, folder, atau project Google Cloud yang sudah ada.
Untuk menampilkan semua log Ray, masukkan kueri berikut ke kolom editor kueri, lalu klik Run query:
resource.labels.task_name="ray-cluster-logs"
Untuk mempersempit log ke cluster Ray tertentu, tambahkan baris berikut ke kueri, lalu klik Run query:
labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME
Ganti CLUSTER_NAME dengan nama untuk cluster Ray Anda. Di konsol Google Cloud , buka Gemini Enterprise Agent Platform > Ray on Agent Platform tempat Anda melihat daftar nama cluster di setiap region.
Untuk lebih mempersempit log ke file log tertentu seperti
raylet.out, klik nama log di bagian Log fields -> Log name.Anda dapat mengelompokkan entri log yang serupa:
Di Query results, klik entri log untuk meluaskan log.
Di
jsonPayload, klik nilaitailed_path. Menu drop-down akan muncul.Klik Show matching entries.
Nonaktifkan log
Secara default, Cloud Logging Ray di Vertex AI diaktifkan.
Untuk menonaktifkan ekspor log Ray ke Cloud Logging, gunakan perintah Agent Platform SDK for Python berikut:
vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
Anda dapat melihat file log Ray di dasbor Ray meskipun fitur Cloud Logging Ray di Agent Platform dinonaktifkan.
Memantau metrik
Anda dapat melihat metrik Ray di Agent Platform dengan berbagai cara menggunakan Google Cloud Monitoring (GCM). Atau, Anda dapat mengekspor metrik dari GCM ke server Grafana Anda sendiri.
Memantau Metrik di GCM
Ada dua cara untuk melihat metrik Ray di Agent Platform di GCM.
- Gunakan tampilan langsung di bagian Metrics Explorer.
Impor dasbor Grafana.
Metrics Explorer
Untuk menggunakan tampilan langsung di bagian Metrics Explorer, ikuti langkah-langkah berikut:
- Buka konsol Google Cloud Monitoring.
- Di bagian Jelajahi, pilih Metrics Explorer.
- Di bagian Active Resources, pilih Prometheus Target. Active Metric Categories akan muncul.
Pilih Ray.
Daftar metrik akan muncul:
- Pilih metrik yang ingin Anda pantau. Contoh:
- Pilih persentase pemakaian CPU sebagai metrik yang dipantau:
- Pilih filter. Misalnya, pilih cluster:
Gunakan ID cluster untuk memantau metrik di atas hanya untuk cluster tertentu. Untuk menemukan ID cluster Anda,
ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Ray.
- Pastikan Anda berada dalam project tempat eksperimen akan dibuat.
- Di bagian Name, daftar ID cluster akan muncul.
- Pilih metode Agregasi untuk melihat metrik. Artinya, Anda dapat memilih untuk
melihat metrik yang tidak diagregasi, yang menunjukkan pemakaian CPU setiap proses Ray:
- Pilih persentase pemakaian CPU sebagai metrik yang dipantau:
Dasbor GCM
Untuk mengimpor dasbor Grafana untuk Ray on Vertex AI, ikuti panduan di dasbor Cloud Monitoring, Mengimpor dasbor Grafana Anda sendiri.
Yang Anda butuhkan hanyalah file JSON dasbor Grafana. OSS Ray mendukung penyiapan manual ini dengan menyediakan file JSON Grafana dasbor default.
Memantau metrik
dari Grafana milik pengguna
Jika Anda sudah menjalankan server Grafana, ada juga cara untuk mengekspor semua metrik Prometheus cluster Ray di Vertex AI ke server Grafana yang ada. Untuk melakukannya, ikuti panduan GMP Membuat kueri menggunakan Grafana. Hal ini memungkinkan Anda menambahkan sumber data Grafana baru ke server Grafana yang ada dan menggunakan penyinkron sumber data untuk menyinkronkan sumber data Grafana Prometheus baru ke metrik Ray di Vertex AI.
Penting bagi Anda untuk mengonfigurasi dan mengautentikasi sumber data Grafana yang baru ditambahkan menggunakan penyinkron sumber data. Ikuti langkah-langkah yang diberikan di Mengonfigurasi dan mengautentikasi sumber data Grafana.
Setelah disinkronkan, Anda dapat membuat dan menambahkan dasbor yang diperlukan berdasarkan metrik Ray on Vertex AI.
Secara default, pengumpulan metrik Ray on Vertex AI diaktifkan. Berikut cara menonaktifkannya menggunakan Agent Platform SDK untuk Python:
vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)
Men-debug cluster Ray
Untuk men-debug cluster Ray, gunakan Head node interactive shell:
Konsol Google Cloud
Untuk mengakses Head node interactive shell, lakukan hal berikut:
- Di konsol Google Cloud , buka halaman Ray on Vertex AI.
Buka Ray on Vertex AI - Pastikan Anda berada dalam project yang benar.
- Pilih cluster yang ingin Anda periksa. Bagian Info dasar akan muncul.
- Di bagian Access links, klik link untuk Head node interactive shell. Shell interaktif node head akan muncul.
- Ikuti petunjuk yang diuraikan dalam Memantau dan men-debug pelatihan dengan shell interaktif.