Melihat metrik pipeline

Setelah menentukan, membangun, dan menjalankan pipeline, Anda dapat melihat metrik terkait tugas pipeline atau tugas pipeline di Metrics Explorer. Selain itu, Anda dapat membuat metrik dan pemberitahuan berbasis log kustom menggunakan Cloud Logging untuk memantau peristiwa seperti kegagalan pipeline.

Halaman ini menjelaskan cara melakukan tindakan berikut:

Membuat dan melihat metrik kustom di Cloud Logging dikenai biaya. Untuk mengetahui informasi lebih lanjut, lihat Harga Cloud Logging.

Melihat metrik Agent Platform Pipelines standar di Metrics Explorer

Anda dapat melihat metrik berikut yang terkait dengan Agent Platform Pipelines di Metrics Explorer:

Melihat durasi runtime tugas pipeline

Gunakan petunjuk berikut untuk melihat metrik Vertex Pipelines Job - PipelineJob duration di Google Cloud konsol:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Di daftar Metric, pilih Vertex Pipelines Job > Pipelinejob > PipelineJob duration.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Contoh:

    • Untuk melihat durasi runtime tugas pipeline tertentu, gunakan filter pipeline_job_id.

    • Untuk melihat durasi runtime tugas pipeline untuk lokasi tertentu, gunakan filter location.

    • Untuk melihat durasi runtime tugas pipeline dalam status PIPELINE_STATE_CANCELLED,PIPELINE_STATE_CANCELLING, PIPELINE_STATE_FAILED, PIPELINE_STATE_PENDING, PIPELINE_STATE_RUNNING, atau PIPELINE_STATE_SUCCEEDED, gunakan filter run_state.

Melihat jumlah operasi pipeline

Gunakan petunjuk berikut untuk melihat metrik Location - Executing PipelineJobs di Google Cloud konsol:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Di daftar Metric, pilih Location > Executing_vertexai_pipeline_jobs > Executing PipelineJobs.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Misalnya, untuk melihat jumlah tugas pipeline untuk lokasi tertentu, gunakan filter location.

Melihat jumlah tugas pipeline yang telah selesai

Gunakan petunjuk berikut untuk melihat metrik Vertex Pipelines Job - Completed PipelineTasks di Google Cloud konsol:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Di daftar Metric, pilih Vertex Pipelines Job > Pipelinejob > Completed PipelineTasks.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Contoh:

    • Untuk melihat jumlah tugas yang telah selesai dalam operasi pipeline tertentu, gunakan filter pipeline_job_id.

    • Untuk melihat jumlah tugas yang telah selesai dalam operasi pipeline untuk lokasi tertentu, gunakan filter location.

Melihat jumlah tugas pipeline yang dijalankan

Gunakan petunjuk berikut untuk melihat metrik Location - Executing PipelineTasks di Google Cloud konsol:

  1. Buka Metrics Explorer:

    Buka Metrics Explorer

  2. Di daftar Metric, pilih Location > Executing_vertexai_pipeline_tasks > Executing PipelineTasks.

  3. Klik Apply.

  4. Opsional: Untuk memfilter kueri, tentukan satu atau beberapa kriteria dengan mengklik Filter. Misalnya, untuk melihat jumlah tugas pipeline yang dijalankan untuk lokasi tertentu, gunakan filter location.

Membuat dan melihat metrik kustom di Logs Explorer

Anda dapat menggunakan Logs Explorer di Google Cloud konsol untuk membuat metrik berbasis log kustom yang melacak dan menganalisis pola dalam log pipeline Anda.

Contoh metrik kustom

Bagian ini menggambarkan contoh metrik kustom yang dapat Anda buat. Contoh ini meliputi:

Membuat metrik kustom untuk tugas pipeline yang gagal

Untuk membuat metrik penghitung berbasis log kustom yang memantau tugas pipeline yang gagal, lakukan tindakan berikut:

  1. Buka Logs Explorer:

    Buka Logs Explorer

  2. Pilih Google Cloud projectyang sesuai.

  3. Di menu drop-down Resource, pilih Vertex Pipelines Job.

  4. Di menu drop-down Location, pilih lokasi pipeline Anda.

  5. Di menu drop-down Semua pipeline_job_id, pilih ID tugas pipeline Anda.

  6. Klik Terapkan.

  7. Klik Buat Metrik.

  8. Di layar Buat metrik log:

    1. Tetapkan Jenis metrik: Pilih Penghitung.

    2. Tetapkan kolom berikut di bagian Detail:

      • Nama metrik log: Masukkan nama untuk metrik log Anda, misalnya, pipelinejob_failed. Pilih nama yang unik di antara metrik berbasis log di project Anda Google Cloud . Beberapa pembatasan penamaan berlaku. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.
      • Deskripsi: Masukkan deskripsi untuk metrik.
      • Unit: Biarkan kolom ini kosong atau masukkan digit 1.

    3. Tentukan filter metrik Anda di bagian Filter selection. Buat filter yang hanya mengumpulkan entri log yang ingin Anda hitung dalam metrik menggunakan bahasa kueri logging, misalnya:

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_FAILED"

      Anda juga dapat menggunakan ekspresi reguler untuk membuat filter metrik.

      Untuk membuka panel yang menampilkan entri log yang cocok dengan filter, klik Pratinjau log.

    4. Opsional: Tambahkan label di bagian Labels. Untuk petunjuk mengenai cara membuat label, lihat Membuat label.

    5. Untuk membuat metrik, klik Create metric.

Membuat metrik kustom untuk status pipeline akhir

Untuk membuat metrik penghitung berbasis log kustom yang memantau status akhir tugas pipeline Anda, lakukan tindakan berikut:

  1. Buka Logs Explorer:

    Buka Logs Explorer

  2. Pilih Google Cloud projectyang sesuai.

  3. Di menu drop-down Resource, pilih Vertex Pipelines Job.

  4. Di menu drop-down Location, pilih lokasi pipeline Anda.

  5. Di menu drop-down Semua pipeline_job_id, pilih ID tugas pipeline Anda.

  6. Klik Terapkan.

  7. Klik Buat Metrik.

  8. Di layar Buat metrik log:

    1. Tetapkan Jenis metrik: Pilih Penghitung.

    2. Tetapkan kolom berikut di bagian Detail:

      • Nama metrik log: Masukkan nama untuk metrik log Anda, misalnya, Pipeline_state_final. Pilih nama yang unik di antara metrik berbasis log di project Anda Google Cloud . Beberapa pembatasan penamaan berlaku. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.
      • Deskripsi: Masukkan deskripsi untuk metrik.
      • Unit: Biarkan kolom ini kosong atau masukkan digit 1.

    3. Tentukan filter metrik Anda di bagian Filter selection. Buat filter yang hanya mengumpulkan entri log yang ingin Anda hitung dalam metrik menggunakan bahasa kueri logging, misalnya:

      resource.type="aiplatform.googleapis.com/PipelineJob"
jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
"PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"

      Anda juga dapat menggunakan ekspresi reguler untuk membuat filter metrik.

      Untuk membuka panel yang menampilkan entri log yang cocok dengan filter, klik Pratinjau log.

    4. Opsional: Tambahkan label di bagian Labels. Untuk petunjuk mengenai cara membuat label, lihat Membuat label.

    5. Untuk membuat metrik, klik Create metric.

Melihat tingkat kegagalan tugas pipeline

Tingkat kegagalan tugas pipeline dihitung sebagai rasio jumlah tugas pipeline dalam status akhir terhadap jumlah tugas pipeline yang gagal. Untuk membuat dasbor guna memantau tingkat kegagalan tugas pipeline, lakukan tindakan berikut:

  1. Buat metrik untuk memantau tugas pipeline dalam status akhir. Untuk informasi selengkapnya, lihat Membuat metrik kustom untuk status pipeline akhir.

  2. Buat metrik untuk memantau tugas pipeline dalam status gagal. Untuk informasi selengkapnya, lihat Membuat metrik kustom untuk tugas pipeline yang gagal.

  3. Di bagian Monitoring pada Google Cloud konsol, buka halaman Metrics Explorer.

    Buka halaman Metrics Explorer

  4. Di tab Konfigurasi, lakukan yang berikut:

    1. Klik Tambahkan metrik lain.

    2. Pilih opsi Tampilkan metrik sebagai rasio. Jika Anda memilih opsi ini:

      • Panel Deret waktu A diganti namanya menjadi Numerator.

      • Panel Deret waktu B diganti namanya menjadi Denominator.

    3. Di panel Numerator, klik Pilih metrik guna memilih metrik yang dibuat untuk tugas pipeline yang gagal.

    4. Di panel Denominator, klik Pilih metrik guna memilih metrik yang dibuat untuk tugas pipeline status akhir.

    5. (Opsional) Konfigurasikan numerator dan denominator dengan menambahkan filter, atau dengan memperbarui kolom pengelompokan dan parameter perataan.

      Untuk informasi selengkapnya tentang cara menambahkan filter, atau memperbarui kolom pengelompokan dan parameter perataan, lihat Membuat diagram rasio metrik.

    Setelah Anda memilih numerator dan denominator, tingkat kegagalan tugas pipeline akan ditampilkan dalam grafik.

    • Setelah membuat grafik tingkat kegagalan tugas pipeline, Anda dapat menambahkannya ke dasbor kustom. Untuk informasi selengkapnya, lihat Menyimpan diagram untuk referensi di masa mendatang.

    • Untuk menyalin URL yang berisi konfigurasi grafik, klik ikon elipsis di sudut kanan atas grafik, lalu klik Bagikan dengan URL.