Memantau kondisi sistem, instance, dan pipeline Cloud Data Fusion

Panduan ini menjelaskan cara memantau instance dan pipeline Cloud Data Fusion. Anda dapat melihat metrik utama di dasbor pemantauan Cloud Data Fusion. Untuk agregasi atau pemfilteran tambahan, Anda dapat melihat metrik di Cloud Monitoring.

Sebelum memulai

Sebelum mulai memantau instance dan pipeline Cloud Data Fusion, tinjau harga dan berikan peran yang diperlukan.

Harga

Penggunaan Cloud Monitoring dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat Harga Google Cloud Observability.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk melihat metrik, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Memantau di Cloud Data Fusion

Lihat dan filter metrik untuk instance dan pipeline Anda langsung di Cloud Data Fusion menggunakan dasbor pemantauan:

  1. Di Google Cloud konsol, buka halaman Cloud Data Fusion.

  2. Klik Instances, lalu klik nama instance untuk membuka halaman Instance details.

    Buka Instance

  3. Klik tab Monitoring. Tindakan ini akan menampilkan dasbor dengan diagram untuk instance Anda dan pipelinenya.

    Dasbor menampilkan tampilan berikut:

    • Overview: Memantau metrik sistem Cloud Data Fusion.
    • Instance: Memantau semua instance Cloud Data Fusion dalam project.
    • Pipeline: Memberikan informasi tentang operasi dan performa pipeline.

    Untuk mengetahui informasi mendetail tentang metrik dalam tampilan apa pun, arahkan kursor ke widget dan klik More > View in Metrics explorer.

Widget di dasbor pemantauan

Bagian berikut menjelaskan widget yang tersedia dalam tampilan Overview, Instance, dan Pipeline.

Widget tampilan ringkasan

Tabel ini menjelaskan widget dalam tampilan Overview:

Widget Deskripsi
Kesehatan layanan Appfabric Ketersediaan layanan untuk Appfabric
Kesehatan layanan metrik Ketersediaan layanan untuk metrik
Kesehatan layanan Wrangler Ketersediaan layanan untuk Wrangler
Kesehatan eksekutor set data Ketersediaan layanan untuk set data
Kesehatan studio pipeline Ketersediaan layanan untuk Pipeline Studio
Kesehatan layanan runtime Ketersediaan layanan untuk runtime
Kesehatan layanan log saver Ketersediaan layanan untuk log saver
Kesehatan layanan metadata Ketersediaan layanan untuk metadata

Widget tampilan pipeline

Tabel ini menjelaskan widget dalam tampilan Pipeline:

Widget Deskripsi
Operasi pipeline yang berhasil Jumlah kumulatif operasi pipeline yang berhasil.
Operasi pipeline yang gagal Jumlah kumulatif operasi pipeline yang gagal.
Operasi pipeline yang dihentikan Jumlah kumulatif operasi pipeline yang dihentikan.
Operasi pipeline yang ditolak Jumlah kumulatif operasi pipeline yang ditolak.
Waktu operasi pipeline yang berhasil Waktu yang diperlukan agar operasi pipeline yang berhasil selesai.
Latensi awal pipeline Waktu yang diperlukan agar operasi pipeline mencapai status "Running".
Latensi penyediaan Managed Service untuk Apache Spark Waktu yang diperlukan untuk menyediakan cluster Managed Service untuk Apache Spark.
Jumlah permintaan Managed Service untuk Apache Spark API Jumlah kumulatif permintaan API yang dibuat ke Managed Service untuk Apache Spark.
Waktu operasi pratinjau yang berhasil Waktu yang diperlukan agar operasi pratinjau yang berhasil selesai.
Operasi pratinjau Jumlah operasi pratinjau.
Byte pipeline yang dibaca Jumlah kumulatif byte yang dibaca oleh pipeline.
Byte pipeline yang ditulis Jumlah kumulatif byte yang ditulis oleh pipeline.
Byte pipeline yang diacak Jumlah kumulatif byte yang diacak dalam pipeline.
Kumpulan data plugin yang diproses di Jumlah kumulatif kumpulan data yang masuk ke plugin.
Kumpulan data plugin yang diproses di luar Jumlah kumulatif kumpulan data yang keluar dari plugin.

Widget tampilan instance

Tabel ini menjelaskan widget dalam tampilan Instance:

Widget Deskripsi
Pipeline serentak yang berjalan Jumlah pipeline yang berjalan serentak.
Pipeline serentak yang diluncurkan Jumlah pipeline dalam status penyediaan atau memulai.
Permintaan API yang diterima Jumlah kumulatif permintaan API yang diterima.
Jumlah respons API Jumlah kumulatif respons API yang dikirim.
Jumlah pemeriksaan otorisasi Jumlah kumulatif pemeriksaan otorisasi.
Waktu pemeriksaan otorisasi Latensi pemeriksaan otorisasi.
Jumlah pipeline yang di-deploy Jumlah pipeline yang di-deploy.
Jumlah pipeline draf Jumlah pipeline draf.
Jumlah namespace Jumlah namespace.

Melihat metrik untuk analisis lanjutan di Cloud Monitoring

Untuk opsi pemfilteran dan agregasi tambahan, lihat metrik Anda di Cloud Monitoring:

  1. Di Google Cloud konsol, buka halaman Metrics explorer Cloud Monitoring.

    Buka Metrics explorer

  2. Pilih resource yang dipantau Cloud Data Fusion.

  3. Pilih metrik.

  4. Pilih filter dan agregasi.

Langkah berikutnya