Saat menjalankan pipeline menggunakan Dataflow, Anda dapat melihat tugas tersebut dan tugas lainnya menggunakan antarmuka pemantauan Dataflow. Antarmuka pemantauan memungkinkan Anda melihat dan berinteraksi dengan tugas Dataflow.
Anda dapat mengakses antarmuka pemantauan Dataflow di Google Cloud console.
Tugas yang dapat Anda lakukan menggunakan antarmuka pemantauan mencakup hal berikut:
- Melihat daftar tugas yang sedang berjalan, selesai, dan gagal.
- Melihat representasi grafis dari tahapan tugas dan progres setiap tahapan
- Melihat grafik metrik tugas, seperti keaktualan data, penggunaan resource, dan permintaan I/O.
- Memantau perkiraan biaya tugas.
- Melihat log pipeline.
- Mengidentifikasi langkah-langkah yang mungkin menyebabkan kelambatan pipeline.
- Mengidentifikasi penyebab latensi di sumber dan sink.
- Memahami error pipeline.
Komponen antarmuka pemantauan
Antarmuka pemantauan berisi visualizer dan diagram berikut:
- Dasbor pemantauan project
- Dasbor yang memantau tugas Dataflow Anda di tingkat project.
- Daftar tugas
- Daftar semua tugas Dataflow yang sedang berjalan dan semua tugas yang dijalankan dalam 30 hari terakhir, beserta status, region, waktu berlalu, dan informasi lainnya.
- Grafik tugas
- Representasi grafis dari pipeline. Grafik tugas juga memberikan ringkasan tugas, log tugas, dan informasi tentang setiap langkah dalam pipeline.
- Detail eksekusi
- Menampilkan tahapan eksekusi tugas, keaktualan data untuk tugas streaming, dan progres pekerja untuk tugas batch.
- Metrik tugas
- Diagram yang menampilkan metrik selama durasi tugas.
- Perkiraan biaya
- Perkiraan biaya tugas Dataflow Anda, berdasarkan metrik penggunaan resource.
- Rekomendasi
- Rekomendasi untuk meningkatkan performa tugas, mengurangi biaya, dan memecahkan masalah error.
- Autoscaling
- Kumpulan diagram yang membantu Anda memahami perilaku penskalaan otomatis tugas streaming.
- Pemberitahuan siap pakai
- Kebijakan pemberitahuan yang telah dikonfigurasi sebelumnya untuk tugas streaming yang memantau waktu pemrosesan backlog dan penggunaan resource.
- Log pipeline
- Log yang dikeluarkan oleh pipeline Anda dan oleh layanan Dataflow.
- Pengambilan sampel data
- Alat yang memungkinkan Anda mengamati data yang diambil sampelnya di setiap langkah pipeline.
Langkah berikutnya
- Mengaktifkan pemberitahuan siap pakai untuk pemantauan otomatis tugas streaming Dataflow
- Menggunakan Cloud Monitoring untuk membuat pemberitahuan kustom dan melihat metrik Dataflow
- Mempelajari lebih lanjut cara membangun pipeline data siap produksi
- Mempelajari cara memecahkan masalah pipeline