Dataflow mengumpulkan metrik untuk tugas Anda, yang dapat membantu Anda men-debug error, memecahkan masalah performa, atau mengoptimalkan pipeline. Antarmuka pemantauan Dataflow menampilkan visualisasi untuk metrik ini. Anda juga dapat menggunakan Cloud Monitoring untuk membuat pemberitahuan atau membuat kueri Metrics Explorer.
Mengakses metrik tugas
Untuk melihat metrik tugas, lakukan langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Dataflow > Jobs.
Pilih tugas.
Klik tab Job metrics.
Pilih metrik untuk ditampilkan.
Untuk mengakses informasi tambahan di diagram metrik tugas, klik Explore data.
Setiap metrik disusun dalam dasbor berikut:
Untuk mengetahui daftar lengkap metrik Dataflow, lihat metrikGoogle Cloud .
Dukungan dan batasan
Saat menggunakan metrik Dataflow, perhatikan detail berikut.
Terkadang data lowongan tidak tersedia sesekali. Jika data tidak ada, akan muncul celah dalam diagram pemantauan tugas.
Beberapa diagram ini khusus untuk pipeline streaming.
Untuk menulis data metrik, akun layanan yang dikelola pengguna harus memiliki izin IAM API
monitoring.timeSeries.create. Izin ini disertakan dengan peran worker Dataflow.Layanan Dataflow melaporkan waktu CPU yang dicadangkan setelah tugas selesai. Untuk tugas (streaming) tidak terbatas, waktu CPU yang dicadangkan hanya dilaporkan setelah tugas dibatalkan atau gagal. Oleh karena itu, metrik tugas tidak menyertakan waktu CPU yang dicadangkan untuk tugas streaming.
Metrik penskalaan otomatis
Penskalaan Otomatis Horizontal memungkinkan Dataflow memilih jumlah worker instance yang sesuai untuk tugas Anda, dengan menambahkan atau menghapus worker sesuai kebutuhan.
Bagian Autoscaling di tab Job metrics menampilkan jumlah worker dan jumlah worker target dari waktu ke waktu. Jika tugas Anda menggunakan Streaming Engine, diagram ini juga akan menampilkan jumlah worker minimum dan maksimum.
Untuk melihat histori perubahan penskalaan otomatis, klik Histori lainnya. Tabel dengan informasi tentang histori worker tugas Anda akan ditampilkan.
Untuk melihat informasi penskalaan otomatis tambahan untuk tugas streaming, klik tab Autoscaling. Untuk mengetahui informasi selengkapnya, lihat Memantau penskalaan otomatis Dataflow.
Metrik ringkasan
Metrik berikut muncul di bagian Metrik ringkasan.
Keaktualan data
Metrik ini hanya berlaku untuk tugas streaming.
Keaktualan data adalah perbedaan antara waktu saat elemen data diproses (waktu pemrosesan) dan stempel waktu elemen data (waktu peristiwa). Nilai yang lebih tinggi berarti ada penundaan yang lebih lama antara waktu peristiwa dan waktu pemrosesan.
Diagram keaktualan data menunjukkan nilai keaktualan data maksimum pada waktu tertentu. Dataflow memproses beberapa elemen secara paralel, sehingga grafik mencerminkan elemen dengan penundaan terbesar dibandingkan dengan waktu peristiwanya.
Jika beberapa data input belum diproses, watermark output mungkin tertunda, yang memengaruhi keaktualan data. Perbedaan yang signifikan antara waktu watermark dan waktu peristiwa dapat mengindikasikan operasi yang lambat atau macet. Untuk mengetahui informasi selengkapnya, lihat Watermark dan data terlambat dalam dokumentasi Apache Beam.
Dasbor ini mencakup dua diagram berikut:
- Keaktualan data berdasarkan tahap
- Keaktualan data
Pada gambar berikut, area yang ditandai menunjukkan perbedaan besar antara waktu peristiwa dan waktu watermark output, yang menunjukkan operasi yang lambat.
Masalah berikut mungkin menyebabkan nilai tinggi untuk metrik ini:
- Bottleneck performa: Jika pipeline Anda memiliki tahap dengan latensi sistem yang tinggi atau log yang menunjukkan transformasi macet, pipeline mungkin memiliki masalah performa yang dapat meningkatkan keaktualan data. Untuk menyelidiki lebih lanjut, lihat Memecahkan masalah tugas streaming yang lambat atau macet.
- Bottleneck sumber data: Jika sumber data Anda memiliki backlog yang terus bertambah, stempel waktu peristiwa elemen Anda mungkin berbeda dari watermark saat menunggu untuk diproses. Backlog yang besar sering kali disebabkan oleh bottleneck performa, atau masalah sumber data yang paling baik dideteksi dengan memantau sumber yang digunakan oleh pipeline Anda.
- Sumber yang tidak diurutkan seperti Pub/Sub dapat menghasilkan watermark yang macet meskipun menghasilkan output dengan kecepatan tinggi. Situasi ini terjadi karena elemen tidak di-output dalam urutan stempel waktu, dan watermark didasarkan pada stempel waktu minimum yang belum diproses.
- Percobaan ulang yang sering: Jika Anda melihat error yang menunjukkan elemen gagal diproses dan dicoba ulang, stempel waktu yang lebih lama dari elemen yang dicoba ulang mungkin meningkatkan keaktualan data. Daftar error Dataflow umum dapat membantu Anda memecahkan masalah.
Jika Anda mengaktifkan progres watermark eager untuk tugas Anda, Dataflow juga akan melaporkan metrik per tahap berikut di Metrics Explorer:
job/per_stage_data_watermark_age_with_late_data: usia watermark data tahap jika progres watermark eager dinonaktifkan.job/per_stage_oldest_pending_element_age: usia elemen tertunda yang paling lama pada atau di upstream tahap, termasuk kumpulan data yang tertunda.
Untuk mengetahui informasi selengkapnya, lihat Memantau kemajuan watermark eager.
Untuk tugas streaming yang baru saja diperbarui, informasi tentang status tugas dan watermark mungkin tidak tersedia. Operasi update melakukan beberapa perubahan yang memerlukan waktu beberapa menit untuk diterapkan ke antarmuka pemantauan Dataflow. Coba muat ulang antarmuka pemantauan lima menit setelah memperbarui tugas Anda.
Latensi sistem
Metrik ini hanya berlaku untuk tugas streaming.
Latensi sistem adalah jumlah detik maksimum saat ini saat item data telah diproses atau menunggu pemrosesan. Metrik ini mencakup durasi elemen menunggu di dalam sumber. Misalnya, jika tujuan output berhenti menerima permintaan tulis selama jangka waktu tertentu, data mungkin akan terakumulasi di sumber, sehingga menyebabkan latensi sistem meningkat. Jika operasi tulis dilanjutkan dan pipeline dapat mengejar ketertinggalan, latensi sistem akan kembali ke tingkat dasar pengukuran.
Kasus berikut adalah pertimbangan tambahan:
- Untuk beberapa sumber dan sink, latensi sistem adalah jumlah waktu maksimum yang diperlukan elemen untuk menunggu di dalam sumber sebelum ditulis ke semua sink.
- Terkadang, sumber tidak memberikan nilai untuk jangka waktu tunggu elemen di dalam sumber. Selain itu, elemen mungkin tidak memiliki metadata untuk menentukan waktu peristiwanya. Dalam skenario ini, latensi sistem dihitung dari saat pipeline pertama kali menerima elemen.
Dasbor ini mencakup dua diagram berikut:
- Latensi sistem menurut tahap
- Latensi sistem
Throughput
Throughput adalah volume data yang diproses pada waktu tertentu. Dasbor ini mencakup diagram berikut:
- Throughput per langkah dalam elemen per detik
- Throughput per langkah dalam byte per detik
Jumlah log error pekerja
Worker error log count menunjukkan tingkat error yang diamati di semua worker pada waktu tertentu.
Metrik streaming
Metrik berikut muncul di bagian Metrik streaming.
Backlog
Metrik ini hanya berlaku untuk tugas streaming.
Dasbor Backlog memberikan informasi tentang elemen yang menunggu untuk diproses. Dasbor ini mencakup dua diagram berikut:
- Backlog seconds (khusus Streaming Engine)
- Byte backlog (dengan dan tanpa Streaming Engine)
Diagram Backlog seconds menunjukkan perkiraan jumlah waktu dalam detik yang diperlukan untuk menggunakan backlog saat ini jika tidak ada data baru yang masuk dan throughput tidak berubah. Perkiraan waktu backlog dihitung dari throughput dan byte backlog dari sumber input yang masih perlu diproses. Metrik ini digunakan oleh fitur penskalaan otomatis streaming untuk menentukan kapan harus meningkatkan atau menurunkan skala.
Diagram Backlog bytes menunjukkan jumlah input yang belum diproses yang diketahui untuk suatu tahap dalam byte. Metrik ini membandingkan byte yang tersisa untuk digunakan oleh setiap tahap dengan tahap upstream. Agar metrik ini melaporkan secara akurat, setiap sumber yang diserap oleh pipeline harus dikonfigurasi dengan benar. Sumber bawaan seperti Pub/Sub dan BigQuery sudah didukung secara langsung, tetapi sumber kustom memerlukan beberapa implementasi tambahan. Untuk mengetahui detail selengkapnya, lihat penskalaan otomatis untuk sumber kustom yang tidak terbatas.
Memproses
Metrik ini hanya berlaku untuk tugas streaming.
Saat Anda menjalankan pipeline Apache Beam di layanan Dataflow, tugas pipeline akan berjalan di worker VM. Dasbor Processing memberikan informasi tentang jumlah waktu yang telah dihabiskan tugas untuk diproses di worker VM. Dasbor ini mencakup dua diagram berikut:
- Peta panas latensi pemrosesan pengguna
- Latensi pemrosesan pengguna menurut tahap
Heatmap latensi pemrosesan pengguna menampilkan latensi operasi maksimum pada distribusi persentil ke-50, ke-95, dan ke-99. Gunakan peta panas untuk melihat apakah ada operasi longtail yang menyebabkan latensi sistem keseluruhan yang tinggi atau berdampak negatif pada keaktualan data secara keseluruhan.
Untuk memperbaiki masalah upstream sebelum menjadi masalah downstream, tetapkan kebijakan pemberitahuan untuk latensi tinggi di persentil ke-50.
Diagram Latensi pemrosesan pengguna berdasarkan tahap menampilkan persentil ke-99 untuk semua tugas yang diproses oleh worker yang dikelompokkan berdasarkan tahap. Jika kode pengguna menyebabkan bottleneck, diagram ini akan menunjukkan tahap mana yang berisi bottleneck. Anda dapat menggunakan langkah-langkah berikut untuk men-debug pipeline:
Gunakan diagram untuk menemukan tahap dengan latensi yang sangat tinggi.
Di halaman detail tugas, di tab Execution details, untuk Graph view, pilih Stage workflow. Di grafik Stage workflow, temukan tahap yang memiliki latensi sangat tinggi.
Untuk menemukan operasi pengguna terkait, di grafik, klik node untuk tahap tersebut.
Untuk menemukan detail tambahan, buka Cloud Profiler, dan gunakan Cloud Profiler untuk men-debug stack trace pada rentang waktu yang benar. Cari operasi pengguna yang Anda identifikasi di langkah sebelumnya.
Waktu per status item pekerjaan aktif
Metrik ini hanya berlaku untuk tugas streaming.
Metrik Time per active work item state (worker/time_per_active_work_item_state) memberikan informasi latensi tentang fase-fase utama siklus proses item kerja. Tidak seperti metrik gabungan tingkat tinggi,
penilaian ini memungkinkan Anda mengatribusikan latensi secara akurat dengan menguraikan
latensi tingkat tahap menjadi fase-fase yang berbeda. Misalnya, Anda dapat memeriksa latensi
berdasarkan fase seperti pengambilan data (READ), eksekusi kode pengguna
(ACTIVE), dan persistensi status (COMMIT).
Dukungan versi runner
Meskipun metrik ini didukung sepenuhnya di Streaming Java Runner, metrik ini hanya didukung sebagian di Portable Runner.
Tabel ini merangkum status latensi dan dukungannya oleh runner.
| Status latensi | Dukungan Streaming Java Runner | Dukungan Runner Portabel |
|---|---|---|
GET_WORK |
Didukung | Tidak didukung |
QUEUED |
Didukung | Didukung |
ACTIVE |
Didukung | Didukung |
READ |
Didukung | Didukung |
COMMIT |
Didukung | Didukung |
Definisi status latensi dan pemecahan masalah
Bagian berikut menjelaskan setiap status latensi dan menyertakan informasi pemecahan masalah.
GET_WORK
- Ini adalah waktu yang diperlukan worker pengguna untuk meminta item tugas, dan bagi backend Dataflow untuk menetapkan dan mengirimkannya.
- Untuk tahap ETL standar, waktu 0-1 detik yang stabil menunjukkan koneksi yang responsif. Nilai sebenarnya bervariasi, bergantung pada kompleksitas workload dan volume data Anda.
QUEUED
- Ini adalah waktu yang dihabiskan item pekerjaan di buffer lokal worker sebelum thread tersedia untuk diproses.
- Jika latensi
QUEUEDmelebihi 1 detik, tugas akan tiba lebih cepat daripada yang dapat diproses oleh thread. Untuk tahap ETL standar, latensi di bawah 1 detik dianggap sehat. Nilai sebenarnya bervariasi, bergantung pada kompleksitas workload dan volume data Anda.
ACTIVE
- Ini adalah waktu yang dihabiskan untuk menjalankan kode
DoFn. - Latensi
ACTIVEmengacu pada waktu yang dihabiskan untuk memproses paket elemen, bukan satu elemen. - Peningkatan mendadak pada nilai latensi ini mungkin mengindikasikan throttling oleh panggilan RPC eksternal atau kasus ekstrem yang memerlukan komputasi tinggi. Gunakan metrik
DoFnuntuk mengidentifikasiDoFnstertentu yang menyebabkan penundaan.
READ
- Ini adalah waktu yang dihabiskan untuk mengambil data, termasuk pembacaan status eksplisit dan pembacaan implisit selama operasi
GroupByKey. - Waktu
READyang tinggi sering kali disebabkan oleh pembacaan yang besar pada satu kunci. Selidiki pola akses status atau gunakan status dan timer untuk menghindari pemblokiran thread.
COMMIT
- Ini adalah waktu yang diperlukan untuk mengirim hasil (update status dan elemen output) ke backend Dataflow dan menerima konfirmasi.
- Waktu
COMMITyang tinggi sering kali disebabkan oleh penulisan payload besar atau pembaruan objek status besar. Periksa hot key menggunakan status bottleneck.
Keparalelan
Metrik ini hanya berlaku untuk tugas Streaming Engine.
Diagram Pemrosesan paralel menunjukkan perkiraan jumlah kunci yang digunakan untuk pemrosesan data di setiap tahap. Dataflow melakukan penskalaan berdasarkan paralelisme pipeline.
Saat Dataflow menjalankan pipeline, pemrosesan didistribusikan di beberapa virtual machine (VM) Compute Engine, yang juga dikenal sebagai worker. Layanan Dataflow secara otomatis memparalelkan dan mendistribusikan logika pemrosesan di pipeline Anda ke worker. Pemrosesan untuk kunci tertentu diserialisasi, sehingga jumlah total kunci untuk suatu tahap mewakili paralelisme maksimum yang tersedia pada tahap tersebut.
Metrik paralelisme dapat berguna untuk menemukan hot key atau bottleneck untuk pipeline yang lambat atau macet.
Persistensi
Metrik ini hanya berlaku untuk tugas streaming.
Dasbor Persistence memberikan informasi tentang kecepatan penulisan dan pembacaan penyimpanan persisten oleh tahap pipeline tertentu dalam byte per detik. Byte yang dibaca dan ditulis mencakup operasi status pengguna dan status untuk shuffle persisten, penghapusan duplikat, input samping, dan pelacakan watermark. Coder dan caching pipeline memengaruhi byte yang dibaca dan ditulis. Byte penyimpanan mungkin berbeda dengan byte yang diproses karena penggunaan penyimpanan internal dan caching.
Dasbor ini mencakup dua diagram berikut:
- Penulisan penyimpanan
- Pembacaan penyimpanan
Duplikat
Metrik ini hanya berlaku untuk tugas streaming.
Diagram Duplicates menunjukkan jumlah pesan yang diproses oleh tahap tertentu yang telah difilter sebagai duplikat.
Dataflow mendukung banyak sumber dan sink yang menjamin pengiriman at least once. Kelemahan pengiriman at least once adalah dapat menyebabkan duplikat.
Dataflow menggunakan pengiriman exactly once, yang berarti duplikat akan otomatis difilter.
Tahap downstream tidak perlu memproses ulang elemen yang sama, sehingga status dan output tidak terpengaruh.
Pipeline dapat dioptimalkan untuk resource dan performa dengan mengurangi jumlah duplikat yang dihasilkan di setiap tahap.
Timer
Metrik ini hanya berlaku untuk tugas streaming.
Dasbor Timers memberikan informasi tentang jumlah timer yang tertunda dan jumlah timer yang sudah diproses dalam tahap pipeline tertentu. Karena jendela mengandalkan timer, metrik ini memungkinkan Anda melacak progres jendela.
Dasbor ini mencakup dua diagram berikut:
- Timer yang tertunda menurut tahap
- Pemrosesan timer menurut tahap
Diagram ini menunjukkan tingkat jendela yang tertunda atau diproses pada titik waktu tertentu. Diagram Timers pending by stage menunjukkan jumlah jendela yang tertunda karena bottleneck. Diagram Timers processing by stage menunjukkan jumlah jendela yang mengumpulkan elemen.
Diagram ini menampilkan semua timer tugas, jadi jika timer digunakan di tempat lain dalam kode Anda, timer tersebut juga akan muncul dalam diagram ini.
Metrik resource
Metrik berikut muncul di bagian Resource metrics.
Pemakaian CPU
Pemakaian CPU adalah jumlah CPU yang digunakan dibagi dengan jumlah CPU yang tersedia untuk pemrosesan. Metrik per worker ini ditampilkan sebagai persentase. Dasbor ini mencakup empat diagram berikut:
- Pemakaian CPU (Semua worker)
- Pemakaian CPU (Statistik)
- Pemakaian CPU (4 Teratas)
- Pemakaian CPU (4 Terbawah)
Penggunaan memori
Penggunaan memori adalah perkiraan jumlah memori yang digunakan oleh worker dalam byte per detik. Dasbor ini mencakup dua diagram berikut:
- Penggunaan memori worker maksimum (perkiraan byte per detik)
- Penggunaan memori (perkiraan byte per detik)
Diagram Penggunaan memori worker maksimum memberikan informasi tentang worker yang menggunakan memori terbanyak dalam tugas Dataflow pada setiap waktu. Jika, pada titik yang berbeda selama tugas, worker yang menggunakan jumlah memori maksimum berubah, baris yang sama dalam diagram akan menampilkan data untuk beberapa worker. Setiap titik data dalam baris menampilkan data untuk worker yang menggunakan jumlah memori maksimum pada saat itu. Diagram ini membandingkan perkiraan memori yang digunakan oleh worker dengan batas memori dalam byte.
Anda dapat menggunakan diagram ini untuk memecahkan masalah kehabisan memori (OOM). Error kehabisan memori worker tidak ditampilkan di diagram ini.
Diagram Penggunaan memori menunjukkan perkiraan memori yang digunakan oleh semua worker dalam tugas Dataflow dibandingkan dengan batas memori dalam byte.
Metrik input dan output
Jika tugas Dataflow streaming Anda membaca atau menulis data menggunakan Pub/Sub, tab Job metrics akan menampilkan metrik untuk pembacaan atau penulisan Pub/Sub.
Semua metrik input dari jenis yang sama digabungkan, dan semua metrik output juga digabungkan. Misalnya, semua metrik Pub/Sub dikelompokkan dalam satu bagian. Setiap jenis metrik diatur ke dalam bagian terpisah. Untuk mengubah metrik yang ditampilkan, pilih bagian di sebelah kiri yang paling mewakili metrik yang Anda cari. Gambar berikut menampilkan semua bagian yang tersedia.
Dua diagram berikut ditampilkan di bagian Input Metrics dan Output Metrics.
Permintaan per detik
Permintaan per detik adalah rasio permintaan API untuk membaca atau menulis data oleh sumber atau sink dari waktu ke waktu. Jika tingkat ini turun menjadi nol, atau menurun secara signifikan untuk jangka waktu yang lama dibandingkan dengan perilaku yang diharapkan, pipeline mungkin diblokir untuk melakukan operasi tertentu. Selain itu, mungkin tidak ada data yang dapat dibaca. Dalam kasus ini, tinjau langkah-langkah tugas yang memiliki watermark sistem yang tinggi. Selain itu, periksa log worker untuk menemukan error atau indikasi pemrosesan yang lambat.
Error respons per detik menurut jenis error
Error respons per detik menurut jenis error adalah tingkat permintaan API yang gagal untuk membaca atau menulis data menurut sumber atau sink dari waktu ke waktu. Jika error tersebut sering terjadi, permintaan API ini dapat memperlambat pemrosesan. Permintaan API yang gagal tersebut harus diselidiki. Untuk membantu memecahkan masalah ini, tinjau Kode error input dan output umum. Tinjau juga dokumentasi kode error spesifik yang digunakan oleh sumber atau sink, seperti kode error Pub/Sub.
Untuk mengetahui informasi selengkapnya tentang skenario tempat Anda dapat menggunakan metrik ini untuk proses debug, lihat Alat untuk proses debug di "Memecahkan masalah tugas yang lambat atau macet".
Menggunakan Cloud Monitoring
Dataflow terintegrasi sepenuhnya dengan Cloud Monitoring. Gunakan Cloud Monitoring untuk tugas berikut:
- Buat pemberitahuan saat tugas Anda melebihi batas yang ditentukan pengguna.
- Gunakan Metrics Explorer untuk membuat kueri dan menyesuaikan rentang waktu metrik.
- Melihat metrik yang tidak muncul di antarmuka pemantauan Dataflow.
Untuk mengetahui petunjuk tentang cara membuat pemberitahuan dan menggunakan Metrics Explorer, lihat Menggunakan Cloud Monitoring untuk pipeline Dataflow.
Untuk mengetahui daftar lengkap metrik Dataflow, lihat dokumentasi metrikGoogle Cloud .
Membuat pemberitahuan Cloud Monitoring
Cloud Monitoring memungkinkan Anda membuat pemberitahuan saat tugas Dataflow melebihi batas yang ditentukan pengguna. Untuk membuat kebijakan pemberitahuan Cloud Monitoring dari diagram metrik, klik Create alerting policy.
Jika Anda tidak dapat melihat grafik pemantauan atau membuat pemberitahuan, Anda mungkin memerlukan izin Monitoring tambahan.
Lihat di Metrics Explorer
Anda dapat melihat diagram metrik Dataflow di Metrics Explorer, tempat Anda dapat membuat kueri dan menyesuaikan rentang waktu metrik.
Untuk melihat diagram Dataflow di Metrics Explorer, di tampilan Job metrics, buka More chart options dan klik View in Metrics Explorer.
Saat menyesuaikan rentang waktu metrik, Anda dapat memilih durasi yang telah ditentukan atau memilih interval waktu kustom untuk menganalisis tugas Anda.
Secara default, untuk tugas streaming dan tugas batch yang sedang berjalan, tampilan menampilkan metrik enam jam sebelumnya untuk tugas tersebut. Untuk tugas streaming yang dihentikan atau diselesaikan, tampilan default menampilkan seluruh runtime durasi tugas.
Metrik I/O Dataflow
Anda dapat melihat metrik I/O Dataflow berikut di Metrics Explorer:
job/pubsub/write_count: Permintaan publikasi Pub/Sub dari PubsubIO.Write dalam tugas Dataflow.job/pubsub/read_count: Permintaan pull Pub/Sub dari PubsubIO.Read dalam tugas Dataflow.job/bigquery/write_count: Permintaan publikasi BigQuery dari BigQueryIO.Write dalam tugas Dataflow. Metrikjob/bigquery/write_counttersedia di pipeline Python menggunakan transformasi WriteToBigQuery denganmethod='STREAMING_INSERTS'diaktifkan di Apache Beam v2.28.0 atau yang lebih baru. Metrik ini tersedia untuk pipeline batch dan streaming.- Jika pipeline Anda menggunakan sumber atau sink BigQuery, untuk memecahkan masalah kuota, gunakan metrik BigQuery Storage API.
Metrik DoFn
Untuk tugas streaming yang menggunakan Streaming Engine
dan tidak menggunakan Portable Runner, Anda dapat melihat metrik berikut
untuk setiap DoFns yang ditentukan pengguna:
job/dofn_latency_average: Waktu pemrosesan pesan rata-rata untuk satuDoFnselama periode 3 menit terakhir, dalam milidetik.job/dofn_latency_max: Waktu pemrosesan pesan maksimum untuk satuDoFnselama periode 3 menit terakhir, dalam milidetik.job/dofn_latency_min: Waktu pemrosesan pesan minimum untuk satuDoFnselama periode 3 menit terakhir, dalam milidetik.job/dofn_latency_num_messages: Jumlah pesan yang diproses oleh satuDoFnselama 3 menit terakhir.job/dofn_latency_total: Total waktu pemrosesan pesan untuk semua pesan dalam satuDoFnselama periode 3 menit terakhir, dalam milidetik.job/oldest_active_message_age: Durasi pemrosesan pesan aktif terlama dalamDoFn, dalam milidetik.
Metrik ini memerlukan Apache Beam SDK versi 2.53.0 atau yang lebih baru. Untuk melihat metrik ini, gunakan Metrics Explorer.
Anda dapat menggunakan metrik ini untuk menemukan DoFns yang paling berkontribusi terhadap
latensi pemrosesan dalam tugas Anda. Misalnya, jika tugas macet, gunakan metrik job/oldest_active_message_age untuk menemukan DoFn dengan pesan aktif terlama. Gambar berikut menunjukkan DoFn dengan lonjakan besar dalam metrik ini:
Untuk melihat nama DoFn, arahkan kursor ke garis grafik.
Langkah berikutnya
- Memecahkan masalah tugas streaming yang lambat atau macet.
- Memecahkan masalah tugas batch yang lambat atau macet.
- Menyesuaikan Penskalaan Otomatis Horizontal untuk pipeline streaming
- Mengoptimalkan biaya