Menggunakan pemajuan watermark eager

Dalam pipeline streaming Dataflow, data yang tertunda atau tidak berurutan dapat menghentikan watermark pipeline Anda. Jenis data ini dihasilkan dari instance yang mengalami perbedaan waktu, seperti peristiwa dari perangkat offline atau klien dengan penyimpangan jam. Watermark yang terhenti akan menunda hasil berjendela tepat waktu dan timer waktu peristiwa, serta dapat menyebabkan lonjakan tiba-tiba dalam pemanfaatan worker saat data yang tertunda akhirnya dihapus.

Anda dapat mencegah data yang tertunda menghambat pipeline dengan mengaktifkan kemajuan watermark yang cepat untuk tugas Streaming Engine. Saat Anda mengaktifkan fitur ini, Dataflow akan terus memproses data yang tertunda, tetapi data tersebut tidak akan menghentikan watermark, sehingga jendela dan timer Anda dapat berjalan sesuai jadwal.

Mengaktifkan pemajuan watermark yang cepat membantu Anda mencapai hal berikut:

  • Latensi yang dapat diprediksi: Menghasilkan agregasi berjendela tepat waktu dan menjalankan timer waktu peristiwa sesuai jadwal tanpa menunggu data yang tertunda selesai diproses.
  • Pemanfaatan worker yang lebih lancar: Menutup jendela dan menjalankan timer secara stabil saat data tepat waktu memajukan watermark, sehingga menghindari lonjakan pemanfaatan worker dari jendela yang tertunda yang ditutup sekaligus.

Ringkasan

Dalam pipeline streaming, watermark adalah batas yang menunjukkan bahwa Dataflow telah melacak bahwa data hingga titik ini telah diproses. Agregasi berjendela menghasilkan hasil tepat waktu, dan timer waktu peristiwa hanya berjalan setelah watermark melewati akhir jendela atau stempel waktu timer.

Secara default, watermark didasarkan pada stempel waktu peristiwa minimum yang belum diproses, dan tidak pernah bergerak mundur. Saat data tiba dengan stempel waktu peristiwa di belakang watermark saat ini, watermark akan berhenti hingga data tersebut selesai diproses. Karena watermark downstream tidak dapat melampaui watermark upstream, watermark upstream yang terhenti akan menghentikan setiap tahap setelahnya. Saat data yang tertunda bergerak melalui pipeline Anda, watermark setiap tahap akan tetap terhenti hingga data selesai diproses pada tahap tersebut. Meskipun pipeline Anda responsif, kaskade ini menunda hasil berjendela dan timer waktu peristiwa untuk data tepat waktu di semua tahap downstream. Saat data yang tertunda akhirnya dihapus, watermark akan melompat maju dengan cepat, yang sering kali memicu ledakan penutupan jendela yang meningkatkan pemanfaatan worker.

Kemajuan watermark yang cepat mengubah perilaku ini untuk tugas Streaming Engine dengan memisahkan data yang tertunda dari progres watermark. Saat kumpulan data tiba dengan stempel waktu peristiwa di belakang watermark saat ini, Dataflow akan memproses kumpulan data tersebut tanpa menahan watermark tahap. Watermark akan terus maju berdasarkan data tepat waktu, sementara data yang tertunda akan diproses dan di-output sesuai dengan konfigurasi keterlambatan yang diizinkan pipeline Anda.

Kapan harus menggunakan pemajuan watermark eager

Kemajuan watermark yang cepat efektif dalam skenario berikut, saat progres watermark terhenti oleh data yang tiba di belakang watermark saat ini:

  • Lonjakan data yang tertunda: Skenario saat perangkat seluler, sensor IoT, atau peralatan jaringan offline selama berjam-jam atau berhari-hari, menyangga peristiwa secara lokal, dan menghasilkan lonjakan data historis setelah terhubung kembali.
  • Waktu peristiwa yang tidak berurutan di Pub/Sub: Topik Pub/Sub tempat pesan tiba dengan stempel waktu peristiwa yang lebih lama daripada watermark sumber, atau topik yang jarang diisi tempat watermark langganan yang tidak ada aktivitasnya maju ke waktu jam dinding di antara pesan.
  • Pemulihan partisi Kafka: Sumber Kafka yang dikonfigurasi dengan waktu peristiwa atau CreateTime, saat watermark partisi maju saat partisi tidak ada aktivitas, dan partisi kemudian menerima backlog data yang lebih lama.
  • Stempel waktu kustom di masa lalu: Transformasi pengguna yang menghasilkan data dengan stempel waktu historis menggunakan outputWithTimestamp.

Data terlambat dengan agregasi berjendela

Tanpa pemajuan watermark yang cepat, watermark yang terhenti akan membuat jendela tetap terbuka. Jika watermark tetap terhenti cukup lama, data tertunda yang tiba kemudian dapat dihitung sebagai tepat waktu, yang memberikan perlindungan yang tidak diinginkan terhadap data yang terlambat. Dengan kemajuan watermark yang cepat, data yang terlambat tidak lagi menghentikan watermark, sehingga lebih banyak data yang diklasifikasikan dengan benar sebagai terlambat. Data terlambat dalam keterlambatan yang diizinkan akan di-output di panel terlambat, dan data terlambat setelahnya akan dikecualikan dari hasil periode.

Jika pemajuan watermark eager tidak berlaku

Kemajuan watermark yang cepat tidak menyelesaikan keterlambatan watermark yang disebabkan oleh lambatnya pemrosesan data tepat waktu. Jika transformasi memerlukan waktu lama untuk memproses data tepat waktu karena operasi komputasi yang berat, RPC eksternal yang lambat, atau bottleneck CPU dan memori worker, watermark akan tertahan oleh elemen yang lambat tersebut. Kemajuan watermark yang cepat hanya memisahkan data yang sudah berada di belakang watermark. Hal ini tidak mempercepat pemrosesan tepat waktu yang lambat.

Dukungan dan batasan

Semua versi Apache Beam SDK yang berjalan di Streaming Engine (Java, Python, dan Go) mendukung pemajuan watermark eager. Tidak perlu mengupgrade SDK.

Pemajuan watermark eager memiliki persyaratan dan batasan berikut:

  • Streaming Engine diperlukan: Pipeline harus menggunakan Streaming Engine.
  • Khusus tugas streaming: Anda hanya dapat mengaktifkan pemajuan watermark eager untuk pipeline streaming.
  • Keterlambatan yang diizinkan: Untuk menangani data yang terlambat dalam agregasi berjendela atau pemrosesan stateful, tetapkan keterlambatan yang diizinkan untuk mencakup penundaan yang diharapkan sebelum Anda mengaktifkan kemajuan watermark yang cepat. Data yang lebih lambat dari keterlambatan yang diizinkan akan dihapus. Untuk mengetahui detailnya, lihat Data terlambat.
  • Sumber terbatas: Jika semua sumber dalam tugas streaming dibatasi, tugas tidak akan selesai dengan sendirinya saat input berakhir. Untuk menghentikan tugas, tiriskan tugas tersebut.
  • Hanya tugas baru atau pengganti: Anda tidak dapat mengubah kemajuan watermark eager pada tugas yang sedang berjalan aktif. Untuk mengaktifkan atau menonaktifkan fitur ini untuk pipeline yang ada, Anda harus men-deploy tugas pengganti menggunakan opsi pipeline update.

Sebelum memulai

Sebelum mengaktifkan pemajuan watermark eager, lakukan hal berikut:

  1. Konfigurasikan keterlambatan yang diizinkan untuk mencakup keterlambatan yang diperkirakan.
  2. Pastikan pemicu, mode akumulasi, dan penanganan PaneInfo pipeline Anda berfungsi dengan panel terlambat.

Setelah mengaktifkan eager watermark advancement, pantau penghitung droppedDueToLateness di bagian Custom counters di panel Job info di konsol Google Cloud untuk memverifikasi bahwa data terlambat yang dihapus tetap berada pada tingkat yang dapat diterima untuk kasus penggunaan Anda.

Mengaktifkan pemajuan watermark yang agresif

Untuk mengaktifkan progres watermark yang cepat, tetapkan opsi layanan enable_eager_watermark_advancement saat Anda meluncurkan pipeline:

Java

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

Go

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

Saat Anda menjalankan template menggunakan perintah gcloud dataflow jobs run atau Template Flex menggunakan perintah gcloud dataflow flex-template run, sertakan flag --enable-streaming-engine dan --additional-experiments:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

Ganti nilai berikut:

  • JOB_NAME: nama tugas Dataflow Anda
  • TEMPLATE_LOCATION: jalur Cloud Storage ke file spesifikasi Template Flex Anda
  • REGION: region tempat tugas berjalan

Terraform

Tetapkan additional_experiments pada resource google_dataflow_flex_template_job atau google_dataflow_job:

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

Gunakan kolom additionalExperiments di objek RuntimeEnvironment, atau di objek FlexTemplateRuntimeEnvironment saat meluncurkan Template Flex:

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

Konsol

  1. Di konsol Google Cloud , buka halaman Tugas Dataflow.

    Buka Tugas

  2. Klik Create job from template.

  3. Pilih template dari menu Dataflow template.

  4. Luaskan Optional parameters.

  5. Di kolom Additional experiments, masukkan enable_eager_watermark_advancement.

  6. Klik Jalankan tugas.

Memastikan bahwa eager watermark advancement diaktifkan

Saat tugas dimulai atau diperbarui dengan pengajuan watermark eager diaktifkan, log tugas akan berisi pesan berikut:

Eager watermark advancement is enabled for this job.

Saat update mengaktifkan atau menonaktifkan progres watermark eager, log tugas berisi pesan seperti berikut:

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

Anda juga dapat memeriksa bagian Pipeline options di panel Job info. Opsi enable_eager_watermark_advancement muncul di baris dataflowServiceOptions, atau di baris experiments jika Anda menetapkannya sebagai eksperimen.

Menonaktifkan kemajuan watermark yang cepat

Anda tidak dapat menonaktifkan pemajuan watermark eager pada tugas yang sedang berjalan aktif. Untuk menonaktifkan fitur ini pada pipeline yang ada, luncurkan tugas pengganti menggunakan opsi pipeline --update dan hapus enable_eager_watermark_advancement dari opsi penggantian. Untuk mengetahui informasi selengkapnya, lihat Memperbarui pipeline streaming. Karena watermark tidak pernah bergerak mundur, watermark tugas pengganti akan melanjutkan watermark tugas sebelumnya dan melanjutkan perilaku kemajuan default.

Memantau kemajuan watermark eager

Untuk tugas yang mengaktifkan progres watermark eager, Dataflow melaporkan metrik per tahap berikut ke Cloud Monitoring. Gunakan metrik ini bersama dengan metrik dataflow.googleapis.com/job/per_stage_data_watermark_age (keaktualan data) standar untuk mengevaluasi data yang tertunda dan latensi watermark:

  • dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: usia watermark data tahap jika progres watermark eager dinonaktifkan. Perbedaan antara metrik ini dan per_stage_data_watermark_age adalah latensi watermark yang dihapus oleh pemajuan watermark yang cepat.
  • dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: usia elemen tertunda terlama pada atau di upstream tahap, termasuk data yang tertunda. Untuk pipeline dengan agregasi berjendela, perbedaan antara metrik ini dan per_stage_data_watermark_age memperkirakan seberapa jauh data tertunda terlama berada di belakang watermark. Jika perbedaan tersebut mendekati keterlambatan yang diizinkan, data yang tertunda berisiko dihapus. Untuk memverifikasi apakah ada data terlambat yang dihapus, periksa penghitung droppedDueToLateness di bagian Custom counters di konsolGoogle Cloud (lihat Sebelum memulai).

Kedua metrik dilaporkan dalam detik dan menyertakan label stage. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Monitoring.

Langkah berikutnya