Pemberitahuan siap pakai untuk Dataflow

Untuk memantau kondisi pipeline streaming dan konsumsi resource tanpa mengonfigurasi kebijakan secara manual di Cloud Monitoring, Anda dapat mengaktifkan pemberitahuan siap pakai di Dataflow. Pemberitahuan siap pakai menyediakan serangkaian kebijakan pemberitahuan yang direkomendasikan dan telah dikonfigurasi sebelumnya yang dapat Anda aktifkan selama tugas dimulai.

Dengan fitur ini, Anda dapat:

  • Dapatkan visibilitas instan: Lacak metrik streaming penting secara otomatis, seperti waktu pemrosesan backlog dan pertumbuhan vCPU, tanpa penyiapan manual.
  • Menstandardisasi pemantauan: Terapkan kebijakan pemberitahuan dasar dengan cepat di seluruh workload produksi baru dan yang sudah ada.
  • Menyesuaikan pemberitahuan: Sesuaikan nilai minimum pemberitahuan default, nonaktifkan kebijakan satu per satu, atau tambahkan kebijakan pemberitahuan kustom Anda sendiri ke rangkaian alat.

Anda dapat menyesuaikan kebijakan default ini kapan saja di Cloud Monitoring atau mengintegrasikan kebijakan notifikasi kustom Anda sendiri dengan rangkaian pemberitahuan siap pakai.

Prasyarat

Untuk menggunakan pemberitahuan siap pakai, project Anda harus memenuhi persyaratan berikut:

  1. Saluran notifikasi: Anda harus mengonfigurasi setidaknya satu saluran notifikasi (misalnya, email, Slack, atau PagerDuty). Sebaiknya konfigurasi Kontak Penting untuk memastikan notifikasi menjangkau pemangku kepentingan yang tepat. Persyaratan ini tidak diterapkan oleh layanan Dataflow. Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola saluran notifikasi.

  2. Izin: Akun Layanan Dataflow (P4SA) memerlukan izin IAM tertentu untuk membuat dan mengelola kebijakan ini atas nama Anda:

    • monitoring.alertPolicies.get
    • monitoring.alertPolicies.list
    • monitoring.alertPolicies.create
    • monitoring.alertPolicies.update
    • monitoring.alertPolicies.delete

    Untuk project baru, izin ini ditambahkan secara otomatis. Untuk project yang sudah ada, Anda mungkin perlu menetapkan izin ini secara manual di akun P4SA.

Memperbarui izin P4SA

Agen Layanan Dataflow (sering disebut sebagai P4SA, atau Akun Layanan Per Produk, Per Project) adalah akun layanan terkelola yang dibuat secara otomatis saat Anda mengaktifkan Dataflow API. Alamat emailnya menggunakan format berikut:

service-PROJECT_NUMBER@dataflow-service-producer-prod.iam.gserviceaccount.com

Untuk memperbarui P4SA, Anda memerlukan izin resourcemanager.projects.setIamPolicy atau peran yang mencakup izin ini, seperti Project IAM Admin (roles/resourcemanager.projectIamAdmin).

Untuk memberikan peran yang diperlukan menggunakan konsol Google Cloud , ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman IAM.

    Buka IAM

  2. Pilih project Anda.

  3. Centang kotak Include Google-provided role grants.

  4. Dalam daftar akun utama, cari baris untuk Dataflow Service Agent (service-PROJECT_NUMBER@dataflow-service-producer-prod.iam.gserviceaccount.com atau dengan peran Cloud Dataflow Service Agent).

  5. Di baris tersebut, klik Edit akun utama.

  6. Di panel Edit izin, klik Tambahkan peran lain.

  7. Di daftar Select a role, pilih Monitoring Editor (roles/monitoring.editor).

  8. Klik Simpan. Mungkin perlu waktu beberapa menit agar pembaruan izin diterapkan.

Mengaktifkan notifikasi siap pakai

Anda dapat mendaftarkan tugas ke pemberitahuan siap pakai menggunakan gcloud CLI.

Mengaktifkan pemberitahuan menggunakan gcloud CLI

Tambahkan salah satu tanda berikut selama pengiriman tugas untuk mengaktifkan atau menonaktifkan fitur:

  • --enable-turnkey-alerts
  • --no-enable-turnkey-alerts

Jika akun layanan Anda tidak memiliki izin yang diperlukan, CLI akan menolak permintaan dan menampilkan izin yang tidak ada. Untuk mengetahui informasi selengkapnya, lihat Prasyarat.

Setelan pemberitahuan siap pakai dipertahankan di seluruh pembaruan tugas. Saat Anda memperbarui tugas, setelan pemberitahuan siap pakai sebelumnya akan dipertahankan, sehingga Anda tidak perlu menentukan tanda --enable-turnkey-alerts atau --no-enable-turnkey-alerts lagi kecuali jika Anda ingin mengubah setelan.

Kumpulan kebijakan default

Alert siap pakai mencakup dua kebijakan utama yang dirancang untuk workload streaming umum, yang berfokus pada KPI real-time seperti waktu pemrosesan dan pemanfaatan resource. Kebijakan yang disediakan Google diberi awalan Default Policy: untuk identifikasi, meskipun layanan menggunakan label sebagai ID utama.

Pelanggan secara otomatis terdaftar dalam semua kebijakan di rangkaian kebijakan default. Jika perlu, Anda dapat menonaktifkan kebijakan default tertentu di Pemberitahuan Cloud Monitoring.

Nama kebijakan Metrik dasar Nilai minimum default Alasan
Kebijakan Default: Perkiraan Backlog job/estimated_backlog_processing_time 30 menit Memperkirakan waktu yang diperlukan untuk menyelesaikan backlog saat ini. Penumpukan lebih dari 30 menit menunjukkan bahwa tugas kesulitan untuk berjalan.
Kebijakan Default: Kebijakan Pertumbuhan vCPU job/current_num_vcpus Peningkatan lebih dari 5x dalam penggunaan vCPU rata-rata 1 jam dibandingkan dengan rata-rata 7 hari Memantau perubahan relatif dalam jumlah vCPU untuk membantu mengukur biaya tugas yang tidak terduga.

Siklus proses kebijakan

  • Kebijakan beta: Kebijakan ini memiliki awalan BETA dalam namanya dan dapat berubah atau dihapus saat nilai minimum disesuaikan.
  • Kebijakan GA: Setelah kebijakan dianggap stabil, awalan BETA akan dihapus.

Menyesuaikan dan mengelola notifikasi

Pemberitahuan siap pakai berfungsi sebagai titik awal. Sebaiknya sesuaikan agar sesuai dengan persyaratan bisnis spesifik Anda.

  1. Di konsol Google Cloud , buka Cloud Monitoring > Alerting.
  2. Temukan kebijakan (misalnya, Kebijakan Default: Perkiraan Backlog).
  3. Edit batas ke nilai pilihan Anda.

Membuat kebijakan kustom

Anda dapat menambahkan kebijakan pemberitahuan Cloud Monitoring apa pun ke rangkaian pemberitahuan siap pakai dengan menambahkan label goog-turnkey-alerts ke kebijakan tersebut. Hal ini memungkinkan Anda mengelola aturan kustom khusus bisnis bersama rangkaian default.

Menonaktifkan atau menghapus kebijakan pemberitahuan

Anda dapat menonaktifkan atau menghapus kebijakan default tertentu menggunakan Monitoring. Saat Anda menonaktifkan kebijakan, Monitoring akan berhenti mengevaluasi kondisi kebijakan dan tidak ada insiden baru yang dibuat, tetapi konfigurasi kebijakan tetap dipertahankan. Jika Anda menghapus kebijakan, kebijakan tersebut akan dihapus secara permanen dari project Anda. Untuk mengetahui informasi selengkapnya tentang mengelola siklus proses kebijakan, lihat Mengelola kebijakan pemberitahuan dan Kebijakan pemberitahuan yang dinonaktifkan.

Pemecahan masalah

Masalah Resolusi
PERMISSION_DENIED Pastikan P4SA Dataflow memiliki izin monitoring.alertPolicies.* yang diperlukan yang tercantum di Prasyarat. Jika P4SA tidak memiliki peran ini, pipeline Anda akan tetap diluncurkan dengan berhasil, tetapi error PERMISSION_DENIED akan muncul di output command line dan di log tugas yang menunjukkan bahwa pemberitahuan default tidak dapat dibuat.
Tidak menerima pemberitahuan Tentukan apakah kondisi pemberitahuan terpenuhi dengan memeriksa insiden. Anda dapat melihat pemicuan pemberitahuan dan linimasa insiden di Monitoring (lihat Melihat insiden dan peristiwa).
Kebijakan duplikat Hal ini biasanya terjadi jika beberapa kebijakan memiliki label goog-turnkey-alerts dan konfigurasi metrik yang sama. Dataflow memeriksa label dan metrik yang tumpang-tindih, bukan kecocokan nama persis. Tinjau kebijakan Anda dan hapus label dari konfigurasi yang berlebihan.