Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan mencakup informasi berikut:
- Jumlah worker instance yang digunakan oleh tugas Anda pada waktu tertentu
- File log penskalaan otomatis
- Estimasi backlog dari waktu ke waktu
- Pemakaian CPU rata-rata dari waktu ke waktu
Diagram disejajarkan secara vertikal sehingga Anda dapat menghubungkan metrik backlog dan pemakaian CPU dengan peristiwa penskalaan worker.
Untuk mengetahui informasi selengkapnya tentang cara Dataflow membuat keputusan penyesuaian otomatis, lihat dokumentasi Fitur penyesuaian otomatis. Untuk mengetahui informasi selengkapnya tentang pemantauan dan metrik Dataflow, lihat Menggunakan antarmuka pemantauan Dataflow.
Mengakses diagram pemantauan penskalaan otomatis
Anda dapat mengakses antarmuka pemantauan Dataflow menggunakanGoogle Cloud console. Untuk mengakses tab metrik Penskalaan otomatis, ikuti langkah-langkah berikut:
- Login ke Google Cloud konsol.
- Pilih project Google Cloud Anda.
- Buka menu navigasi.
- Di Analytics, klik Dataflow. Daftar tugas Dataflow akan muncul beserta statusnya.
- Klik tugas yang ingin Anda pantau, lalu klik tab Penskalaan otomatis.
Memantau metrik penskalaan otomatis
Layanan Dataflow otomatis memilih jumlah worker instance yang diperlukan untuk menjalankan tugas penskalaan otomatis Anda. Jumlah worker instance dapat berubah dari waktu ke waktu sesuai dengan persyaratan tugas.
Anda dapat melihat metrik penskalaan otomatis di tab Penskalaan otomatis di antarmuka Dataflow. Setiap metrik disusun dalam diagram berikut:
Panel tindakan penskalaan otomatis menampilkan status penskalaan otomatis dan jumlah worker saat ini.
Penskalaan otomatis
Diagram Penskalaan otomatis menampilkan grafik deret waktu dari jumlah worker saat ini, jumlah worker target, serta jumlah worker minimum dan maksimum.
Untuk melihat log penskalaan otomatis, klik Tampilkan log penskalaan otomatis.
Untuk melihat histori perubahan penskalaan otomatis, klik Histori lainnya. Tabel dengan informasi tentang histori worker pipeline Anda akan ditampilkan. Histori mencakup peristiwa penskalaan otomatis, termasuk apakah jumlah worker mencapai jumlah worker minimum atau maksimum.
Alasan penskalaan otomatis (khusus Streaming Engine)
Diagram Alasan penskalaan otomatis menunjukkan alasan autoscaler melakukan peningkatan skala, memperkecil skala, atau tidak melakukan tindakan apa pun selama jangka waktu tertentu.
Untuk melihat deskripsi alasan di titik tertentu, tahan kursor di atas diagram.
Tabel berikut mencantumkan tindakan penskalaan dan kemungkinan alasan penskalaan.
| Tindakan penskalaan | Alasan | Deskripsi |
|---|---|---|
| Tidak ada perubahan dalam penskalaan | Mengumpulkan lebih banyak data untuk pengambilan keputusan | Autoscaler tidak memiliki cukup sinyal untuk meningkatkan atau menurunkan skala. Misalnya, status kumpulan worker baru-baru ini berubah; atau metrik backlog atau pemakaian berfluktuasi. |
| Tidak ada perubahan dalam penskalaan, sinyal stabil | Mencapai batas yang tidak terkait dengan resource | Penskalaan dibatasi oleh batas seperti paralelisme kunci atau jumlah worker minimum dan maksimum yang dikonfigurasi. |
| Backlog rendah dan pemakaian worker tinggi | Penskalaan otomatis pipeline telah menyatu ke nilai yang stabil berdasarkan konfigurasi dan traffic saat ini. Perubahan penskalaan tidak diperlukan. | |
| Peningkatan skala | Backlog tinggi | Meningkatkan skala untuk mengurangi backlog. |
| Pemakaian worker yang tinggi | Meningkatkan skala untuk mencapai target pemakaian CPU. | |
| Mencapai batas yang tidak terkait dengan resource | Jumlah minimum worker telah diperbarui, dan jumlah worker saat ini di bawah minimum yang dikonfigurasi. | |
| Perkecil skala | Pemakaian worker rendah | Memperkecil skala untuk mencapai target pemakaian CPU. |
| Mencapai batas yang tidak terkait dengan resource | Jumlah maksimum worker telah diperbarui, dan jumlah worker saat ini melebihi jumlah maksimum yang dikonfigurasi. |
Pemakaian CPU worker
Pemakaian CPU adalah jumlah CPU yang digunakan dibagi dengan jumlah CPU yang tersedia untuk pemrosesan. Diagram Pemakaian CPU rata-rata menunjukkan pemakaian CPU rata-rata untuk semua pekerja dari waktu ke waktu, petunjuk pemakaian worker, dan apakah Dataflow secara aktif menggunakan petunjuk tersebut sebagai target.
Backlog (khusus Streaming Engine)
Diagram Backlog maksimum memberikan informasi tentang elemen yang menunggu untuk diproses. Diagram menunjukkan perkiraan jumlah waktu dalam detik yang diperlukan untuk menggunakan backlog saat ini jika tidak ada data baru yang masuk dan throughput tidak berubah. Perkiraan waktu backlog dihitung dari throughput dan byte backlog dari sumber input yang masih perlu diproses. Metrik ini digunakan oleh fitur penskalaan otomatis streaming untuk menentukan kapan harus meningkatkan atau menurunkan skala.
Data untuk diagram ini hanya tersedia untuk tugas yang menggunakan Streaming Engine. Jika tugas streaming Anda tidak menggunakan Streaming Engine, diagram akan kosong.
Rekomendasi
Berikut beberapa perilaku yang mungkin Anda amati di pipeline, dan rekomendasi tentang cara menyesuaikan penskalaan otomatis:
Penurunan skala yang berlebihan. Jika target pemakaian CPU ditetapkan terlalu tinggi, Anda mungkin melihat pola saat Dataflow memperkecil skala, backlog mulai bertambah, dan Dataflow meningkatkan skala lagi untuk mengimbanginya, bukan menggabungkan jumlah worker yang stabil. Untuk memitigasi masalah ini, coba tetapkan petunjuk pemakaian worker yang lebih rendah. Amati pemakaian CPU pada titik saat backlog mulai bertambah, dan tetapkan petunjuk pemakaian ke nilai tersebut.
Peningkatan skala terlalu lambat. Jika peningkatan skala terlalu lambat, penskalaan mungkin tertinggal dari lonjakan traffic, sehingga menyebabkan periode peningkatan latensi. Coba kurangi petunjuk pemakaian worker, sehingga Dataflow melakukan penskalaan lebih cepat. Amati pemakaian CPU pada titik saat backlog mulai bertambah, dan tetapkan petunjuk pemakaian ke nilai tersebut. Pantau latensi dan biaya, karena nilai petunjuk yang lebih rendah dapat meningkatkan total biaya untuk pipeline, jika lebih banyak worker yang disediakan.
Peningkatan skala yang berlebihan. Jika Anda mengamati peningkatan skala yang berlebihan, yang mengakibatkan peningkatan biaya, pertimbangkan untuk meningkatkan petunjuk pemakaian worker. Pantau latensi untuk memastikan latensi tetap berada dalam batas yang dapat diterima untuk skenario Anda.
Untuk mengetahui informasi selengkapnya, lihat Menetapkan petunjuk pemakaian worker. Saat Anda bereksperimen dengan nilai petunjuk pemakaian worker baru, tunggu beberapa menit hingga pipeline stabil setelah setiap penyesuaian.
Langkah berikutnya
- Menyesuaikan Penskalaan Otomatis Horizontal untuk pipeline streaming
- Memecahkan masalah penskalaan otomatis Dataflow