Mengelola konfigurasi pipeline

Halaman ini menjelaskan cara mengelola konfigurasi untuk pipeline yang di-deploy.

Sebelum memulai

Halaman ini memerlukan pengetahuan dasar tentang Profil komputasi dan performa pipeline.

Konfigurasi profil Compute

Anda dapat mengubah profil komputasi atau menyesuaikan parameter profil komputasi default yang menjalankan pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi dan Properti penyedia Managed Service for Apache Spark.

Konfigurasi pipeline

Untuk setiap pipeline, Anda dapat mengaktifkan atau menonaktifkan instrumentasi, seperti metrik waktu. Secara default, instrumentasi diaktifkan. Jika instrumentasi diaktifkan, saat Anda menjalankan pipeline, Cloud Data Fusion akan membuat metrik untuk setiap node pipeline. Metrik berikut ditampilkan di tab Metrik setiap node. Metrik sumber, transformasi, dan sink sedikit berbeda.

  • Catatan keluar
  • Catatan di
  • Jumlah total error
  • Data keluar per detik
  • Waktu pemrosesan minimum (satu data)
  • Waktu pemrosesan maks (satu data)
  • Simpangan baku
  • Waktu pemrosesan rata-rata

Sebaiknya Anda selalu mengaktifkan Instrumentasi, kecuali jika lingkungan kekurangan resource.

Untuk pipeline streaming, Anda juga dapat menetapkan Interval batch (detik/menit) untuk data streaming.

Konfigurasi mesin

Apache Spark adalah mesin eksekusi default. Anda dapat meneruskan parameter kustom untuk Spark. Untuk mengetahui informasi selengkapnya, lihat Pemrosesan paralel.

Resource

Anda dapat menentukan memori dan jumlah CPU untuk driver dan eksekutor Spark. Driver mengorkestrasi tugas Spark. Eksekutor menangani pemrosesan data di Spark. Untuk mengetahui informasi selengkapnya, lihat Pengelolaan resource.

Peringatan pipeline

Anda dapat mengonfigurasi pipeline untuk mengirimkan pemberitahuan dan memulai tugas pasca-pemrosesan setelah operasi pipeline selesai. Anda membuat pemberitahuan pipeline saat mendesain pipeline. Setelah men-deploy pipeline, Anda dapat melihat pemberitahuan. Anda dapat mengedit pipeline untuk mengubah setelan pemberitahuan. Untuk mengetahui informasi selengkapnya, lihat Membuat pemberitahuan.

Bentang bawah transformasi

Anda dapat mengaktifkan Pengoptimalan transformasi jika ingin pipeline menjalankan transformasi tertentu di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan penurunan transformasi.

Langkah berikutnya