Kontrol konkurensi streaming

Halaman ini memberikan ringkasan kontrol konkurensi streaming, seperti jumlah maksimum tugas pengambilan data perubahan (CDC) dan tugas pengisian ulang serentak. Anda dapat mengontrol performa streaming dengan menaikkan atau menurunkan nilai parameter ini.

Ringkasan kontrol konkurensi

Dengan menggunakan kontrol konkurensi, Anda dapat mencapai pengisian ulang dan CDC yang lebih cepat, atau menyeimbangkan beban pada database sumber. Jika Anda memerlukan throughput yang lebih tinggi, dan dapat menangani beban yang lebih tinggi pada database, Anda dapat meningkatkan konkurensi tugas CDC dan pengisian ulang. Sebaliknya, jika database Anda mengalami beban tinggi, dan Anda ingin melindunginya agar tidak kelebihan beban, Anda dapat mengurangi nilai parameter ini.

Jumlah maksimum tugas CDC

Parameter maxConcurrentCdcTasks memungkinkan Anda mengontrol jumlah tugas CDC yang dijalankan secara paralel oleh aliran. Untuk memperluas throughput CDC, tingkatkan nilai parameter ini dan izinkan Datastream memproses lebih banyak file log CDC secara bersamaan.

Karakteristik utama parameter meliputi:

  • Nilai default-nya adalah 5. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Parameter ini hanya berlaku untuk sumber Oracle dan MySQL.
  • Parameter ini hanya berdampak jika ada lebih banyak file log database yang tersedia untuk dibaca daripada tugas CDC. Setelan file log dikontrol oleh parameter konfigurasi database sumber: ukuran file log maksimum dan interval waktu rotasi log maksimum. Untuk mengetahui informasi selengkapnya tentang parameter ini, lihat dokumentasi Oracle dan MySQL.
  • Jika Anda mengurangi jumlah tugas CDC serentak, Datastream mungkin tertinggal dari log database, yang pada akhirnya dapat menyebabkan hilangnya posisi log dan kegagalan streaming.

Jumlah maksimum tugas pengisian ulang

Parameter maxConcurrentBackfillTasks memungkinkan Anda mengontrol jumlah tugas pengisian ulang yang dapat dijalankan secara paralel oleh aliran. Anda dapat menaikkan atau menurunkan nilai ini untuk mengontrol throughput pengisian ulang.

Karakteristik utama parameter meliputi:

  • Nilai default-nya adalah 15. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Ada risiko tinggi yang terkait dengan peningkatan serentak pengisian ulang, karena tugas pengisian ulang memiliki dampak signifikan terhadap performa database. Setiap tugas pengisian ulang menjalankan kueri SELECT yang tidak difilter pada tabel, dan untuk tabel besar, kueri tersebut menampilkan sejumlah besar baris.
  • Jika Anda mengurangi serentak pengisian ulang, hal ini tidak akan berdampak negatif pada database sumber, kecuali pengisian ulang akan memerlukan waktu lebih lama untuk diselesaikan.

Mengubah nilai kontrol konkurensi

Anda dapat mengubah nilai parameter kontrol serentak menggunakan Datastream API.

Langkah berikutnya