Kontrol konkurensi streaming

Kontrol konkurensi aliran data di Datastream memungkinkan Anda mengelola jumlah maksimum tugas change data capture (CDC) paralel dan tugas pengisian ulang yang dijalankan aliran data. Anda dapat menyesuaikan parameter ini di Datastream API untuk meningkatkan throughput replikasi atau membatasi beban pada database sumber.

Ringkasan kontrol konkurensi

Dengan menggunakan kontrol konkurensi, Anda dapat mencapai pengisian ulang dan CDC yang lebih cepat, atau menyeimbangkan beban pada database sumber. Jika Anda memerlukan throughput yang lebih tinggi, dan dapat menanggung beban yang lebih tinggi pada database, Anda dapat meningkatkan konkurensi tugas CDC dan pengisian ulang. Sebaliknya, jika database Anda mengalami beban yang tinggi, dan Anda ingin melindunginya agar tidak kelebihan beban, Anda dapat mengurangi nilai parameter ini.

Jumlah maksimum tugas CDC

Parameter maxConcurrentCdcTasks memungkinkan Anda mengontrol jumlah tugas CDC yang dijalankan aliran data secara paralel. Untuk memperluas throughput CDC, tingkatkan nilai parameter ini dan izinkan Datastream memproses lebih banyak file log CDC secara bersamaan.

Karakteristik utama parameter ini meliputi:

  • Nilai defaultnya adalah 5. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Parameter ini hanya berlaku untuk sumber Oracle dan MySQL.
  • Parameter ini hanya berdampak jika ada lebih banyak file log database yang tersedia untuk dibaca daripada tugas CDC. Setelan file log dikontrol oleh parameter konfigurasi database sumber: ukuran file log maksimum dan interval waktu rotasi log maksimum. Untuk mengetahui informasi selengkapnya tentang parameter ini, lihat dokumentasi Oracle dan MySQL.
  • Jika Anda mengurangi jumlah tugas CDC serentak, Datastream mungkin tertinggal dari log database, yang pada akhirnya dapat menyebabkan hilangnya posisi log dan kegagalan streaming.

Jumlah maksimum tugas pengisian ulang

Parameter maxConcurrentBackfillTasks memungkinkan Anda mengontrol jumlah tugas pengisian ulang yang dapat dijalankan oleh aliran data secara paralel. Anda dapat menaikkan atau menurunkan nilai ini untuk mengontrol throughput pengisian ulang.

Karakteristik utama parameter ini meliputi:

  • Nilai defaultnya adalah 15. Anda dapat menetapkan parameter ini ke nilai apa pun antara 1 dan 50, inklusif.
  • Ada risiko tinggi yang terkait dengan peningkatan konkurensi pengisian ulang, karena tugas pengisian ulang memiliki dampak signifikan pada performa database. Setiap tugas pengisian ulang menjalankan kueri SELECT tanpa filter pada tabel, dan untuk tabel besar, kueri tersebut menampilkan jumlah baris yang besar.
  • Jika Anda mengurangi konkurensi pengisian ulang, hal ini tidak akan berdampak negatif pada database sumber, kecuali pengisian ulang memerlukan waktu lebih lama untuk diselesaikan.

Mengubah nilai kontrol konkurensi

Anda dapat mengubah nilai parameter kontrol konkurensi menggunakan Datastream API.

Langkah berikutnya