Controlli della concorrenza dello stream

Questa pagina fornisce una panoramica dei controlli di concorrenza dei flussi, ad esempio il numero massimo di attività di acquisizione delle modifiche ai dati (CDC) e di backfill simultanee. Puoi controllare il rendimento dello stream aumentando o diminuendo i valori di questi parametri.

Panoramica dei controlli della concorrenza

Utilizzando i controlli di concorrenza, puoi ottenere un backfill e una CDC più rapidi oppure bilanciare il carico sul database di origine. Se hai bisogno di velocità effettive più elevate e puoi permetterti un carico maggiore sul database, puoi aumentare la concorrenza delle attività CDC e di backfill. Al contrario, se il tuo database sta subendo un carico elevato e vuoi proteggerlo dal sovraccarico, puoi ridurre i valori di questi parametri.

Numero massimo di attività CDC

Il parametro maxConcurrentCdcTasks ti consente di controllare il numero di attività CDC che uno stream esegue in parallelo. Per estendere la velocità effettiva di CDC, aumenta il valore di questo parametro e consenti a Datastream di elaborare più file di log CDC contemporaneamente.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 5. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • Il parametro è applicabile solo alle origini Oracle e MySQL.
  • Il parametro ha un impatto solo se sono disponibili più file di log del database da leggere rispetto alle attività CDC. Le impostazioni dei file di log sono controllate dai parametri di configurazione del database di origine: la dimensione massima del file di log e l'intervallo di tempo massimo di rotazione dei log. Per ulteriori informazioni su questi parametri, consulta la documentazione di Oracle e MySQL.
  • Se diminuisci il numero di attività CDC simultanee, Datastream potrebbe rimanere indietro rispetto ai log del database, il che potrebbe alla fine portare alla perdita della posizione del log e all'errore dello stream.

Numero massimo di attività di backfill

Il parametro maxConcurrentBackfillTasks consente di controllare il numero di attività di backfill che un flusso può eseguire in parallelo. Puoi aumentare o diminuire questo valore per controllare il throughput di backfill.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 15. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • L'aumento della concorrenza del backfill comporta un rischio elevato, perché le attività di backfill hanno un impatto significativo sulle prestazioni del database. Ogni attività di backfill esegue una query SELECT non filtrata su una tabella e, per le tabelle di grandi dimensioni, queste query restituiscono un numero elevato di righe.
  • Se diminuisci la concorrenza del backfill, non si verifica alcun impatto negativo sul database di origine, tranne che il backfill impiega più tempo per essere completato.

Modificare i valori dei controlli di concorrenza

Puoi modificare i valori dei parametri di controllo della concorrenza utilizzando l'API Datastream.

Passaggi successivi