Trasmetti dati in streaming dai database SQL Server

Questa pagina contiene informazioni su:

  • Il comportamento di Datastream nella gestione dei dati estratti da un database di origine SQL Server.
  • I metodi di Change Data Capture (CDC) supportati da Datastream.
  • Le versioni dei database SQL Server supportate da Datastream.
  • Le limitazioni note per l'utilizzo del database SQL Server come origine.

Comportamento

Datastream tiene traccia delle modifiche data manipulation language (DML) utilizzando uno dei seguenti metodi CDC:

Modifica tabelle

Il metodo CDC delle tabelle delle modifiche consente agli utenti di conservare i log per un periodo di tempo più breve e quindi di risparmiare spazio di archiviazione, ma supporta un throughput inferiore rispetto al metodo dei log delle transazioni. Il metodo ha meno limitazioni rispetto ai log delle transazioni. Ad esempio, elimina il rischio di troncamento dei log che porta a un errore permanente degli stream e supporta la replica delle tabelle criptate. Per ulteriori informazioni, consulta Limitazioni note.

Quando utilizzi questo metodo CDC, le modifiche all'origine vengono monitorate utilizzando tabelle delle modifiche dedicate. I log delle transazioni vengono comunque utilizzati, ma in misura limitata, e non è necessario conservarli per periodi di tempo più lunghi. Quando gli eventi DML vengono applicati alle tabelle di origine, le modifiche vengono replicate nelle tabelle delle modifiche corrispondenti. Le tabelle delle modifiche hanno la stessa struttura delle tabelle di origine, ma con colonne aggiuntive per includere i metadati delle modifiche. Alle tabelle delle modifiche vengono aggiunte solo le transazioni di cui è stato eseguito il commit, insieme al numero di sequenza del log (LSN) dell'operazione di commit.

Come Datastream gestisce le modifiche DDL allo schema di origine

Quando utilizzi il metodo CDC delle tabelle delle modifiche, vengono create istanze di acquisizione per ogni tabella delle modifiche. Ogni istanza di acquisizione è associata a un elenco di colonne che acquisisce e monitora. Per impostazione predefinita, quando si verifica una modifica del linguaggio di definizione dei dati (DDL) nell'origine dopo la creazione dell'istanza di acquisizione, l'istanza ignora la modifica. Tuttavia, puoi configurare lo stream SQL Server in modo da replicare le colonne aggiunte allo schema di origine dopo la creazione dello stream e dell'istanza di acquisizione.

Prima di iniziare
  • Assicurati che all'utente di Datastream sia assegnata l'autorizzazione db_owner.

Replicare le colonne aggiunte allo schema di origine

Per fare in modo che Datastream supporti la replica delle colonne aggiunte allo schema di origine dopo la creazione di uno stream, devi aggiungere l'etichetta enable_ddl_support_for_ct allo stream:

  1. Vai alla pagina Stream nella Google Cloud console.

    Vai alla pagina Stream

  2. Fai clic sullo stream SQL Server che vuoi modificare.

  3. Nella pagina Dettagli stream, fai clic su Metti in pausa.

  4. Fai clic su Modifica > Modifica impostazioni stream.

  5. Fai clic su Aggiungi etichetta.

  6. Nel campo Chiave, digita enable_ddl_support_for_ct.

  7. Nel campo Valore, digita true.

  8. Fai clic su Salva.

  9. Fai clic su Avvia per riprendere lo stream.

Datastream checks the cdc.ddl_history tabella per verificare la presenza di nuovi DDL ogni cinque minuti. Se a una tabella inclusa nella configurazione dello stream viene aggiunta una nuova colonna, Datastream verifica se la tabella ha due istanze di acquisizione:

  • In caso contrario, Datastream crea una nuova istanza di acquisizione, legge i dati dell'istanza di acquisizione originale fino al momento in cui si è verificato il DDL e poi inizia a leggere dalla nuova istanza di acquisizione.

  • In caso contrario, viene aggiunta una voce di log che indica che la modifica DDL non può essere gestita perché è stato raggiunto il numero massimo di istanze di acquisizione.

Log delle transazioni

Quando utilizzi questo metodo CDC, Datastream legge le modifiche nell'origine direttamente dai log delle transazioni. Questo metodo richiede meno risorse e consente un recupero dei dati più rapido, ma presenta più limitazioni.

Per evitare la perdita di dati, è importante che i log non vengano troncati prima che Datastream li legga. D'altra parte, se conservi i file di log per troppo tempo, occupano spazio di archiviazione, il che potrebbe causare l'inserimento dell'istanza del database in modalità di sola lettura.

Per assicurarti che il lettore CDC abbia tempo sufficiente per leggere i log e consentire il troncamento dei log per liberare spazio di archiviazione, devi applicare passaggi di configurazione aggiuntivi, ad esempio modificare gli intervalli di polling e configurare una protezione dal troncamento. Questi passaggi forniscono un ulteriore livello di protezione per garantire che Datastream possa leggere i dati anche in caso di tempi di inattività sul lato Datastream o di un problema di connettività tra il database di origine e Datastream.

Per istruzioni dettagliate su come applicare queste misure aggiuntive, consulta la pagina Configurare un database di origine SQL Server e seleziona il tipo di database.

Versioni

Datastream supporta le seguenti versioni ed edizioni dei database SQL Server:

  • Autogestito (on-premise o ospitato nel cloud) utilizzando le seguenti versioni:
    • Enterprise: 2008 e versioni successive
    • Standard: 2016 SP1 e versioni successive
    • Developer: 2008 e versioni successive
  • Amazon RDS per SQL Server

  • Database SQL di Azure (livello S3 e superiori).

  • Cloud SQL per SQL Server

Datastream non supporta le seguenti versioni dei database SQL Server:

  • SQL Server Standard Edition dalla versione 2008 alla 2014
  • SQL Server Express
  • SQL Server Web

Limitazioni note

Le limitazioni note per l'utilizzo del database SQL Server come origine includono:

  • Gli stream sono limitati a 10.000 tabelle.
  • Non è possibile eseguire il backfill di una tabella con più di 500 milioni di righe, a meno che non siano soddisfatte le seguenti condizioni:
    1. La tabella ha un indice univoco.
    2. Nessuna delle colonne dell'indice può ammettere valori nulli.
    3. Tutte le colonne dell'indice sono incluse nello stream.
  • I database con durabilità ritardata o recupero accelerato del database (ADR) abilitato non sono supportati.
  • Lo streaming delle modifiche alle tabelle di sistema non è supportato.
  • L'autenticazione di Windows Active Directory (AD) non è supportata.

  • Datastream supporta tutte le regole di confronto di SQL Server, ad eccezione di quelle con la tabella codici 0. Per controllare la tabella codici di una regola di confronto specifica, esegui la seguente query sull'istanza SQL Server:

    SELECT *, CAST(COLLATIONPROPERTY(name, 'CodePage') AS INT) FROM sys.fn_helpcollations() WHERE name = COLLATION_NAME;

  • I seguenti tipi di dati non sono supportati e non vengono replicati nella destinazione:

    • SQL_VARIANT
    • HIERARCHYID
    • GEOMETRY
    • GEOGRAPHY

  • Datastream replica i tipi di dati definiti dall'utente, ma nella destinazione viene memorizzato il tipo di dati di base da cui derivi il tipo definito dall'utente. Ad esempio, se definisci un tipo di dati USERNAME basato sul tipo di dati VARCHAR(50), i dati vengono archiviati nella destinazione come VARCHAR(50).

  • Datastream non supporta CDC per le colonne di oggetti di grandi dimensioni (TEXT, NTEXT, XML, IMAGE) e le colonne di lunghezza variabile massima (VARCHAR(MAX), VARBINARY(MAX), NVARCHAR(MAX)) nelle tabelle senza un indice univoco.

    Se le colonne di oggetti di grandi dimensioni non sono incluse nello stream, CDC è supportato.

  • La replica delle seguenti modifiche dello schema di origine non è supportata quando utilizzi il metodo CDC delle tabelle delle modifiche e potrebbe causare il danneggiamento dei dati o l'impossibilità di elaborare gli eventi:

    • Eliminazione di colonne: i dati in queste colonne vengono sostituiti con valori NULL.
    • Ridenominazione delle colonne: non supportata per SQL Server quando CDC è abilitato.

    • Modifica dei tipi di dati: il job di acquisizione CDC di SQL Server propaga solo le seguenti modifiche del tipo di dati:

      • Modifica della lunghezza massima delle stringhe: ad esempio, modifica del tipo di dati VARCHAR(50) in VARCHAR(100). La colonna STRING di BigQuery non ha una lunghezza fissa e accetta la stringa più lunga.
      • Aumento dell'intervallo di valori interi: ad esempio, modifica del INT tipo di dati in BIGINT. Il tipo di dati INT64 di BigQuery accetta il nuovo tipo senza richiedere una modifica dello schema.
      • Modifica della precisione e della scala per i valori numerici: ad esempio, modifica del tipo di dati DECIMAL(10, 2) in DECIMAL(18, 4). Il tipo NUMERIC di BigQuery ha una precisione fissa elevata (38) e una scala (9) e questa modifica è supportata.

      Per altre modifiche del tipo di dati, Datastream tenta di inserire i dati nella destinazione e genera un errore se i dati vengono rifiutati.

  • Datastream non supporta la replica delle tabelle che includono colonne con mascheramento dei dati. I dati vengono replicati senza mascheramento.

  • Datastream non supporta la replica delle modifiche applicate al database utilizzando il pacchetto Data Tier Application Package (DACPAC).

  • Datastream non replica le modifiche apportate utilizzando le istruzioni WRITETEXT o UPDATETEXT.

  • Se utilizzi l'etichetta enable_ddl_support_for_ct per replicare le colonne aggiunte allo schema di origine, non puoi avere più stream collegati alla stessa tabella di origine SQL Server. Poiché SQL Server supporta un massimo di due istanze di acquisizione per tabella, le modifiche dello schema potrebbero causare condizioni di competizione in cui Datastream tenta di creare istanze di acquisizione e ciò potrebbe causare l'errore degli stream.

  • Datastream non supporta la replica delle colonne calcolate a meno che la colonna non sia contrassegnata con PERSISTED.

  • Datastream non supporta i tipi di compressione PAGE, COLUMNSTORE o COLUMNSTORE ARCHIVE.

Limitazioni aggiuntive quando utilizzi il metodo dei log delle transazioni

Se utilizzi il metodo CDC dei log delle transazioni, si applicano le seguenti limitazioni aggiuntive:

  • La crittografia TDE (Transparent Data Encryption) non è supportata.
  • La crittografia a livello di colonna non è supportata. I dati in queste colonne vengono sostituiti con valori NULL.
  • Quando utilizzi il metodo CDC dei log delle transazioni, Datastream non supporta la replica delle colonne aggiunte allo schema di origine dopo la creazione di uno stream. Le nuove colonne non vengono replicate nella destinazione.
  • Datastream non supporta l'istruzione ROLLBACK TO SAVEPOINT. Questi eventi di rollback vengono ignorati e non vengono replicati nella destinazione.
  • Datastream non supporta CDC per le righe superiori a 8 KB nei seguenti tipi di tabelle:
    • Tabelle senza un indice univoco
    • Tabelle contenenti solo un indice univoco non cluster con una o più colonne di lunghezza variabile (VARCHAR, VARBINARY, NVARCHAR)

  • Datastream non supporta CDC per le colonne di oggetti di grandi dimensioni (TEXT, NTEXT, XML, IMAGE) nei seguenti tipi di tabelle:

    • Tabelle senza un indice univoco
    • Tabelle contenenti solo un indice univoco non cluster con una o più colonne di lunghezza variabile (VARCHAR, VARBINARY, NVARCHAR)

    Se le colonne di oggetti di grandi dimensioni non sono incluse nello stream, CDC è supportato per queste tabelle solo se hanno indici validi.

Passaggi successivi