Un flusso in Datastream ti consente di replicare i dati e le modifiche allo schema da un'origine dati in BigQuery, nelle tabelle Apache Iceberg o in un bucket Cloud Storage. Nella procedura guidata della console Google Cloud , seleziona i profili di connessione e scegli gli schemi, le tabelle o gli oggetti da replicare. Puoi anche configurare il backfill storico insieme alla replica in corso.
Prima di avviare la replica, puoi convalidare lo stream per verificare le impostazioni di origine, confermare la connessione di rete alla destinazione e controllare la configurazione end-to-end.
Prima di iniziare
- Assicurati di aver configurato il database di origine per la replica. Per informazioni sui passaggi richiesti per ogni tipo di origine supportato, consulta Configura le origini.
- Scopri quali passaggi potrebbero essere necessari per configurare la destinazione selezionata. Per saperne di più, consulta Configura le destinazioni.
Definisci le impostazioni per lo stream
Vai alla pagina Stream nella console Google Cloud .
Fai clic su CREA STREAM.
Utilizza la tabella seguente per compilare i campi della sezione Definisci i dettagli dello stream della pagina Crea stream:
Campo Descrizione Nome flusso Inserisci il nome visualizzato dello stream. ID stream Datastream compila questo campo automaticamente in base al nome dello stream inserito. Puoi mantenere l'ID generato automaticamente o modificarlo. Regione Seleziona la regione in cui è archiviato lo stream. Gli stream, come tutte le risorse, vengono salvati in una regione. La selezione della regione non influisce sulla possibilità di connettere lo stream al database di origine o alla destinazione, ma può influire sulla disponibilità se la regione subisce un tempo di inattività. Per ottimizzare costi e prestazioni, ti consigliamo di mantenere tutte le risorse per lo stream nella stessa regione dei dati di origine. Tipo di origine Seleziona il tipo di profilo specificato durante la creazione di un profilo di connessione per l'origine. In alternativa, se non hai creato un profilo di connessione per il database di origine, puoi crearne uno ora.
Tipo di destinazione Seleziona il tipo di profilo specificato durante la creazione di un profilo di connessione per una destinazione BigQuery o Cloud Storage. In alternativa, se non hai creato un profilo di connessione per la destinazione, puoi crearne uno ora. Crittografia Per impostazione predefinita, i dati sono criptati con una chiave gestita da Google Cloud. Se vuoi gestire la tua crittografia, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK):
- Seleziona la casella di controllo Chiave Cloud KMS.
- Dal menu a discesa Tipo di chiave, seleziona Cloud KMS e poi seleziona la tua CMEK.
Se non vedi la tua chiave, fai clic su INSERISCI IL NOME RISORSA DELLA CHIAVE per fornire il nome risorsa della chiave che vuoi utilizzare. Ad esempio, puoi inserire
projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-keynel campo Nome risorsa della chiave e poi fare clic su SALVA.Facoltativamente, utilizza le etichette per organizzare le risorse Datastream.
- Per creare un'etichetta, fai clic su AGGIUNGI ETICHETTA, quindi inserisci la coppia chiave-valore per l'etichetta.
- Per rimuovere l'etichetta, fai clic sull'icona del cestino a destra della riga che contiene l'etichetta.
Se vuoi, aggiungi policy di avviso per il tuo stream. Le policy di avviso definiscono quando e come vuoi ricevere notifiche sugli errori degli stream.
- Per creare una criterio di avviso, fai clic su Aggiungi policy di avviso.
- In Cloud Monitoring viene visualizzata la pagina Crea policy di avviso. In questa pagina definisci la criterio di avviso in caso di errore dello stream.
Per saperne di più sulle policy di avviso, consulta Gestione delle policy di avviso basate su metriche.
Esamina i prerequisiti richiesti che vengono generati automaticamente per riflettere il modo in cui l'ambiente deve essere preparato per un flusso. Questi prerequisiti possono includere la configurazione del database di origine e la modalità di connessione alla destinazione. È preferibile completare questi prerequisiti in questo passaggio, ma puoi farlo in qualsiasi momento prima di testare o avviare lo stream. Per saperne di più su questi prerequisiti, consulta Origini.
Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di database di origine.
Specifica le informazioni sul profilo di connessione di origine
Se hai creato un profilo di connessione di origine, selezionalo dall'elenco dei profili di connessione.
Se non hai creato un profilo di connessione di origine, creane uno facendo clic su CREA PROFILO DI CONNESSIONE in fondo all'elenco a discesa, quindi segui gli stessi passaggi descritti in Crea profili di connessione.
Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.
Se il test non va a buon fine, viene visualizzato il problema associato al profilo di connessione. Per i passaggi per la risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema, quindi ripeti il test.
Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.
Configura le informazioni sul database di origine per lo stream
Configura un database di origine PostgreSQL
- Definisci le proprietà di replica per il database di origine PostgreSQL. Nella sezione Proprietà di replica, specifica le seguenti proprietà:
- Nel campo Nome slot di replica, inserisci il nome dello slot che hai creato appositamente per questo stream. Il server del database utilizza questo slot per inviare eventi a Datastream.
- Nel campo Nome pubblicazione, inserisci il nome della pubblicazione che hai creato nel database. Una pubblicazione è un gruppo di tutte le tabelle da cui vuoi replicare le modifiche utilizzando questo stream.
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
- Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato, perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Se la destinazione è BigQuery, puoi configurare il partizionamento e il clustering per le tabelle:
- Per ogni tabella per cui vuoi impostare il partizionamento o il clustering, fai clic su Seleziona colonne.
- Per configurare il partizionamento, nella sezione Partizionamento, seleziona una
delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, alle tabelle non viene applicato alcun partizionamento.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
- Partizionamento per campo: quando selezioni questa opzione, devi selezionare la colonna di origine in base alla quale vuoi partizionare la tabella e il tipo di partizionamento. È possibile selezionare solo le colonne di origine con tipi di dati supportati. Per informazioni sui tipi di dati di origine supportati e sui tipi di partizionamento disponibili, consulta Configura il partizionamento e il clustering per una destinazione BigQuery.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questa tabella. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Per configurare il clustering, nella sezione Clustering, seleziona i campi in base ai quali vuoi raggruppare la tabella. Puoi selezionare fino a quattro campi. L'ordine in cui aggiungi i campi di clustering determina l'ordinamento dei dati. Se non specifichi le impostazioni di clustering per una tabella, Datastream utilizza per impostazione predefinita fino a quattro chiavi primarie della tabella di origine come chiavi di clustering in BigQuery.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Configura il partizionamento e il clustering.
- Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire a Datastream di estrarre i dati. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un database di origine MySQL
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
- Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato, perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Se la destinazione è BigQuery, puoi configurare il partizionamento e il clustering per le tabelle:
- Per ogni tabella per cui vuoi impostare il partizionamento o il clustering, fai clic su Seleziona colonne.
- Per configurare il partizionamento, nella sezione Partizionamento, seleziona una
delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, alle tabelle non viene applicato alcun partizionamento.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
- Partizionamento per campo: se selezioni questa opzione, devi selezionare la colonna di origine in base alla quale vuoi partizionare la tabella e il tipo di partizionamento. È possibile selezionare solo le colonne di origine con tipi di dati supportati. Per informazioni sui tipi di dati di origine supportati e sui tipi di partizionamento disponibili, consulta Configura il partizionamento e il clustering per una destinazione BigQuery.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questa tabella. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Per configurare il clustering, nella sezione Clustering, seleziona i campi in base ai quali vuoi raggruppare la tabella. Puoi selezionare fino a quattro campi. L'ordine in cui aggiungi i campi di clustering determina l'ordinamento dei dati. Se non specifichi le impostazioni di clustering per una tabella, Datastream utilizza per impostazione predefinita fino a quattro chiavi primarie della tabella di origine come chiavi di clustering in BigQuery.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Configura il partizionamento e il clustering.
- Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire a Datastream di estrarre i dati. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Specifica il metodo CDC per lo stream:
- Replica basata su GTID (ID transazione globale): seleziona questo metodo se vuoi che Datastream supporti i failover e fornisca una replica perfetta indipendentemente dalle modifiche nel cluster di database.
- Replica basata su log binario: seleziona questo metodo per leggere e replicare le modifiche direttamente dai file di log binario di un'istanza di database selezionata. Non puoi passare da uno stream in esecuzione a un'istanza di origine o a una replica diversa utilizzando questo metodo CDC.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un database Oracle di origine
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
- Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato, perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Se la destinazione è BigQuery, puoi configurare il partizionamento e il clustering per le tabelle:
- Per ogni tabella per cui vuoi impostare il partizionamento o il clustering, fai clic su Seleziona colonne.
- Per configurare il partizionamento, nella sezione Partizionamento, seleziona una
delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, alle tabelle non viene applicato alcun partizionamento.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
- Partizionamento per campo: se selezioni questa opzione, devi selezionare la colonna di origine in base alla quale vuoi partizionare la tabella e il tipo di partizionamento. È possibile selezionare solo le colonne di origine con tipi di dati supportati. Per informazioni sui tipi di dati di origine supportati e sui tipi di partizionamento disponibili, consulta Configura il partizionamento e il clustering per una destinazione BigQuery.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questa tabella. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Per configurare il clustering, nella sezione Clustering, seleziona i campi in base ai quali vuoi raggruppare la tabella. Puoi selezionare fino a quattro campi. L'ordine in cui aggiungi i campi di clustering determina l'ordinamento dei dati. Se non specifichi le impostazioni di clustering per una tabella, Datastream utilizza per impostazione predefinita fino a quattro chiavi primarie della tabella di origine come chiavi di clustering in BigQuery.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Configura il partizionamento e il clustering.
- Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire a Datastream di estrarre i dati. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Specifica il metodo CDC per lo stream:
- LogMiner: seleziona questo metodo per eseguire query sui redo log archiviati utilizzando l'API LogMiner. LogMiner supporta la maggior parte delle opzioni disponibili per Oracle, ad esempio le opzioni di crittografia e compressione.
- Lettore binario (anteprima): seleziona questo metodo per estrarre le modifiche direttamente dai log Oracle. Ciò consente una replica più rapida di database Oracle di grandi dimensioni e una riduzione della latenza e dell'overhead. Quando selezioni questa opzione, viene visualizzato un menu a discesa aggiuntivo. Seleziona il modo in cui vuoi accedere ai file di log Oracle:
- Automatic Storage Management (ASM): seleziona questa opzione se il tuo database utilizza ASM. Assicurati di aver selezionato la casella di controllo Attiva l'accesso ad ASM per il lettore binario e di aver inserito i dettagli dell'istanza ASM nel profilo di connessione di origine.
- Directory del database: seleziona questa opzione se non utilizzi ASM per archiviare i file di log. Se selezioni le directory del database, devi fornire i nomi delle directory dei redo log e dei log archiviati.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un database di origine SQL Server
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
- Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato, perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Se la destinazione è BigQuery, puoi configurare il partizionamento e il clustering per le tabelle:
- Per ogni tabella per cui vuoi impostare il partizionamento o il clustering, fai clic su Seleziona colonne.
- Per configurare il partizionamento, nella sezione Partizionamento, seleziona una
delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, alle tabelle non viene applicato alcun partizionamento.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
- Partizionamento per campo: se selezioni questa opzione, devi selezionare la colonna di origine in base alla quale vuoi partizionare la tabella e il tipo di partizionamento. È possibile selezionare solo le colonne di origine con tipi di dati supportati. Per informazioni sui tipi di dati di origine supportati e sui tipi di partizionamento disponibili, consulta Configura il partizionamento e il clustering per una destinazione BigQuery.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questa tabella. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Per configurare il clustering, nella sezione Clustering, seleziona i campi in base ai quali vuoi raggruppare la tabella. Puoi selezionare fino a quattro campi. L'ordine in cui aggiungi i campi di clustering determina l'ordinamento dei dati. Se non specifichi le impostazioni di clustering per una tabella, Datastream utilizza per impostazione predefinita fino a quattro chiavi primarie della tabella di origine come chiavi di clustering in BigQuery.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Configura il partizionamento e il clustering.
- Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine da cui vuoi impedire a Datastream di estrarre i dati. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Specifica il metodo CDC per lo stream:
- Log delle transazioni: seleziona questo metodo per elaborare le modifiche direttamente dai log del database. Questo metodo fornisce le migliori prestazioni ed è più efficiente, ma richiede passaggi di configurazione aggiuntivi.
- Tabelle delle modifiche: seleziona questo metodo per elaborare le modifiche dalle tabelle delle modifiche dedicate. Questo metodo è più semplice da configurare e ha meno limitazioni, ma supporta una portata inferiore e genera un carico maggiore sul database rispetto al metodo dei log delle transazioni.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un'organizzazione Salesforce di origine
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare gli oggetti e i campi della tua organizzazione che vuoi che Datastream trasferisca nella destinazione.
- Se vuoi che Datastream trasferisca tutti gli oggetti, seleziona Tutti gli oggetti.
- Se vuoi che Datastream trasferisca solo oggetti specifici, seleziona Oggetti specifici, quindi seleziona le caselle di controllo degli oggetti che vuoi che Datastream estragga.
- Per fornire una definizione testuale degli oggetti che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli oggetti che vuoi che Datastream estragga. Inserisci gli oggetti come elenco separato da virgole, utilizzando il formato
[object].[field]. Se il tuo database contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre. - Definisci il valore dell'intervallo di polling in minuti. Datastream utilizza questo valore per verificare la presenza di modifiche ai dati nella tua organizzazione Salesforce. Più alto è il valore, minori saranno i costi e il carico sulla tua organizzazione. Più basso è il valore, più aggiornati sono i dati nella destinazione.
- Se la destinazione è BigQuery, puoi configurare il partizionamento e il clustering per i tuoi oggetti:
- Per ogni oggetto per cui vuoi impostare il partizionamento o il clustering, fai clic su Seleziona campi.
- Per configurare il partizionamento, nella sezione Partizionamento, seleziona una
delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, non viene applicato alcun partizionamento agli oggetti.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
- Partizionamento per campo: se selezioni questa opzione, devi selezionare il campo di origine in base al quale vuoi partizionare l'oggetto e il tipo di partizionamento. È possibile selezionare solo i campi con tipi di dati supportati. Per informazioni sui tipi di dati di origine supportati e sui tipi di partizionamento disponibili, consulta Partiziona e raggruppa in cluster le tabelle BigQuery.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questo oggetto. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Per configurare il clustering, nella sezione Clustering, seleziona i campi in base ai quali vuoi raggruppare l'oggetto. Puoi selezionare fino a quattro campi. L'ordine in cui aggiungi i campi di clustering determina l'ordinamento dei dati. Se non specifichi le impostazioni di clustering per un oggetto, Datastream utilizza per impostazione predefinita fino a quattro chiavi primarie dell'oggetto di origine come chiavi di clustering in BigQuery.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Partiziona e raggruppa in cluster le tabelle BigQuery.
- Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci gli oggetti e i campi dell'organizzazione di origine che vuoi impedire a Datastream di estrarre. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per replicare tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti nell'organizzazione di origine di cui vuoi impedire il backfill da parte di Datastream nella destinazione.
- Seleziona l'opzione Manuale per replicare solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un'istanza Salesforce Marketing Cloud di origine (anteprima)
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare gli oggetti nell'istanza che vuoi che Datastream trasferisca nella destinazione.
- Se vuoi che Datastream trasferisca tutti gli oggetti, seleziona Tutti gli oggetti.
- Se vuoi che Datastream trasferisca solo oggetti specifici, seleziona Oggetti specifici, quindi seleziona le caselle di controllo degli oggetti che vuoi che Datastream estragga.
- Se vuoi fornire una definizione testuale degli oggetti che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli oggetti che vuoi che Datastream estragga. Inserisci gli oggetti sotto forma di elenco separato da virgole. Se il tuo database contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcuni oggetti potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Definisci il valore dell'intervallo di polling in minuti. Datastream utilizza questo valore per verificare la presenza di modifiche ai dati per gli oggetti che supportano la sincronizzazione incrementale nella tua istanza di Salesforce Marketing Cloud. Puoi utilizzare un valore compreso tra
5e1440. - Definisci il valore dell'intervallo di polling per l'aggiornamento completo in minuti. Datastream utilizza questo valore per eseguire un aggiornamento completo periodico degli oggetti che non supportano la sincronizzazione incrementale, come le estensioni dati. Puoi utilizzare un valore compreso tra
60e1440. - Facoltativamente, espandi il nodo Mostra opzioni avanzate.
- Nel campo Oggetti da escludere, inserisci gli oggetti nell'istanza di origine che non vuoi che Datastream estragga. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Nella sezione Scegli la modalità di backfill per i dati storici, seleziona la modalità di backfill:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti nel database di origine di cui vuoi impedire il backfill da parte di Datastream nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un'istanza ServiceNow di origine (anteprima)
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e i campi nell'istanza ServiceNow che vuoi che Datastream trasferisca nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle, seleziona Tutti gli oggetti.
- Se vuoi che Datastream trasferisca solo tabelle specifiche, seleziona Oggetti specifici, quindi seleziona le caselle di controllo relative alle tabelle che vuoi che Datastream estragga.
- Se vuoi fornire una definizione testuale delle tabelle che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci le tabelle che vuoi che Datastream estragga. Inserisci le tabelle come elenco separato da virgole, utilizzando il formato
[table].[field]. - Definisci il valore dell'intervallo di polling in minuti. Datastream utilizza questo valore per verificare la presenza di modifiche ai dati nell'istanza ServiceNow. Più alto è il valore, minori sono il costo e il carico sull'istanza. Più basso è il valore, più aggiornati sono i dati nella destinazione.
- Facoltativamente, nel campo Oggetti da escludere, inserisci le tabelle e i campi nell'istanza di origine che vuoi impedire a Datastream di estrarre. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia degli elenchi di inclusione che di quelli di esclusione, Datastream lo esclude dal flusso.
- Facoltativamente, nella sezione Scegli la modalità di backfill per i dati storici, effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per replicare tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle nell'istanza di origine per le quali vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per replicare solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un database MongoDB di origine
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare i database e le raccolte che vuoi che Datastream trasferisca nella destinazione.
- Se vuoi che Datastream trasferisca tutte le raccolte, seleziona Tutti i database e le raccolte.
- Se vuoi che Datastream trasferisca solo raccolte specifiche, seleziona Raccolte e database specifici, quindi seleziona le caselle di controllo per le raccolte che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle raccolte che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci le raccolte che vuoi che Datastream estragga. Inserisci gli oggetti come elenco separato da virgole, utilizzando il formato
[collection].[field]. Se il tuo database contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre. - Se la destinazione è BigQuery, puoi configurare il partizionamento per le tue raccolte:
- Per ogni raccolta per cui vuoi impostare il partizionamento, fai clic su Seleziona campi.
- Nella sezione Partizionamento, seleziona una delle seguenti opzioni:
- Nessun partizionamento: se selezioni questa opzione, non viene applicato alcun partizionamento alle tue raccolte.
- Partizionamento per ora di importazione: se selezioni questa opzione, i dati vengono organizzati in partizioni basate sul tempo. Seleziona un valore dall'elenco Tipo di partizionamento per configurare la granularità del partizionamento con le opzioni disponibili: oraria, giornaliera, mensile o annuale. La granularità predefinita è Giornaliera.
Facoltativamente, seleziona l'opzione Filtro di partizionamento. Se selezioni questa opzione, è necessario un filtro di partizionamento per tutte le query per questa raccolta. Un filtro di partizionamento può ridurre i costi e migliorare le prestazioni. Per maggiori informazioni, consulta Imposta i requisiti del filtro di partizione.
- Fai clic su Salva per salvare le impostazioni.
Per saperne di più sul partizionamento e sul clustering, consulta Partiziona e raggruppa in cluster le tabelle BigQuery.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per replicare tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti nell'organizzazione di origine di cui vuoi impedire il backfill da parte di Datastream nella destinazione.
- Seleziona l'opzione Manuale per replicare solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un database Spanner di origine
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutte le tabelle e gli schemi, seleziona Tutte le tabelle di tutti gli schemi.
- Se vuoi che Datastream trasferisca solo tabelle e schemi specifici, seleziona Schemi e tabelle specifici, quindi seleziona le caselle di controllo per gli schemi e le tabelle che vuoi che Datastream estragga.
- Per fornire una definizione testuale delle tabelle e degli schemi che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli schemi e le tabelle che vuoi che Datastream estragga. Se il tuo database contiene un numero elevato di tabelle e schemi, ti consigliamo di utilizzare l'opzione Personalizzato, perché alcune tabelle e alcuni schemi potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Nel campo Nome stream di modifiche, inserisci il nome dello stream di modifiche Spanner che hai creato. Datastream legge questo stream di modifiche in tempo reale per replicare le modifiche dal database di origine.
- Facoltativamente, nel campo Oggetti da escludere, inserisci le tabelle e gli schemi nel database di origine che vuoi impedire a Datastream di estrarre. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Nella sezione Scegli la modalità di backfill per i dati storici, seleziona la modalità di backfill:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle e gli schemi nel database di origine per cui vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Facoltativamente, specifica il numero massimo di attività CDC e di backfill simultanee nei rispettivi campi.
- Dal menu a discesa Priorità RPC, seleziona la priorità della chiamata di procedura remota per le tue richieste Spanner:
- Bassa
- Media
- Alta
- Nel campo Ruolo FGAC, specifica il ruolo di controllo dell'accesso granulare dell'accesso per le tue richieste Spanner.
- Seleziona la casella di controllo Data Boost per il backfill abilitato se vuoi utilizzare Data Boost per i job di backfill. Per utilizzare questa opzione, Data Boost deve essere abilitato per il tuo database. Per saperne di più, consulta la panoramica di Data Boost.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un ambiente Dataverse di origine (anteprima)
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare gli oggetti nel tuo ambiente Dataverse che Datastream può trasferire nella destinazione.
- Se vuoi che Datastream trasferisca tutti gli oggetti standard, seleziona Tutti gli oggetti.
- Se vuoi che Datastream trasferisca solo oggetti standard specifici, seleziona Oggetti specifici, quindi seleziona le caselle di controllo degli oggetti che vuoi che Datastream estragga.
- Per fornire una definizione testuale degli oggetti che vuoi che Datastream trasferisca, seleziona Personalizzato e poi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli oggetti che vuoi che Datastream estragga. Inserisci gli oggetti come elenco separato da virgole, utilizzando il formato
[OBJECT_NAME]. I caratteri jolly non sono supportati. - Nella sezione Definisci l'intervallo di polling, definisci la frequenza con cui Datastream deve verificare la presenza di modifiche ai dati di Dataverse. Valuta la possibilità di bilanciare le esigenze di dati quasi in tempo reale con un utilizzo efficiente dell'API per ridurre al minimo i costi ed evitare problemi di prestazioni. Il valore inserito deve essere compreso tra
5e1440minuti. - Facoltativamente, espandi il nodo Seleziona gli oggetti da escludere. Nel campo Oggetti da escludere, inserisci gli oggetti nell'ambiente Dataverse di origine che vuoi impedire a Datastream di estrarre. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Facoltativamente, espandi il nodo Scegli la modalità di backfill per i dati storici e poi effettua una delle seguenti selezioni:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci le tabelle nell'ambiente Dataverse di origine di cui vuoi impedire il backfill da parte di Datastream nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Configura un'istanza Workday di origine (anteprima)
- Nella sezione Seleziona gli oggetti da includere, utilizza il menu a discesa Oggetti da includere per specificare gli oggetti nell'istanza che vuoi che Datastream trasferisca nella destinazione.
- Se vuoi che Datastream trasferisca tutti gli oggetti, seleziona Tutti gli oggetti.
- Se vuoi che Datastream trasferisca solo oggetti specifici, seleziona Oggetti specifici, quindi seleziona le caselle di controllo degli oggetti che vuoi che Datastream estragga. Se vuoi includere solo colonne specifiche per un oggetto, fai clic su Configura le impostazioni accanto all'oggetto. Le colonne per le quali deselezioni le caselle di controllo vengono escluse dal flusso.
- Se vuoi fornire una definizione testuale degli oggetti che vuoi che Datastream trasferisca, seleziona Personalizzato, quindi, nel campo Criteri di corrispondenza degli oggetti, inserisci gli oggetti che vuoi che Datastream estragga. Inserisci gli oggetti sotto forma di elenco separato da virgole. Se l'istanza contiene un numero elevato di oggetti, ti consigliamo di utilizzare l'opzione Personalizzato perché alcuni oggetti potrebbero non essere inclusi nell'elenco degli oggetti da estrarre.
- Definisci il valore dell'intervallo di polling in minuti. Datastream utilizza questo valore per verificare la presenza di modifiche ai dati nell'istanza Workday. Puoi utilizzare un valore compreso tra
5e1440. - Definisci il valore dell'intervallo di polling per l'aggiornamento completo in minuti. Datastream utilizza questo valore per eseguire un aggiornamento completo periodico degli oggetti che non supportano la sincronizzazione incrementale, come le estensioni dati. Puoi utilizzare un valore compreso tra
60e1440minuti. - Facoltativamente, espandi il nodo Mostra opzioni avanzate.
- Nel campo Oggetti da escludere, inserisci gli oggetti nell'istanza di origine che non vuoi che Datastream estragga. L'elenco Oggetti da escludere ha la precedenza sull'elenco Oggetti da includere. Se un oggetto soddisfa i criteri sia nell'elenco di inclusione sia in quello di esclusione, l'oggetto viene escluso dallo stream.
- Nella sezione Scegli la modalità di backfill per i dati storici, seleziona la modalità di backfill:
- Seleziona l'opzione Automatico per trasmettere in streaming tutti i dati esistenti, oltre alle modifiche ai dati, dall'origine alla destinazione. Nel campo Oggetti esclusi dal backfill automatico, inserisci gli oggetti nell'istanza di origine per i quali vuoi impedire a Datastream di eseguire il backfill nella destinazione.
- Seleziona l'opzione Manuale per trasmettere in streaming solo le modifiche ai dati nella destinazione.
- Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci il profilo di connessione della pagina Crea stream per il tipo di destinazione.
Seleziona un profilo di connessione di destinazione
Se hai creato un profilo di connessione di destinazione, selezionalo dall'elenco dei profili di connessione.
Se non hai creato un profilo di connessione di destinazione, creane uno facendo clic su CREA PROFILO DI CONNESSIONE in fondo all'elenco a discesa, quindi segui gli stessi passaggi descritti in Crea profili di connessione.
Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.
Configura le informazioni sulla destinazione dello stream
Questa sezione descrive le informazioni che devi fornire per configurare la destinazione BigQuery o Cloud Storage.
Destinazione BigQuery
Nella sezione Specifica come Datastream deve inserire flussi in un set di dati BigQuery, seleziona una delle seguenti opzioni dal menu a discesa Raggruppamento di schemi:
Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.
Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.
Inoltre, se selezioni l'opzione Set di dati per ogni schema, devi fornire quanto segue:
- Nella sezione Tipo di località, specifica dove vuoi archiviare i dati in BigQuery. Seleziona Regione per specificare una singola posizione geografica o Multiregione per specificare un'area più ampia che contiene due o più regioni. Se la tua priorità è ottimizzare i costi e le prestazioni, seleziona Regione e mantieni i set di dati insieme ad altre risorse Google Cloud che gestisci. Se vuoi ottenere limiti di quota più elevati, seleziona Multiregione per consentire a BigQuery di utilizzare più regioni all'interno di un gruppo. Quando selezioni Regione, il campo viene impostato per impostazione predefinita sulla regione selezionata per lo stream.
- (Facoltativo) Nel campo Prefisso set di dati, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama
<mySchema>e definisci il prefisso del set di dati come<myPrefix>, Datastream crea un set di dati denominato<myPrefix><mySchema>. - Espandi la sezione Mostra opzioni di crittografia avanzate.
Specifica come vuoi che i tuoi dati vengano criptati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.
Un unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente che specifichi. Ogni tabella creata da Datastream viene denominata utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un trattino basso (ad esempio,
). I set di dati disponibili sono raggruppati per regione. Puoi anche creare un nuovo set di dati.<mySchemaName>_<myTableName>
Specifica la modalità di scrittura dei flussi. Seleziona la modalità di scrittura per definire il modo in cui i dati vengono scritti ed elaborati in BigQuery:
- Unisci: seleziona questa opzione se vuoi che i dati vengano sincronizzati con l'origine.
- Solo aggiunta: seleziona questa opzione se vuoi conservare tutti i dati storici per gli eventi di modifica.
Specifica il limite di inattività dei dati. Disponibile solo quando nel passaggio precedente è selezionata la modalità Unisci. Seleziona un limite per bilanciare le prestazioni delle query BigQuery e il relativo costo rispetto all'aggiornamento dei dati. BigQuery applica le modifiche in background su base continuativa o al momento dell'esecuzione delle query, secondo il limite di obsolescenza. Una obsolescenza inferiore (dati più aggiornati) potrebbe aumentare i costi di elaborazione di BigQuery.
Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.
Destinazione delle tabelle Apache Iceberg
Nella sezione Specifica come Datastream deve inserire flussi in un set di dati BigQuery, seleziona il modo in cui Datastream deve creare nuovi schemi e tabelle dal menu a discesa Raggruppamento di schemi:
Set di dati per ogni schema: Datastream crea un set di dati BigQuery per ogni schema di origine, in base al nome dello schema.
Se selezioni questa opzione, per ogni schema nel database di origine, Datastream crea un set di dati nel progetto che contiene lo stream.
Inoltre, se selezioni l'opzione Set di dati per ogni schema, devi fornire quanto segue:
- Nella sezione Tipo di località, specifica dove vuoi archiviare i dati in BigQuery. Seleziona Regione per specificare una singola posizione geografica o Multiregione per specificare un'area più ampia che contiene due o più regioni. Se la tua priorità è ottimizzare i costi e le prestazioni, seleziona Regione e mantieni i set di dati insieme ad altre risorse Google Cloud che gestisci. Se vuoi ottenere limiti di quota più elevati, seleziona Multiregione per consentire a BigQuery di utilizzare più regioni all'interno di un gruppo. Quando selezioni Regione, il campo viene impostato per impostazione predefinita sulla regione selezionata per lo stream.
- (Facoltativo) Nel campo Prefisso set di dati, definisci un prefisso per il set di dati creato dallo stream. La stringa specificata viene aggiunta al nome dello schema di origine. Ad esempio, se lo schema si chiama
<mySchema>e definisci il prefisso del set di dati come<myPrefix>, Datastream crea un set di dati denominato<myPrefix><mySchema>. - Espandi la sezione Mostra opzioni di crittografia avanzate.
Specifica come vuoi che i tuoi dati vengano criptati in BigQuery selezionando una chiave di crittografia gestita da Google o dal cliente.
Un unico set di dati per tutti gli schemi: Datastream crea tutte le tabelle all'interno del set di dati BigQuery esistente che specifichi. Ogni tabella creata da Datastream viene denominata utilizzando una combinazione del nome dello schema di origine e del nome della tabella, separati da un trattino basso (ad esempio,
). I set di dati disponibili sono raggruppati per regione. Puoi anche creare un nuovo set di dati.<mySchemaName>_<myTableName>
Nella sezione Definisci la connessione Datastream alle tabelle Apache Iceberg, fornisci le seguenti informazioni:
Dal menu a discesa ID connessione, seleziona l'identificatore della connessione BigQuery che hai creato e che vuoi utilizzare per il tuo stream. Per informazioni sulla creazione di una connessione alle risorse Cloud in BigQuery, consulta Configura le tabelle Apache Iceberg in BigQuery.
Inserisci o seleziona l'indirizzo URI del bucket che hai creato in Cloud Storage. Per informazioni sulla creazione di un bucket Cloud Storage, consulta Crea un bucket.
Esamina il Formato file e il Formato tabella. Datastream supporta il formato file Parquet e il formato tabella Iceberg.
Controlla la modalità di scrittura dei flussi. Datastream supporta solo la modalità di scrittura Solo aggiunta durante lo streaming verso le tabelle Apache Iceberg.
Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.
Destinazione di Cloud Storage
Facoltativamente, nel campo Prefisso percorso stream, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database di origine.
Ad esempio, se vuoi che Datastream trasferisca i dati dal database di origine alla cartella
/root/examplenel bucket di destinazione, inserisci/root/examplenel campo Prefisso percorso stream.Nel campo Formato di output, scegli il formato dei file scritti in Cloud Storage.
Facoltativo. Se selezioni il formato JSON, vengono visualizzate due caselle di controllo:
- Includi un file di schema Unified Types nel percorso file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file di schema Avro. Il file dello schema ha lo stesso nome del file di dati, con l'estensione
.schema. Se non selezioni questa casella di controllo, Datastream scrive solo il file di dati JSON in Cloud Storage. Per impostazione predefinita, questa casella di controllo non è selezionata. - Abilita compressione gzip: se selezioni questa casella di controllo, Datastream utilizza l'utilità
gzipper comprimere i file che scrive in Cloud Storage. Se non selezioni questa casella di controllo, Datastream scrive i file in Cloud Storage senza comprimerli. Per impostazione predefinita, questa casella di controllo è selezionata.
- Includi un file di schema Unified Types nel percorso file: se selezioni questa casella di controllo, Datastream scrive due file in Cloud Storage: un file di dati JSON e un file di schema Avro. Il file dello schema ha lo stesso nome del file di dati, con l'estensione
Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.
Crea lo stream
- Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione che lo stream utilizzerà per trasferire i dati da un database di origine a una destinazione.
Fai clic su ESEGUI CONVALIDA per convalidare lo stream. Convalidando uno stream, Datastream verifica che l'origine sia configurata correttamente, che lo stream possa connettersi sia all'origine che alla destinazione e verifica la configurazione end-to-end dello stream.
Se il database di origine è Oracle, Datastream esegue i seguenti controlli:
Controllo Descrizione Validità dell'elenco degli oggetti Datastream verifica che l'elenco di esclusione non includa l'elenco di inclusione. Connettività del tunnel SSH di forwarding Datastream verifica che sia possibile connettersi a un bastion host tramite un tunnel SSH di forwarding. Connettività al database Oracle Datastream verifica che sia possibile connettersi al database Oracle di origine. Autorizzazioni utente Oracle Datastream verifica che l'utente che utilizza per connettersi al database di origine disponga di tutte le autorizzazioni necessarie per recuperare schemi, tabelle e dati dal database in modo che Datastream possa trasmettere queste informazioni alla destinazione. Configurazione della modalità di logging Datastream verifica che la modalità di logging per il database Oracle sia impostata su ARCHIVELOG. Configurazione del logging supplementare Datastream verifica che il logging supplementare sia attivato per le tabelle del database di cui viene eseguito lo streaming dall'origine alla destinazione. Configurazione CDC di Oracle Datastream verifica che il metodo CDC selezionato sia conforme alla configurazione del database. Configurazione dei file di log dell'archivio Datastream verifica che il logging di archiviazione sia configurato nell'origine e che i file di log di archiviazione siano presenti. Autorizzazioni di Cloud Storage (per le destinazioni Cloud Storage) Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage. Se il database di origine è MySQL, Datastream esegue i seguenti controlli:
Controllo Descrizione Autorizzazioni di replica Datastream verifica di disporre delle autorizzazioni per replicare un database MySQL. Versione database Datastream verifica che la versione del database MySQL sia supportata. Per informazioni sulle versioni supportate, vedi Versioni. Configurazione del formato del log binario Datastream verifica che il formato del log binario del database MySQL sia impostato su ROW.Il logging binario è attivato Datastream verifica che i file di log binari siano configurati correttamente e che siano presenti file di log. Configurazione immagine riga log binario Datastream verifica che l'immagine della riga del binlog sia impostata su FULL.Compressione binlog disabilitata Datastream verifica che la compressione binlog sia disabilitata. Aggiornamenti delle repliche o degli slave di log abilitati Datastream verifica che gli aggiornamenti della replica o dello slave dei log siano abilitati. Configurazione della modalità GTID ( applies only to GTID-based CDC)Datastream verifica che la modalità GTID sia impostata su ONse viene utilizzata la replica basata su GTID.GtidSet non contiene GTID con tag ( applies only to GTID-based CDC)Datastream verifica che il set di GTID non contenga GTID con tag. Autorizzazioni di Cloud Storage (per le destinazioni Cloud Storage) Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nel bucket di destinazione in Cloud Storage. Controllo degli avvisi Descrizione Configurazione di expire_logs_days, binlog_expire_logs_seconds o binlog retention hours Datastream verifica che expire_logs_days,binlog_expire_logs_seconds,binlog retention hourssiano configurati con valori superiori rispettivamente a7,604800e168.Configurazione del pacchetto massimo consentito Datastream verifica che il valore di max_allowed_packetsia impostato su 1 GB.Forza l'applicazione della coerenza GTID o della modalità StrictMode GTID ( applies only to GTID-based CDC)Datastream verifica che la coerenza GTID o la modalità StrictMode GTID sia abilitata. Se il database di origine è PostgreSQL, Datastream esegue i seguenti controlli:
Controllo Descrizione Connettività al database PostgreSQL Datastream verifica che sia possibile connettersi al database PostgreSQL di origine. La decodifica logica è abilitata Datastream verifica che il parametro wal_leveldel database PostgreSQL sia impostato sulogical.Configurazione dello slot di replica Datastream verifica se lo slot di replica PostgreSQL esiste ed è attivo, se Datastream dispone delle autorizzazioni necessarie per accedervi e se è configurato correttamente. Configurazione della pubblicazione Datastream verifica che la pubblicazione esista e che le tabelle da replicare per lo stream siano incluse nella pubblicazione. Autorizzazioni di backfill Datastream verifica che le tabelle necessarie per il backfill dei dati storici esistano e di disporre delle autorizzazioni necessarie per leggerle. Se il database di origine è SQL Server, Datastream esegue i seguenti controlli:
Controllo Descrizione Versione SQL Server Datastream verifica che la versione del database SQL Server di origine sia supportata. Per informazioni sulle versioni supportate, vedi Versioni. Autorizzazioni utente SQL Server Datastream verifica che l'utente disponga delle autorizzazioni necessarie per accedere al database SQL Server di origine. La CDC di SQL Server è abilitata Datastream verifica se CDC è abilitato per il database e per tutte le tabelle incluse nello stream. Convalide dei database SQL Server Datastream verifica se il database di origine è configurato correttamente, se tutti i requisiti di replica sono soddisfatti e se non sono presenti tipi di dati non supportati nelle colonne. Autorizzazioni di Cloud Storage o BigQuery Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione. Se il database di origine è Salesforce, Datastream esegue i seguenti controlli:
Controllo Descrizione Accesso con credenziali Datastream verifica di potersi autenticare correttamente con l'organizzazione Salesforce del cliente utilizzando le credenziali fornite. API Bulk Datastream verifica di disporre delle autorizzazioni necessarie per accedere all'API Salesforce Bulk 2.0. L'API Bulk 2.0 è necessaria per leggere grandi quantità di dati. Controllo degli avvisi Descrizione Limiti dell'API Datastream calcola una stima dell'utilizzo previsto dell'API in base al numero di oggetti e all'intervallo di polling selezionati. Se il numero giornaliero previsto di richieste è superiore al limite applicato da Salesforce, Datastream genera un avviso. Puoi comunque creare ed eseguire lo stream, anche se il controllo di convalida non va a buon fine. Se il database di origine è MongoDB, Datastream esegue i seguenti controlli:
Controllo Descrizione Autorizzazioni utente Datastream verifica che all'utente sia assegnato il ruolo readAnyDatabase.Configurazioni di connessione Datastream utilizza il comando helloper verificare che le configurazioni della connessione siano valide.Versione di MongoDB Datastream verifica che la versione di MongoDB sia 5.0 o successiva. Autorizzazioni di Cloud Storage o BigQuery Datastream verifica che l'utente disponga delle autorizzazioni necessarie per scrivere nella destinazione. Se il database di origine è Spanner, Datastream esegue i seguenti controlli:
Controllo Descrizione API Spanner abilitata Datastream verifica che l'API Spanner sia abilitata. Il database esiste Datastream verifica che il database Spanner di origine esista. Autorizzazioni IAM Datastream verifica che il proprio agente di servizio disponga delle autorizzazioni IAM necessarie sul database di origine. Esiste un flusso di modifiche Datastream verifica che il feed delle modifiche in tempo reale specificato esista nel database. Tipo di acquisizione valore Datastream verifica che le modifiche in tempo reale siano configurate con il tipo di acquisizione del valore NEW_ROW.Se l'origine è Dataverse, Datastream esegue i seguenti controlli:
Controllo Descrizione Connettività all'ambiente Dataverse Datastream verifica che sia possibile connettersi all'ambiente Dataverse di origine. Autorizzazioni utente di Dataverse Datastream verifica che l'utente dell'applicazione che utilizza per connettersi all'ambiente di origine disponga di tutte le autorizzazioni in lettura necessarie. Le autorizzazioni in lettura sono necessarie per recuperare tabelle e dati dall'ambiente in modo che Datastream possa trasmettere queste informazioni alla destinazione. Limitazioni IP Datastream verifica che i suoi indirizzi IP pubblici siano autorizzati a connettersi all'endpoint dell'istanza Dataverse. Presenza del campo "modifiedon" Datastream verifica che il campo "modifiedon" sia presente e affidabile nelle tabelle replicate per la sincronizzazione incrementale. Autorizzazioni di Cloud Storage o BigQuery Datastream verifica di disporre delle autorizzazioni necessarie per scrivere nella destinazione. Se l'istanza di origine è Workday, Datastream esegue i seguenti controlli:
Controllo Descrizione Accesso con credenziali Datastream verifica l'autenticazione OAuth 2.0 con Workday. Autorizzazioni ISU Datastream verifica che l'utente del sistema di integrazione disponga delle autorizzazioni necessarie per le policy di sicurezza del dominio. Validità del report Datastream garantisce che gli oggetti selezionati esistano e siano accessibili utilizzando la soluzione Report as a Service (RaaS).
Dopo aver superato tutti i controlli di convalida, fai clic su CREA E AVVIA per creare lo stream e avviarlo immediatamente oppure su CREA per creare lo stream senza avviarlo immediatamente.
Se non avvii lo stream ora, puoi avviarlo dalla pagina Stream facendo clic su AVVIA.
Dopo aver creato uno stream, puoi visualizzare informazioni generali e dettagliate sullo stream.
Crea un flusso utilizzando il flusso automatizzato
Puoi utilizzare la configurazione automatica dei flussi per creare flussi direttamente dalla pagina di riepilogo di Cloud SQL in Google Cloud. Il flusso automatizzato semplifica il processo di creazione dello stream e può essere utilizzato se esegui la replica in BigQuery da un'istanza Cloud SQL per PostgreSQL, Cloud SQL per MySQL o Cloud SQL per SQL Server.
Per scoprire come utilizzare il flusso di configurazione automatica dello stream, consulta Crea uno stream utilizzando il flusso automatico.
Passaggi successivi
- Per scoprire di più sugli stream, consulta Ciclo di vita dello stream.
- Per scoprire come eseguire uno stream, consulta Esegui uno stream.
- Per scoprire come modificare gli stream, consulta Modifica uno stream.
- Per scoprire come recuperare uno stream, consulta Recupera uno stream.