Utilizzo di trasferimenti di terze parti
I trasferimenti di terze parti per BigQuery Data Transfer Service consentono di pianificare e gestire automaticamente i job di caricamento ricorrenti per origini dati esterne come Salesforce CRM, Adobe Analytics e Facebook Ads.
Prima di iniziare
Prima di creare un trasferimento di dati di terze parti:
- Verifica di aver completato tutte le azioni richieste per abilitare BigQuery Data Transfer Service.
- Crea un set di dati BigQuery per archiviare i dati.
- Consulta la documentazione dell'origine dati di terze parti per assicurarti di aver configurato tutte le autorizzazioni necessarie per abilitare il trasferimento.
- Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni
pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono richieste se configuri solo le notifiche via email. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.
Ruoli BigQuery richiesti
Per ottenere le autorizzazioni necessarie per creare un trasferimento di dati di BigQuery Data Transfer Service, chiedi all'amministratore di concederti il ruolo IAM di amministratore BigQuery (roles/bigquery.admin) nel tuo progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento di dati di BigQuery Data Transfer Service. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare un trasferimento di dati di BigQuery Data Transfer Service sono richieste le seguenti autorizzazioni:
-
Autorizzazioni di BigQuery Data Transfer Service:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Autorizzazioni BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Per saperne di più, consulta Concedere l'accesso bigquery.admin.
Limitazioni
I trasferimenti di terze parti sono soggetti alle seguenti limitazioni:
- Devi creare o aggiornare un trasferimento di terze parti utilizzando la Google Cloud console.
- Non puoi configurare o aggiornare i trasferimenti di terze parti utilizzando lo strumento a riga di comando bq.
Configurare un trasferimento di dati di terze parti
Per creare un trasferimento di dati di terze parti utilizzando la Google Cloud console:
Vai a Google Cloud Marketplace.
Fai clic sul fornitore di terze parti appropriato.
Nella pagina della documentazione del fornitore di terze parti, fai clic su Registrati. La procedura di registrazione potrebbe richiedere alcuni istanti.
Al termine della registrazione, fai clic su Configura trasferimento.
Nella pagina Crea trasferimento:
In Origine, scegli l'origine dati di terze parti appropriata. Puoi fare clic su Esplora origini dati per visualizzare l'elenco dei fornitori di terze parti in Google Cloud Marketplace.
In Nome visualizzato, inserisci un nome per il trasferimento, ad esempio
My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare facilmente il trasferimento se devi modificarlo in un secondo momento.
In Pianifica, lascia il valore predefinito (Inizia ora) o fai clic su Inizia a un'ora specifica.
Per Si ripete, scegli un'opzione per la frequenza con cui eseguire il trasferimento. Le opzioni includono:
- Ogni giorno (impostazione predefinita)
- Ogni settimana
- Ogni mese
- Personalizzato
- On demand
Se scegli un'opzione diversa da Giornaliera, sono disponibili altre opzioni. Ad esempio, se scegli Settimanale, viene visualizzata un'opzione per selezionare il giorno della settimana.
In Data di inizio e ora esecuzione, inserisci la data e l'ora di inizio del trasferimento. Se scegli Inizia ora, questa opzione è disabilitata.
Per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i tuoi dati.
(Facoltativo) Nella sezione Opzioni di notifica:
- Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
- In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura l'esecuzione delle notifiche di Pub/Sub in relazione al trasferimento.
Fai clic su Connetti origine.
Quando richiesto, fai clic su Accetta per concedere a BigQuery Data Transfer Service l'autorizzazione a connettersi all'origine dati e a gestire i tuoi dati in BigQuery.
Segui le istruzioni nelle pagine successive per configurare la connessione all'origine dati esterna.
Al termine dei passaggi di configurazione, fai clic su Salva.
Risolvere i problemi di configurazione del trasferimento di terze parti
Se riscontri problemi durante la configurazione del trasferimento, contatta il fornitore di terze parti appropriato. Le informazioni di contatto sono disponibili nella pagina della documentazione del trasferimento in Google Cloud Marketplace.
Eseguire query sui dati
Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per saperne di più, consulta Introduzione alle tabelle partizionate.
Se esegui query direttamente sulle tabelle anziché utilizzare le visualizzazioni generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni,
consulta Esecuzione di query sulle tabelle partizionate.
Passaggi successivi
- Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
- Per informazioni sull'utilizzo dei trasferimenti, inclusa la visualizzazione delle informazioni su una configurazione di trasferimento, l'elenco delle configurazioni di trasferimento e la visualizzazione della cronologia di esecuzione di un trasferimento, consulta Utilizzare i trasferimenti.