Caricare i dati di Display &Video 360 in BigQuery

Puoi caricare i dati da Display & Video 360 a BigQuery utilizzando il BigQuery Data Transfer Service per il connettore Display & Video 360. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti da Display &Video 360 a BigQuery.

Panoramica del connettore

BigQuery Data Transfer Service per il connettore Display &Video 360 supporta le seguenti opzioni per il trasferimento dei dati.

Opzioni di trasferimento dei dati Assistenza
Report supportati Il connettore Display & Video 360 supporta il trasferimento dei dati dai report nei file di Data Transfer v2 (Display & Video DTv2).

Per informazioni su come i report di Display & Video 360 vengono trasformati in tabelle e visualizzazioni BigQuery, consulta Trasformazione dei report di Display & Video 360.
Frequenza di ripetizione Il connettore Display &Video 360 supporta i trasferimenti di dati giornalieri.

Per impostazione predefinita, i trasferimenti di dati vengono pianificati al momento della creazione. Puoi configurare l'ora del trasferimento dei dati quando lo imposti.
Finestra di aggiornamento Il connettore Display &Video 360 recupera i dati di Display &Video 360 fino a 2 giorni prima del momento in cui viene eseguito il trasferimento dei dati. Non puoi configurare la finestra di aggiornamento per questo connettore.

Per maggiori informazioni, vedi Finestre di aggiornamento.
Disponibilità dei dati di backfill Esegui un backfill dei dati per recuperare i dati al di fuori del trasferimento dei dati pianificato. Puoi recuperare i dati fino a quando la policy sulla conservazione dei dati dell'origine dati lo consente.

Per informazioni sulla policy sulla conservazione dei dati per Display & Video 360, consulta Aggiornamento e disponibilità dei dati dei report.

Dati di configurazione supportati

Oltre ai dati dei report, BigQuery Data Transfer Service trasferisce anche i seguenti dati di configurazione da Display &Video 360. I dati di configurazione vengono recuperati dall'API Display & Video 360 v3.

Per ulteriori informazioni su ogni tipo di dati di configurazione, consulta i seguenti link:

Importazione dei dati dai trasferimenti di Display &Video 360

Quando trasferisci i dati da Display &Video 360 a BigQuery, i dati vengono caricati nelle tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o l'esecuzione di backfill non comportano la duplicazione dei dati e le partizioni per altre date non vengono interessate.

Finestre di aggiornamento

Una finestra di aggiornamento è il numero di giorni in cui un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. Le esecuzioni di backfill attivate automaticamente sovrascriveranno o aggiorneranno in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima volta, il trasferimento di dati recupera tutti i dati di origine disponibili nella finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni e esegui il trasferimento di dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Per recuperare i dati al di fuori della finestra di aggiornamento, ad esempio i dati storici, o per recuperare i dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare un' esecuzione di backfill.

Prima di iniziare

Esamina i seguenti prerequisiti e informazioni prima di creare un trasferimento di dati di Display &Video 360.

Prerequisiti

  • Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di Display & Video 360.
  • Assicurati di avere l'ID partner o l'ID inserzionista di Display & Video 360. L'ID partner è il padre nella gerarchia.
  • Assicurati di disporre delle autorizzazioni di lettura per accedere ai dati dei partner o degli inserzionisti dall'API Display & Video.

  • Assicurati che la tua organizzazione abbia accesso ai file di Data Transfer v2 di Display &Video 360 (Display &Video 360 DTv2). Questi file vengono forniti dal team di Display &Video 360 in un bucket Cloud Storage. La richiesta di accesso ai file di Display &Video 360 DTv2 dipende dal fatto che tu abbia o meno un contratto diretto con Display &Video 360. In entrambi i casi, potrebbero essere applicati costi aggiuntivi.

    • Se hai un contratto con Display & Video 360, contatta l'assistenza di Display & Video 360 per configurare i file di Display & Video 360 DTv2.
    • Se non hai un contratto con Display & Video 360, contatta la tua agenzia per accedere ai file di Display & Video 360 DTv2.
    • Dopo aver completato questo passaggio, riceverai uno dei seguenti nomi di bucket Cloud Storage, a seconda che la configurazione sia per un partner o un inserzionista:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • Per configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Per maggiori informazioni, vedi Notifiche di esecuzione di BigQuery Data Transfer Service.

Trovare l'ID Display &Video 360

Per recuperare l'ID Display & Video 360, vai alla pagina Bucket di Cloud Storage nella Google Cloud console ed esamina i file nel bucket Cloud Storage di trasferimento dei dati di Display & Video 360. L'ID Display &Video 360 viene utilizzato per trovare i file nel bucket Cloud Storage fornito. L'ID è incorporato nel nome file, non nel nome del bucket Cloud Storage. Ad esempio:

  • In un file denominato dbm_partner123_activity_*, l'ID è 123.
  • In un file denominato dbm_advertiser567_activity_*, l'ID è 567.

Trovare il prefisso del nome file

In alcuni casi, i file nel bucket Cloud Storage potrebbero avere nomi file personalizzati e non standard configurati per te dal team dei servizi di Google Marketing Platform. Ad esempio:

In un file denominato dbm_partner123456custom_activity_*, il prefisso è dbm_partner123456custom.

Per qualsiasi assistenza relativa ai prefissi dei nomi file, contatta l'assistenza di Display & Video 360.

Configurare un trasferimento di dati di Display &Video 360

Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Trasferimenti di dati nella Google Cloud console.

    Vai a Trasferimenti di dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea trasferimento, segui questi passaggi:

    • Nella sezione Tipo di origine, per Origine, scegli Display & Video 360.
    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

  4. Nella sezione Opzioni di pianificazione:

    • Seleziona Inizia ora o Inizia all'ora impostata, quindi fornisci una data di inizio e un'ora di esecuzione.
    • Per Si ripete, scegli un'opzione per la frequenza con cui eseguire il trasferimento di dati. Se selezioni Giorni, specifica un'ora valida nel fuso orario UTC.

  5. Nella sezione Impostazioni destinazione, nel menu Set di dati di destinazione, seleziona il set di dati che hai creato per archiviare i dati.

  6. Nella sezione Dettagli origine dati:

    • Nel campo Bucket Cloud Storage DTV2 DV360, inserisci il bucket Cloud Storage che contiene i file DTv2 di Display &Video 360. Se devi configurare questo bucket, contatta l'assistenza di Display & Video 360.
    • Nel campo ID partner/inserzionista DV360, inserisci l'ID partner o l'ID inserzionista.
    • (Facoltativo) Nella sezione Opzioni di notifica:
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche Pub/Sub. In Seleziona un argomento Cloud Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura l'esecuzione delle notifiche di Pub/Sub in relazione al trasferimento.

  7. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config. I seguenti flag sono obbligatori:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Dove:

  • PROJECT_ID: il tuo ID progetto.
  • DATASET: il set di dati di destinazione per la configurazione del trasferimento di dati.
  • NAME: il nome visualizzato per la configurazione del trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • PARAMETERS: i parametri per la configurazione del trasferimento di dati creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per i trasferimenti di Display & Video 360, sono obbligatori i parametri bucket e displayvideo_id. Il parametro file_name_prefix è facoltativo e viene utilizzato solo per nomi file personalizzati e rari.
  • DATA_SOURCE: l'origine dati displayvideo.

Ad esempio, il seguente comando crea un trasferimento di dati di Display & Video 360 denominato My Transfer utilizzando l'ID Display & Video 360 123456, il bucket Cloud Storage dcdt_-dbm_partner123456 e il set di dati di destinazione mydataset.

Il trasferimento di dati viene creato nel progetto predefinito:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

Dopo aver eseguito il comando, riceverai un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il projects.locations.transferConfigs.create metodo e fornisci un'istanza della TransferConfig risorsa.

Eseguire query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per maggiori informazioni, consulta Introduzione alle tabelle partizionate.

Ti consigliamo di eseguire query sulle visualizzazioni generate automaticamente anziché direttamente sulle tabelle. Tuttavia, se vuoi eseguire query direttamente sulle tabelle, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta Esecuzione di query sulle tabelle partizionate.