Carica i dati di Display & Video 360 in BigQuery

Puoi caricare i dati da Display & Video 360 in BigQuery utilizzando il connettore BigQuery Data Transfer Service per Display & Video 360. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti di Display & Video 360 a BigQuery.

Panoramica del connettore

BigQuery Data Transfer Service per il connettore Display & Video 360 supporta le seguenti opzioni per il trasferimento dei dati.

Opzioni di trasferimento dei dati Assistenza
Report supportati Il connettore Display & Video 360 supporta il trasferimento dei dati dai report nei file Data Transfer v2 (Display & Video DTv2).

Per informazioni su come i report di Display & Video 360 vengono trasformati in tabelle e visualizzazioni BigQuery, consulta Trasformazione dei report di Display & Video 360.
Frequenza di ripetizione Il connettore Display & Video 360 supporta i trasferimenti di dati giornalieri.

Per impostazione predefinita, i trasferimenti di dati vengono pianificati al momento della loro creazione. Puoi configurare l'ora del trasferimento dei dati quando configuri il trasferimento dei dati.
Finestra di aggiornamento Il connettore Display & Video 360 recupera i dati di Display & Video 360 fino a 2 giorni al momento dell'esecuzione del trasferimento di dati. Non puoi configurare la finestra di aggiornamento per questo connettore.

Per maggiori informazioni, vedi Finestre di aggiornamento.
Disponibilità dei dati di backfill Esegui un backfill dei dati per recuperare i dati al di fuori del trasferimento di dati pianificato. Puoi recuperare i dati fino al periodo consentito dalla policy sulla conservazione dei dati dell'origine dati.

Per informazioni sulla policy sulla conservazione dei dati per Display & Video 360, consulta Aggiornamento e disponibilità dei dati dei report.

Dati di configurazione supportati

Oltre ai dati dei report, BigQuery Data Transfer Service trasferisce anche i seguenti dati di configurazione da Display & Video 360. I dati di configurazione vengono recuperati dall'API Display & Video 360 v3.

Per ulteriori informazioni su ogni tipo di dati di configurazione, consulta i seguenti link:

Acquisizione dei dati dai trasferimenti da Display & Video 360

Quando trasferisci i dati da Display & Video 360 a BigQuery, i dati vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o l'esecuzione di backfill non comportano la duplicazione dei dati e le partizioni per altre date non sono interessate.

Finestre di aggiornamento

Una finestra di aggiornamento è il numero di giorni per cui un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e viene eseguito un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati della tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine dei due giorni precedenti. Le esecuzioni di backfill attivate automaticamente sovrascrivono o aggiornano in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima volta, il trasferimento recupera tutti i dati di origine disponibili nella finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Per recuperare dati al di fuori della finestra di aggiornamento, ad esempio dati storici, o per recuperare dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare un'esecuzione di backfill.

Prima di iniziare

Prima di creare un trasferimento di dati di Display & Video 360, esamina i seguenti prerequisiti e informazioni.

Prerequisiti

  • Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di Display & Video 360.
  • Assicurati di avere l'ID partner o l'ID inserzionista di Display & Video 360. L'ID partner è l'elemento principale della gerarchia.
  • Assicurati di disporre delle autorizzazioni in lettura per accedere ai dati dei partner o degli inserzionisti dall'API Display & Video.

  • Assicurati che la tua organizzazione abbia accesso ai file Data Transfer v2 di Display & Video 360 (DTv2 di Display & Video 360). Questi file vengono forniti dal team di Display & Video 360 in un bucket Cloud Storage. La richiesta di accesso ai file DTv2 di Display & Video 360 dipende dal fatto che tu abbia o meno un contratto diretto con Display & Video 360. In entrambi i casi, potrebbero essere applicati costi aggiuntivi.

    • Se hai un contratto con Display & Video 360, contatta l'assistenza di Display & Video 360 per configurare i file DTv2 di Display & Video 360.
    • Se non hai un contratto con Display & Video 360, contatta la tua agenzia per accedere ai file DTv2 di Display & Video 360.
    • Dopo aver completato questo passaggio, riceverai uno dei seguenti nomi di bucket Cloud Storage, a seconda che la configurazione sia per un partner o un inserzionista:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • Per configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Per saperne di più, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Trova il tuo ID Display & Video 360

Per recuperare l'ID Display & Video 360, vai alla pagina Bucket di Cloud Storage nella console Google Cloud ed esamina i file nel bucket Cloud Storage per il trasferimento di dati di Display & Video 360. L'ID Display & Video 360 viene utilizzato per trovare i file corrispondenti nel bucket Cloud Storage fornito. L'ID è incorporato nel nome file, non nel nome del bucket Cloud Storage. Ad esempio:

  • In un file denominato dbm_partner123_activity_*, l'ID è 123.
  • In un file denominato dbm_advertiser567_activity_*, l'ID è 567.

Trovare il prefisso del nome file

In alcuni casi, i file nel bucket Cloud Storage potrebbero avere nomi file personalizzati e non standard, configurati per te dal team dei servizi di Google Marketing Platform. Ad esempio:

In un file denominato dbm_partner123456custom_activity_*, il prefisso è dbm_partner123456custom.

Per qualsiasi assistenza relativa ai prefissi dei nomi file, contatta l'assistenza di Display & Video 360.

Configura un trasferimento di dati da Display & Video 360

Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina Trasferimenti di dati nella console Google Cloud .

    Vai a Trasferimenti di dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea repository, segui questi passaggi:

    • Nella sezione Tipo di origine, per Origine, scegli Display & Video 360.
    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

  4. Nella sezione Opzioni di pianificazione:

    • Seleziona Inizia ora o Inizia all'ora impostata, quindi fornisci una data di inizio e un'ora di esecuzione.
    • Per Si ripete, scegli un'opzione per la frequenza con cui eseguire il trasferimento di dati. Se selezioni Giorni, specifica un'ora valida nel fuso orario UTC.

  5. Nella sezione Impostazioni destinazione, nel menu Set di dati di destinazione, seleziona il set di dati che hai creato per archiviare i dati.

  6. Nella sezione Dettagli origine dati:

    • Nel campo Bucket Cloud Storage DTV2 DV360, inserisci il bucket Cloud Storage che contiene i file DTv2 di Display & Video 360. Se devi configurare questo bucket, contatta l'assistenza di Display & Video 360.
    • Nel campo ID partner/inserzionista DV360, inserisci l'ID partner o l'ID inserzionista.
    • (Facoltativo) Nella sezione Opzioni di notifica:
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche Pub/Sub. In Seleziona un argomento Cloud Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura l'esecuzione delle notifiche di Pub/Sub in relazione al trasferimento.

  7. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config. I seguenti flag sono obbligatori:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Dove:

  • PROJECT_ID: il tuo ID progetto.
  • DATASET: il set di dati di destinazione per la configurazione del trasferimento di dati.
  • NAME: il nome visualizzato della configurazione del trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • PARAMETERS: i parametri per la configurazione del trasferimento di dati creata in formato JSON. Ad esempio, --params='{"param":"param_value"}'. Per i trasferimenti da Display & Video 360, i parametri bucket e displayvideo_id sono obbligatori. Il parametro file_name_prefix è facoltativo e viene utilizzato solo per nomi file personalizzati rari.
  • DATA_SOURCE: l'origine dati, displayvideo.

Ad esempio, il seguente comando crea un trasferimento di dati di Display & Video 360 denominato My Transfer utilizzando l'ID Display & Video 360 123456, il bucket Cloud Storage dcdt_-dbm_partner123456 e il set di dati di destinazione mydataset.

Il trasferimento dei dati viene creato nel progetto predefinito:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

Dopo aver eseguito il comando, ricevi un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Esegui query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di acquisizione. Per saperne di più, consulta Introduzione alle tabelle partizionate.

Ti consigliamo di eseguire query sulle viste generate automaticamente anziché direttamente sulle tabelle. Tuttavia, se vuoi eseguire query direttamente sulle tabelle, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per saperne di più, consulta Esecuzione di query su tabelle partizionate.