Lavora con i dati di Salesforce Data 360 in BigQuery
Questo documento descrive come accedere ai dati di Salesforce Data 360 e analizzarli in BigQuery utilizzando BigQuery Omni. Il documento mostra come collegare i set di dati Data 360 in BigQuery per eseguire query, unire i dati con le tabelle in Google Cloude replicare i dati utilizzando le viste materializzate di BigQuery Omni.
Questo documento è rivolto agli utenti di Data 360 che vogliono utilizzare BigQuery per analisi approfondite dei propri dati Data 360 o combinarli con i dati in Google Cloud per analisi cross-cloud, il tutto senza creare e gestire pipeline di estrazione, trasformazione e caricamento (ETL).
Prima di iniziare
Prima di utilizzare i dati di Data 360, devi essere un utente di Data 360. Se hai abilitato i Controlli di servizio VPC nel tuo progetto, avrai bisogno di autorizzazioni aggiuntive.
Ruoli obbligatori
Sono richiesti i seguenti ruoli e autorizzazioni:
- Analytics Hub Subscriber (
roles/analyticshub.subscriber) - Amministratore BigQuery (
roles/bigquery.admin)
Condividi i dati di Data 360
Questa documentazione mostra come condividere i dati da Data 360 a BigQuery - BYOL Data Shares - Integrazione zero-ETL con BigQuery.
Collega il set di dati Data 360 a BigQuery
Per accedere a un set di dati Data 360 in BigQuery, devi prima collegarlo a BigQuery seguendo questi passaggi:
Nella console Google Cloud , vai alla pagina BigQuery.
Fai clic su Salesforce Data Cloud.
Vengono visualizzati i set di dati di Data 360. Puoi trovare il set di dati per nome utilizzando il seguente pattern di denominazione:
Sostituisci quanto segue:listing_DATA_SHARE_NAME_TARGET_NAME
DATA_SHARE_NAME: il nome della condivisione dei dati in Data 360.TARGET_NAME: il nome della destinazione BigQuery in Data 360.
Fai clic sul set di dati che vuoi aggiungere a BigQuery.
Fai clic su Aggiungi set di dati al progetto.
Specifica il nome del set di dati collegato.
Una volta creato il set di dati collegato, puoi esplorare il set di dati e le tabelle al suo interno. Tutti i metadati delle tabelle vengono recuperati dinamicamente da Data 360. Tutti gli oggetti all'interno del set di dati sono viste che vengono mappate agli oggetti Data 360. BigQuery supporta tre tipi di oggetti Data 360:
- Oggetti data lake (DLO)
- Oggetti del modello di dati (DMO)
- Oggetti di insight calcolati (CIO)
Tutti questi oggetti sono rappresentati come viste in BigQuery. Queste viste rimandano a tabelle nascoste archiviate in Amazon S3.
Utilizza i dati di Data 360
I seguenti esempi utilizzano un set di dati denominato Northwest Trail Outfitters (NTO) ospitato in Data 360. Questo set di dati è composto da tre tabelle che rappresentano i dati di vendita online dell'organizzazione NTO:
linked_nto_john.nto_customers__dlllinked_nto_john.nto_products__dlllinked_nto_john.nto_orders__dll
L'altro set di dati utilizzato in questi esempi è costituito da dati dei punti vendita offline. Questa sezione riguarda le vendite offline ed è composta da tre tabelle:
nto_pos.customersnto_pos.productsnto_pos.orders
I seguenti set di dati archiviano oggetti aggiuntivi:
aws_dataus_data
Esegui query ad hoc
Utilizzando BigQuery Omni, puoi eseguire query ad hoc per analizzare i dati di Data 360 tramite il set di dati sottoscritto. L'esempio seguente mostra una semplice query che esegue una query sulla tabella dei clienti di Data 360.
SELECT name__c, age__c FROM `listing_nto_john.nto_customers__dll` WHERE age > 40 LIMIT 1000;
Esegui query BigQuery Omni
Le query BigQuery Omni ti consentono di unire qualsiasi tabella nella regione BigQuery Omni e le tabelle nelle regioni BigQuery. Per saperne di più sulle query di BigQuery Omni, consulta questo blog post.
In questo esempio, recuperiamo le vendite totali per un cliente di nome john.
-- Get combined sales for a customer from both offline and online sales USING ( SELECT total_price FROM `listing_nto_john.nto_orders__dll` WHERE customer_name = 'john' UNION ALL SELECT total_price FROM `listing_nto_john.nto_orders__dll` WHERE customer_name = 'john' ) a SELECT SUM(total_price);
Trasferimento di dati BigQuery Omni tramite CTAS
Puoi utilizzare Create Table As Select (CTAS) per spostare i dati dalle tabelle Data 360 nella regione BigQuery Omni alla regione US.
-- Move all the orders for March to the US region CREATE OR REPLACE TABLE us_data.online_orders_march AS SELECT * FROM listing_nto_john.nto_orders__dll WHERE EXTRACT(MONTH FROM order_time) = 3
La tabella di destinazione è una tabella gestita da BigQuery nella regione US. Questa tabella può essere unita ad altre tabelle. Questa operazione comporta costi di traffico in uscita di AWS in base alla quantità di dati trasferiti.
Una volta spostati i dati, non dovrai più pagare le tariffe in uscita per le query eseguite nella tabella online_orders_march.
Viste materializzate di BigQuery Omni
Le viste materializzate di BigQuery Omni (CCMV) trasferiscono i dati da una regione BigQuery Omni a una regione BigQuery non BigQuery Omni in modo incrementale.
Configura una nuova CCMV che trasferisca un riepilogo delle vendite totali dalle transazioni online e replica i dati nella regione US.
Puoi accedere alle CCMV da Ads Data Hub e unirle ad altri dati di Ads Data Hub. Le CCMV si comportano per lo più come normali tabelle gestite di BigQuery.
Crea una vista materializzata locale
Per creare una vista materializzata locale:
-- Create a local materialized view that keeps track of total sales by day CREATE MATERIALIZED VIEW `aws_data.total_sales` OPTIONS (enable_refresh = true, refresh_interval_minutes = 60) AS SELECT EXTRACT(DAY FROM order_time) AS date, SUM(order_total) as sales FROM `listing_nto_john.nto_orders__dll` GROUP BY 1;
Autorizza la vista materializzata
Per creare una CCMV, devi autorizzare le viste materializzate. Puoi autorizzare la vista (aws_data.total_sales) o il set di dati (aws_data). Per autorizzare la vista materializzata:
Nella console Google Cloud , vai alla pagina BigQuery.
Apri il set di dati di origine
listing_nto_john.Fai clic su Condivisione, quindi su Autorizza set di dati.
Inserisci il nome del set di dati (in questo caso
listing_nto_john), quindi fai clic su Ok.
Crea una vista materializzata di replica
Crea una nuova vista materializzata della replica nella regione US. La vista materializzata viene replicata periodicamente ogni volta che si verifica una modifica dei dati di origine per mantenere aggiornata la replica.
-- Create a replica MV in the us region. CREATE MATERIALIZED VIEW `us_data.total_sales_replica` AS REPLICA OF `aws_data.total_sales`;
Esegui una query su una vista materializzata della replica
L'esempio seguente esegue una query su una vista materializzata della replica:
-- Find total sales for the current month for the dashboard SELECT EXTRACT(MONTH FROM CURRENT_DATE()) as month, SUM(sales) FROM us_data.total_sales_replica WHERE month = EXTRACT(MONTH FROM date) GROUP BY 1
Utilizzo dei dati di Data 360 con INFORMATION_SCHEMA
I set di dati Data 360 supportano le viste BigQuery INFORMATION_SCHEMA. I dati nelle visualizzazioni INFORMATION_SCHEMA vengono sincronizzati regolarmente da Data 360 e potrebbero non essere aggiornati. La colonna SYNC_STATUS nelle viste TABLES e SCHEMATA mostra l'ora dell'ultima sincronizzazione completata, eventuali errori che impediscono a BigQuery di fornire dati aggiornati e i passaggi necessari per correggere l'errore.
Le query INFORMATION_SCHEMA non riflettono i set di dati creati di recente prima della sincronizzazione iniziale.
I set di dati Data 360 sono soggetti alle stesse limitazioni degli altri set di dati collegati, ad esempio sono accessibili solo in INFORMATION_SCHEMA nelle query con ambito set di dati.
Passaggi successivi
Scopri di più su BigQuery Omni.
Scopri di più sui join di BigQuery Omni.
Scopri di più sulle viste materializzate.