Mit Salesforce Data 360-Daten in BigQuery arbeiten

In diesem Dokument wird beschrieben, wie Sie mit BigQuery Omni auf Salesforce Data 360-Daten in BigQuery zugreifen und sie analysieren. Außerdem wird erläutert, wie Sie Ihre Data 360-Datasets in BigQuery verknüpfen, um Abfragen auszuführen, Daten mit Tabellen in Google Cloudzusammenzuführen und Daten mithilfe von materialisierten Ansichten von BigQuery Omni zu replizieren.

Dieses Dokument richtet sich an Data 360-Nutzer, die BigQuery für detaillierte Analysen ihrer Data 360 Daten verwenden oder sie mit Daten in Google Cloud für cloudübergreifende Analysen kombinieren möchten. Dabei müssen sie keine ETL-Pipelines (Extrahieren, Transformieren und Laden) erstellen und verwalten.

Hinweis

Bevor Sie mit Data 360-Daten arbeiten können, müssen Sie Data 360-Nutzer sein. Wenn Sie VPC Service Controls für Ihr Projekt aktiviert haben, benötigen Sie zusätzliche Berechtigungen.

Erforderliche Rollen

Die folgenden Rollen und Berechtigungen sind erforderlich:

  • Analytics Hub Subscriber (roles/analyticshub.subscriber)
  • BigQuery Administrator (roles/bigquery.admin)

Daten aus Data 360 freigeben

In dieser Dokumentation wird beschrieben, wie Sie Daten aus Data 360 für BigQuery freigeben – BYOL-Datenfreigaben – Zero-ETL-Integration mit BigQuery.

Wenn Sie in BigQuery auf ein Data 360-Dataset zugreifen möchten, müssen Sie es zuerst mit den folgenden Schritten mit BigQuery verknüpfen:

  1. Rufen Sie in der Google Cloud Console die Seite "BigQuery" auf.

    BigQuery aufrufen

  2. Klicken Sie auf Salesforce Data Cloud.

    Data 360-Datasets werden angezeigt. Sie können das Dataset anhand des Namens mit dem folgenden Namensmuster finden: 

    listing_DATA_SHARE_NAME_TARGET_NAME
    Ersetzen Sie Folgendes:

    • DATA_SHARE_NAME: Der Name der Datenfreigabe in Data 360.
    • TARGET_NAME: Der Name des BigQuery-Ziels in Data 360.

  3. Klicken Sie auf das Dataset, das Sie BigQuery hinzufügen möchten.

  4. Klicken Sie auf Dataset dem Projekt hinzufügen.

  5. Geben Sie den Namen des verknüpften Datasets an.

Nachdem das verknüpfte Dataset erstellt wurde, können Sie es und die darin enthaltenen Tabellen untersuchen. Alle Metadaten der Tabellen werden dynamisch aus Data 360 abgerufen. Alle Objekte im Dataset sind Ansichten, die den Data 360-Objekten zugeordnet sind. BigQuery unterstützt drei Arten von Data 360-Objekten:

  • Data Lake-Objekte (DLO)
  • Datenmodellobjekte (DMO)
  • Berechnete Erkenntnisobjekte (CIO)

Alle diese Objekte werden in BigQuery als Ansichten dargestellt. Diese Ansichten verweisen auf verborgene Tabellen, die in Amazon S3 gespeichert sind.

Mit Data 360-Daten arbeiten

In den folgenden Beispielen wird ein Dataset namens Northwest Trail Outfitters (NTO) verwendet, das in Data 360 gehostet wird. Dieses Dataset besteht aus drei Tabellen, die die Online-Verkaufsdaten der NTO-Organisation darstellen:

  • linked_nto_john.nto_customers__dll
  • linked_nto_john.nto_products__dll
  • linked_nto_john.nto_orders__dll

Das andere in diesen Beispielen verwendete Dataset enthält Offline-POS-Daten. Es umfasst die Offline-Verkäufe und besteht aus drei Tabellen:

  • nto_pos.customers
  • nto_pos.products
  • nto_pos.orders

In den folgenden Datasets sind zusätzliche Objekte gespeichert:

  • aws_data
  • us_data

Ad-hoc-Abfragen ausführen

Mit BigQuery Omni können Sie Ad-hoc-Abfragen ausführen, um die Data 360-Daten über das abonnierte Dataset zu analysieren. Im folgenden Beispiel wird eine einfache Abfrage gezeigt, mit der die Tabelle „customers“ aus Data 360 abgefragt wird.

SELECT name__c, age__c
  FROM `listing_nto_john.nto_customers__dll`
  WHERE age > 40
  LIMIT 1000;

BigQuery Omni-Abfragen ausführen

Mit BigQuery Omni-Abfragen können Sie beliebige Tabellen in der BigQuery Omni-Region und Tabellen in den BigQuery-Regionen zusammenführen. Weitere Informationen zu BigQuery Omni-Abfragen finden Sie in diesem Blog post. In diesem Beispiel rufen wir den Gesamtumsatz für einen Kunden namens john ab.

-- Get combined sales for a customer from both offline and online sales
USING (
  SELECT total_price FROM `listing_nto_john.nto_orders__dll`
       WHERE customer_name = 'john'
  UNION ALL
  SELECT total_price FROM `listing_nto_john.nto_orders__dll`
       WHERE customer_name = 'john'
) a SELECT SUM(total_price);

BigQuery Omni-Datenübertragung über CTAS

Sie können Create Table As Select (CTAS) verwenden, um Daten aus Data 360-Tabellen in der BigQuery Omni-Region in die Region US zu verschieben.

-- Move all the orders for March to the US region
CREATE OR REPLACE TABLE us_data.online_orders_march
  AS SELECT * FROM listing_nto_john.nto_orders__dll
    WHERE EXTRACT(MONTH FROM order_time) = 3

Die Zieltabelle ist eine verwaltete BigQuery-Tabelle in der Region US. Diese Tabelle kann mit anderen Tabellen zusammengeführt werden. Bei diesem Vorgang fallen AWS-Ausgangsgebühren an, die von der Menge der übertragenen Daten abhängen.

Sobald die Daten verschoben wurden, müssen Sie keine Ausgangsgebühren mehr für Abfragen zahlen, die in der Tabelle online_orders_march ausgeführt werden.

Materialisierte Ansichten von BigQuery Omni

Mit materialisierten Ansichten von BigQuery Omni (CCMV) werden Daten inkrementell von einer BigQuery Omni-Region in eine BigQuery-Region übertragen, die keine BigQuery Omni-Region ist. Richten Sie eine neue CCMV ein, die eine Zusammenfassung des Gesamtumsatzes aus Online-Transaktionen überträgt und diese Daten in die Region US repliziert.

Sie können über Ads Data Hub auf CCMVs zugreifen und sie mit anderen Ads Data Hub-Daten zusammenführen. CCMVs funktionieren größtenteils wie normale verwaltete BigQuery-Tabellen.

Lokale materialisierte Ansicht erstellen

So erstellen Sie eine lokale materialisierte Ansicht:

-- Create a local materialized view that keeps track of total sales by day

CREATE MATERIALIZED VIEW `aws_data.total_sales`
  OPTIONS (enable_refresh = true, refresh_interval_minutes = 60)
  AS SELECT EXTRACT(DAY FROM order_time) AS date, SUM(order_total) as sales
    FROM `listing_nto_john.nto_orders__dll`
    GROUP BY 1;

Materialisierte Ansicht autorisieren

Sie müssen materialisierte Ansichten autorisieren, um eine CCMV zu erstellen. Sie können entweder die Ansicht (aws_data.total_sales) oder das Dataset (aws_data) autorisieren. So autorisieren Sie die materialisierte Ansicht:

  1. Rufen Sie in der Google Cloud Console die Seite "BigQuery" auf.

    BigQuery aufrufen

  2. Öffnen Sie das Quelldataset listing_nto_john.

  3. Klicken Sie auf Freigabe und dann auf Datasets autorisieren.

  4. Geben Sie den Namen des Datasets ein (in diesem Fall listing_nto_john) und klicken Sie auf Ok.

Materialisierte Replikatansicht erstellen

Erstellen Sie eine neue materialisierte Replikatansicht in der Region US. Die materialisierte Ansicht wird regelmäßig repliziert, wenn sich die Quelldaten ändern, damit das Replikat auf dem neuesten Stand ist.

-- Create a replica MV in the us region.
CREATE MATERIALIZED VIEW `us_data.total_sales_replica`
  AS REPLICA OF `aws_data.total_sales`;

Abfrage für eine materialisierte Ansicht eines Replikats ausführen

Im folgenden Beispiel wird eine Abfrage für eine materialisierte Replikatansicht ausgeführt:

-- Find total sales for the current month for the dashboard

SELECT EXTRACT(MONTH FROM CURRENT_DATE()) as month, SUM(sales)
  FROM us_data.total_sales_replica
  WHERE month = EXTRACT(MONTH FROM date)
  GROUP BY 1

Data 360-Daten mit INFORMATION_SCHEMA verwenden

Data 360-Datasets unterstützen BigQuery-Ansichten vom Typ INFORMATION_SCHEMA. Die Daten in den Ansichten vom Typ INFORMATION_SCHEMA werden regelmäßig aus Data 360 synchronisiert und sind möglicherweise veraltet. In der SYNC_STATUS Spalte in den TABLES und SCHEMATA Ansichten werden die letzte abgeschlossene Synchronisierungszeit, alle Fehler, die verhindern, dass BigQuery aktuelle Daten bereitstellt, sowie alle Schritte, die zur Behebung des Fehlers erforderlich sind, angezeigt.

INFORMATION_SCHEMA -Abfragen berücksichtigen keine Datasets, die erst kurz vor der ersten Synchronisierung erstellt wurden.

Data 360-Datasets unterliegen den gleichen Einschränkungen wie andere verknüpfte Datasets, z. B. sind sie nur in INFORMATION_SCHEMA in Dataset-bezogenen Abfragen zugänglich.

Nächste Schritte