Einführung in Salesforce-Übertragungen

Mit dem BigQuery Data Transfer Service für Salesforce-Connector können Sie Daten aus Ihrer Salesforce Sales Cloud in BigQuery laden. Mit dem BigQuery Data Transfer Service können Sie wiederkehrende Übertragungsjobs planen, mit denen Ihre neuesten Daten aus der Salesforce Sales Cloud in BigQuery übertragen werden.

Informationen zum Planen einer Salesforce-Übertragung finden Sie unter Salesforce-Daten in BigQuery laden.

Optionen für die Datenaufnahme

In den folgenden Abschnitten finden Sie weitere Informationen zu den Optionen für die Datenaufnahme beim Einrichten einer Salesforce-Datenübertragung.

Vollständige oder inkrementelle Übertragungen

Sie können angeben, wie Daten in BigQuery geladen werden, indem Sie in der Übertragungs konfiguration beim Einrichten einer Salesforce-Übertragung entweder die Schreibeinstellung Vollständig oder Inkrementell auswählen.

Sie können eine vollständige Datenübertragung so konfigurieren, dass bei jeder Datenübertragung alle Daten aus Ihren Salesforce-Datasets übertragen werden.

Alternativ können Sie eine inkrementelle Datenübertragung so konfigurieren, dass nur Daten übertragen werden, die seit der letzten Datenübertragung geändert wurden. So muss nicht bei jeder Datenübertragung das gesamte Dataset geladen werden. Wenn Sie für Ihre Datenübertragung Inkrementell auswählen, müssen Sie entweder den Schreibmodus Anhängen oder Upsert angeben, um zu definieren, wie Daten bei einer inkrementellen Datenübertragung in BigQuery geschrieben werden. In den folgenden Abschnitten werden die verfügbaren Schreibmodi beschrieben.

Schreibmodus „Anhängen“

Im Schreibmodus „Anhängen“ werden nur neue Zeilen in die Zieltabelle eingefügt. Bei dieser Option werden übertragene Daten einfach angehängt, ohne nach vorhandenen Einträgen zu suchen. Daher kann es in der Zieltabelle zu Datenduplizierungen kommen.

Wenn Sie den Modus „Anhängen“ auswählen, müssen Sie eine Watermark-Spalte auswählen. Eine Watermark-Spalte ist erforderlich, damit der Salesforce-Connector Änderungen in der Quelltabelle nachverfolgen kann.

Wählen Sie eine Watermark-Spalte aus, die nur beim Erstellen des Eintrags aktualisiert wird und sich bei nachfolgenden Aktualisierungen nicht ändert. Beispiel: die Spalte CreatedDate.

Schreibmodus „Upsert“

Im Schreibmodus „Upsert“ wird entweder eine Zeile aktualisiert oder eine neue Zeile in die Zieltabelle eingefügt. Dazu wird nach einem Primärschlüssel gesucht. Sie können einen Primärschlüssel angeben, damit der Salesforce-Connector ermitteln kann, welche Änderungen erforderlich sind, um die Zieltabelle auf dem neuesten Stand zu halten. Wenn der angegebene Primärschlüssel während einer Datenübertragung in der BigQuery-Zieltabelle vorhanden ist, aktualisiert der Salesforce-Connector diese Zeile mit neuen Daten aus der Quelltabelle. Wenn während einer Datenübertragung kein Primärschlüssel vorhanden ist, fügt der Salesforce-Connector eine neue Zeile ein.

Wenn Sie den Modus „Upsert“ auswählen, müssen Sie eine Watermark-Spalte und einen Primärschlüssel auswählen:

  • Eine Watermark-Spalte ist erforderlich, damit der Salesforce-Connector Änderungen in der Quelltabelle nachverfolgen kann.

    Wählen Sie eine Watermark-Spalte aus, die jedes Mal aktualisiert wird, wenn eine Zeile geändert wird. Wir empfehlen die Verwendung der Spalte SystemModstamp oder LastModifiedDate.

  • Der Primärschlüssel kann aus einer oder mehreren Spalten in der Tabelle bestehen, die erforderlich sind, damit der Salesforce-Connector ermitteln kann, ob eine Zeile eingefügt oder aktualisiert werden muss.

    Wählen Sie Spalten mit Nicht-Null-Werten aus, die in allen Zeilen der Tabelle eindeutig sind. Wir empfehlen Spalten mit vom System generierten IDs, eindeutigen Referenzcodes (z. B. automatisch inkrementierende IDs) oder unveränderlichen zeitbasierten Sequenz-IDs.

    Um potenziellen Datenverlust oder Datenbeschädigung zu vermeiden, müssen die ausgewählten Primärschlüsselspalten eindeutige Werte haben. Wenn Sie Zweifel an der Eindeutigkeit der ausgewählten Primärschlüsselspalte haben, empfehlen wir stattdessen den Schreibmodus „Anhängen“.

Verhalten bei der inkrementellen Aufnahme

Wenn Sie Änderungen am Tabellenschema in Ihrer Datenquelle vornehmen, werden inkrementelle Datenübertragungen aus diesen Tabellen in BigQuery auf folgende Weise berücksichtigt:

Änderungen an der Datenquelle Verhalten bei der inkrementellen Aufnahme
Neue Spalte hinzufügen Der BigQuery-Zieltabelle wird eine neue Spalte hinzugefügt. Alle vorherigen Einträge für diese Spalte haben Nullwerte.
Spalte löschen Die gelöschte Spalte bleibt in der BigQuery Zieltabelle. Neue Einträge in dieser gelöschten Spalte werden mit Nullwerten gefüllt.
Datentyp in einer Spalte ändern Der Connector unterstützt nur Datentypkonvertierungen, die von der DDL-Anweisung ALTER COLUMN unterstützt werden. Jede andere Datentypkonvertierung führt dazu, dass die Datenübertragung fehlschlägt.

Wenn Probleme auftreten, empfehlen wir, eine neue Übertragungs konfiguration zu erstellen.
Spalte umbenennen Die ursprüngliche Spalte bleibt unverändert in der BigQuery Zieltabelle. Der Zieltabelle wird eine neue Spalte mit dem aktualisierten Namen hinzugefügt.

Datentypzuordnung

In der folgenden Tabelle werden Salesforce-Datentypen den entsprechenden BigQuery-Datentypen zugeordnet:

Salesforce-Datentyp BigQuery-Datentyp
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

Preise

Preisinformationen zu Salesforce-Übertragungen finden Sie unter Preise für den Data Transfer Service.

Nächste Schritte