Présentation des transferts Salesforce

Vous pouvez charger des données de votre Salesforce Sales Cloud dans BigQuery à l'aide du BigQuery Data Transfer Service pour Salesforce. Avec BigQuery Data Transfer Service, vous pouvez planifier des tâches de transfert récurrentes qui ajoutent vos dernières données de Salesforce Sales Cloud à BigQuery.

Pour savoir comment planifier un transfert Salesforce, consultez Charger des données Salesforce dans BigQuery.

Options d'ingestion de données

Les sections suivantes fournissent plus d'informations sur les options d'ingestion de données lorsque vous configurez un transfert de données Salesforce.

Transferts complets ou incrémentiels

Vous pouvez spécifier comment les données sont chargées dans BigQuery en sélectionnant la préférence d'écriture Complète ou Incrémentielle dans la configuration du transfert lorsque vous configurez un transfert Salesforce.

Vous pouvez configurer un transfert de données complet pour transférer toutes les données de vos ensembles de données Salesforce à chaque transfert de données.

Vous pouvez également configurer un transfert de données incrémentiel pour ne transférer que les données qui ont été modifiées depuis le dernier transfert de données, au lieu de charger l'ensemble de données complet à chaque transfert de données. Si vous sélectionnez Incrémentiel pour votre transfert de données, vous devez spécifier les modes d'écriture Ajouter ou Upsert pour définir comment les données sont écrites dans BigQuery lors d'un transfert de données incrémentiel. Les sections suivantes décrivent les modes d'écriture disponibles.

Mode d'écriture "Ajouter"

Le mode d'écriture "Ajouter" n'insère que de nouvelles lignes dans votre table de destination. Cette option ajoute strictement les données transférées sans vérifier les enregistrements existants. Ce mode peut donc entraîner une duplication des données dans la table de destination.

Lorsque vous sélectionnez le mode "Ajouter", vous devez sélectionner une colonne de filigrane. Une colonne de filigrane est requise pour que le connecteur Salesforce puisse suivre les modifications apportées à la table source.

Sélectionnez une colonne de filigrane qui n'est mise à jour que lorsque l'enregistrement a été créé et qui ne changera pas lors des mises à jour ultérieures. Par exemple, la colonne CreatedDate.

Mode d'écriture "Upsert"

Le mode d'écriture "Upsert" met à jour une ligne ou en insère une nouvelle dans votre table de destination en vérifiant une clé primaire. Vous pouvez spécifier une clé primaire pour permettre au connecteur Salesforce de déterminer les modifications nécessaires pour que votre table de destination soit à jour par rapport à votre table source. Si la clé primaire spécifiée est présente dans la table BigQuery de destination lors d'un transfert de données, le connecteur Salesforce met à jour cette ligne avec les nouvelles données de la table source. Si une clé primaire n'est pas présente lors d'un transfert de données, le connecteur Salesforce insère une nouvelle ligne.

Lorsque vous sélectionnez le mode "Upsert", vous devez sélectionner une colonne de filigrane et une clé primaire :

  • Une colonne de filigrane est requise pour que le connecteur Salesforce puisse suivre les modifications apportées à la table source.

    Sélectionnez une colonne de filigrane qui est mise à jour chaque fois qu'une ligne est modifiée. Nous vous recommandons d'utiliser la colonne SystemModstamp ou LastModifiedDate.

  • La clé primaire peut être une ou plusieurs colonnes de votre table qui sont requises pour que le connecteur Salesforce puisse déterminer s'il doit insérer ou mettre à jour une ligne.

    Sélectionnez des colonnes contenant des valeurs non nulles uniques dans toutes les lignes de la table. Nous vous recommandons d'utiliser des colonnes qui incluent des identifiants générés par le système, des codes de référence uniques (par exemple, des ID à incrémentation automatique) ou des ID de séquence immuables basés sur le temps.

    Pour éviter toute perte ou corruption de données, les colonnes de clé primaire que vous sélectionnez doivent avoir des valeurs uniques. Si vous avez des doutes sur l'unicité de la colonne de clé primaire que vous avez choisie, nous vous recommandons d'utiliser le mode d'écriture "Ajouter" à la place.

Comportement d'ingestion incrémentielle

Lorsque vous apportez des modifications au schéma de table dans votre source de données, les transferts de données incrémentiels à partir de ces tables sont reflétés dans BigQuery de la manière suivante :

Modifications apportées à la source de données Comportement d'ingestion incrémentielle
Ajout d'une colonne Une nouvelle colonne est ajoutée à la table BigQuery de destination. Tous les enregistrements précédents de cette colonne auront des valeurs nulles.
Suppression d'une colonne La colonne supprimée reste dans la table BigQuery de destination. Les nouvelles entrées de cette colonne supprimée sont remplies avec des valeurs nulles.
Modification du type de données dans une colonne Le connecteur n'accepte que les conversions de types de données compatibles avec l'instruction LDD ALTER COLUMN. Toute autre conversion de type de données entraîne l'échec du transfert de données.

Si vous rencontrez des problèmes, nous vous recommandons de créer une configuration de transfert.
Renommage d'une colonne La colonne d'origine reste telle quelle dans la table BigQuery de destination, tandis qu'une nouvelle colonne est ajoutée à la table de destination avec le nom mis à jour.

Mappage des types de données

Le tableau suivant mappe les types de données Salesforce aux types de données BigQuery correspondants :

Type de données Salesforce Type de données BigQuery
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

Tarifs

Pour en savoir plus sur les tarifs des transferts Salesforce, consultez Tarifs du service de transfert de données.

Étape suivante