Introdução às transferências do Salesforce

É possível carregar dados do Salesforce Sales Cloud para o BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Salesforce. Com o serviço de transferência de dados do BigQuery, é possível programar jobs de transferência recorrentes que adicionam os dados mais recentes da Salesforce Sales Cloud ao BigQuery.

Para saber como programar uma transferência do Salesforce, consulte Carregar dados do Salesforce no BigQuery.

Opções de ingestão de dados

As seções a seguir fornecem mais informações sobre as opções de ingestão de dados ao configurar uma transferência de dados do Salesforce.

Transferências completas ou incrementais

É possível especificar como os dados são carregados no BigQuery selecionando a preferência de gravação Completa ou Incremental na configuração da transferência ao configurar uma transferência do Salesforce.

Você pode configurar uma transferência de dados completa para transferir todos os dados dos conjuntos de dados do Salesforce a cada transferência.

Como alternativa, você pode configurar uma transferência de dados incremental para transferir apenas os dados que foram alterados desde a última transferência, em vez de carregar o conjunto de dados inteiro a cada transferência. Se você selecionar Incremental para a transferência de dados, especifique os modos de gravação Anexar ou Upsert para definir como os dados são gravados no BigQuery durante uma transferência incremental. As seções a seguir descrevem os modos de gravação disponíveis.

Modo de gravação de anexação

O modo de gravação de anexação só insere novas linhas na tabela de destino. Essa opção anexa estritamente os dados transferidos sem verificar registros existentes. Portanto, esse modo pode causar duplicação de dados na tabela de destino.

Ao selecionar o modo de adição, é necessário escolher uma coluna de marca d'água. Uma coluna de marca-d'água é necessária para que o conector do Salesforce rastreie as mudanças na tabela de origem.

Selecione uma coluna de marca-d'água que só seja atualizada quando o registro for criado e não mude com atualizações subsequentes. Por exemplo, a coluna CreatedDate.

Modo de gravação de upsert

O modo de gravação upsert atualiza uma linha ou insere uma nova linha na tabela de destino verificando uma chave primária. Você pode especificar uma chave primária para permitir que o conector do Salesforce determine quais mudanças são necessárias para manter a tabela de destino atualizada com a tabela de origem. Se a chave primária especificada estiver presente na tabela de destino do BigQuery durante uma transferência de dados, o conector do Salesforce vai atualizar essa linha com novos dados da tabela de origem. Se uma chave primária não estiver presente durante uma transferência de dados, o conector do Salesforce vai inserir uma nova linha.

Ao selecionar o modo de upsert, você precisa escolher uma coluna de marca d'água e uma chave primária:

  • Uma coluna de marca d'água é necessária para que o conector do Salesforce rastreie mudanças na tabela de origem.

    Selecione uma coluna de marca d'água que seja atualizada sempre que uma linha for modificada. Recomendamos usar a coluna SystemModstamp ou LastModifiedDate.

  • A chave primária pode ser uma ou mais colunas na sua tabela que são necessárias para que o conector do Salesforce determine se precisa inserir ou atualizar uma linha.

    Selecione colunas que contenham valores não nulos e exclusivos em todas as linhas da tabela. Recomendamos colunas que incluem identificadores gerados pelo sistema, códigos de referência exclusivos (por exemplo, IDs de incremento automático) ou IDs de sequência imutáveis com base em tempo.

    Para evitar possíveis perdas ou corrupção de dados, as colunas de chave primária selecionadas precisam ter valores exclusivos. Se você tiver dúvidas sobre a exclusividade da coluna de chave primária escolhida, recomendamos usar o modo de gravação de adição.

Comportamento de ingestão incremental

Quando você faz mudanças no esquema da tabela na sua fonte de dados, as transferências incrementais de dados dessas tabelas são refletidas no BigQuery das seguintes maneiras:

Mudanças na fonte de dados Comportamento de ingestão incremental
Adicionar uma nova coluna Uma nova coluna é adicionada à tabela de destino do BigQuery. Todos os registros anteriores dessa coluna terão valores nulos.
excluir uma coluna. A coluna excluída permanece na tabela de destino do BigQuery. As novas entradas nessa coluna excluída são preenchidas com valores nulos.
Como mudar o tipo de dados em uma coluna O conector só é compatível com conversões de tipos de dados aceitas pela instrução DDL ALTER COLUMN. Qualquer outra conversão de tipo de dados causa falha na transferência.

Se você tiver problemas, recomendamos criar uma nova configuração de transferência.
Como renomear uma coluna A coluna original permanece na tabela de destino do BigQuery como está, enquanto uma nova coluna é adicionada à tabela de destino com o nome atualizado.

Mapeamento de tipo de dados

A tabela a seguir mapeia os tipos de dados do Salesforce para os tipos de dados correspondentes do BigQuery:

Tipo de dados do Salesforce Tipo de dados do BigQuery
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

Preços

Para informações sobre preços de transferências do Salesforce, consulte Preços do serviço de transferência de dados.

A seguir