Introdução às transferências de dados do Salesforce

É possível carregar dados do Salesforce Sales Cloud no BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Salesforce. Com o serviço de transferência de dados do BigQuery, você pode programar jobs de transferência recorrentes que adicionam os dados mais recentes do Salesforce Sales Cloud ao BigQuery.

Para saber como programar uma transferência do Salesforce, consulte Carregar dados do Salesforce no BigQuery.

Opções de ingestão de dados

As seções a seguir fornecem mais informações sobre as opções de ingestão de dados ao configurar uma transferência de dados do Salesforce.

Transferências completas ou incrementais

É possível especificar como os dados são carregados no BigQuery selecionando a preferência de gravação Completa ou Incremental na configuração da transferência ao configurar uma transferência do Salesforce.

Você pode configurar uma transferência de dados completa para transferir todos os dados dos conjuntos de dados do Salesforce a cada transferência.

Como alternativa, você pode configurar uma transferência de dados incremental para transferir apenas os dados que foram alterados desde a última transferência, em vez de carregar todo o conjunto de dados a cada transferência. Se você selecionar Incremental para a transferência de dados, especifique os modos de gravação Adicionar ou Upsert para definir como os dados são gravados no BigQuery durante uma transferência de dados incremental. As seções a seguir descrevem os modos de gravação disponíveis.

Modo de gravação "Adicionar"

O modo de gravação "Adicionar ao final" insere apenas novas linhas na tabela de destino. Essa opção anexa estritamente os dados transferidos sem verificar se há registros existentes. Portanto, esse modo pode causar duplicação de dados na tabela de destino.

Ao selecionar o modo de anexação, é necessário selecionar uma coluna de marca d'água. Uma coluna de marca d'água é necessária para que o conector do Salesforce rastreie as mudanças na tabela de origem.

Selecione uma coluna de marca d'água que seja atualizada apenas quando o registro for criado e que não mude com atualizações subsequentes, por exemplo, a coluna CreatedDate.

Modo de gravação "Upsert"

O modo de gravação "Upsert" atualiza uma linha ou insere uma nova linha na tabela de destino verificando uma chave primária. É possível especificar uma chave primária para que o conector do Salesforce determine quais mudanças são necessárias para manter a tabela de destino atualizada com a tabela de origem. Se a chave primária especificada estiver presente na tabela de destino do BigQuery durante uma transferência de dados, o conector do Salesforce atualizará essa linha com novos dados da tabela de origem. Se uma chave primária não estiver presente durante uma transferência de dados, o conector do Salesforce inserirá uma nova linha.

Ao selecionar o modo de upsert, é necessário selecionar uma coluna de marca d'água e uma chave primária:

  • Uma coluna de marca d'água é necessária para que o conector do Salesforce rastreie as mudanças na tabela de origem.

    Selecione uma coluna de marca d'água que seja atualizada sempre que uma linha for modificada. Recomendamos o uso da coluna SystemModstamp ou LastModifiedDate.

  • A chave primária pode ser uma ou mais colunas na tabela necessárias para que o conector do Salesforce determine se precisa inserir ou atualizar uma linha.

    Selecione colunas que contenham valores não nulos exclusivos em todas as linhas da tabela. Recomendamos colunas que incluam identificadores gerados pelo sistema, códigos de referência exclusivos (por exemplo, IDs de incremento automático) ou IDs de sequência imutáveis baseados em tempo.

    Para evitar possível perda ou corrupção de dados, as colunas de chave primária selecionadas precisam ter valores exclusivos. Se você tiver dúvidas sobre a exclusividade da coluna de chave primária escolhida, recomendamos usar o modo de gravação "Adicionar".

Comportamento de ingestão incremental

Quando você faz mudanças no esquema da tabela na fonte de dados, as transferências de dados incrementais dessas tabelas são refletidas no BigQuery das seguintes maneiras:

Mudanças na fonte de dados Comportamento de ingestão incremental
Adicionar uma nova coluna Uma nova coluna é adicionada à tabela do BigQuery de destino. Todos os registros anteriores dessa coluna terão valores nulos.
Excluir uma coluna A coluna excluída permanece na tabela de destino do BigQuery. Novas entradas nessa coluna excluída são preenchidas com valores nulos.
Mudar o tipo de dados em uma coluna O conector oferece suporte apenas a conversões de tipo de dados compatíveis com a instrução DDL ALTER COLUMN. Qualquer outra conversão de tipo de dados faz com que a transferência de dados falhe.

Se você encontrar algum problema, recomendamos criar uma nova configuração de transferência.
Renomear uma coluna A coluna original permanece na tabela de destino do BigQuery no estado em que se encontra, enquanto uma nova coluna é adicionada à tabela de destino com o nome atualizado.

Mapeamento de tipo de dados

A tabela a seguir mapeia os tipos de dados do Salesforce para os tipos de dados correspondentes do BigQuery:

Tipo de dados do Salesforce Tipo de dados do BigQuery
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

Preços

Para informações de preços sobre transferências do Salesforce, consulte Preços do serviço de transferência de dados.

A seguir