Introdução às transferências do Klaviyo

É possível carregar dados do Klaviyo para o BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Klaviyo. Com o serviço de transferência de dados do BigQuery, é possível programar jobs de transferência recorrentes que adicionam seus dados mais recentes do Klaviyo ao BigQuery.

Para saber como programar uma transferência do Klaviyo, consulte Carregar dados do Klaviyo no BigQuery.

Limitações

As transferências incrementais do Klaviyo estão sujeitas às seguintes limitações:

  • Só é possível escolher TIMESTAMP colunas como marca d'água.
  • A ingestão incremental só é compatível com recursos que têm colunas de marca-d'água válidas.
  • Os valores em uma coluna de marca-d'água precisam aumentar monotonicamente.
  • As transferências incrementais não podem sincronizar operações de exclusão na tabela de origem.
  • Uma única configuração de transferência só pode oferecer suporte à ingestão incremental ou completa.
  • Não é possível atualizar objetos na lista asset após a primeira execução de ingestão incremental.
  • Não é possível mudar o modo de gravação em uma configuração de transferência após a primeira execução de ingestão incremental.
  • Não é possível mudar a coluna de marca d'água ou a chave primária após a primeira execução de ingestão incremental.
  • A tabela de destino do BigQuery é agrupada usando a chave primária fornecida e está sujeita às limitações de tabelas em cluster.
  • Quando você atualiza uma configuração de transferência para o modo de ingestão incremental pela primeira vez, a primeira transferência de dados após essa atualização transfere todos os dados disponíveis da sua fonte. As transferências incrementais de dados subsequentes vão transferir apenas as linhas novas e atualizadas da sua fonte de dados.

Opções de ingestão de dados

Estas seções descrevem as opções de ingestão de dados para configurar uma transferência de dados do Klaviyo.

Transferências completas ou incrementais

É possível especificar como os dados são carregados no BigQuery selecionando a preferência de gravação Completa ou Incremental na configuração da transferência ao configurar uma transferência do Klaviyo. As transferências incrementais são compatíveis com o pré-lançamento.

Você pode configurar uma transferência de dados completa para transferir todos os dados dos seus conjuntos de dados do Klaviyo com cada transferência.

Como alternativa, configure uma transferência de dados incremental (prévia) para transferir apenas os dados que foram alterados desde a última transferência, em vez de carregar todo o conjunto de dados a cada transferência. Se você selecionar Incremental para a transferência de dados, especifique os modos de gravação Anexar ou Upsert para definir como os dados são gravados no BigQuery durante uma transferência incremental. As seções a seguir descrevem os modos de gravação disponíveis.

Modo de gravação de anexação

O modo de gravação de anexação só insere novas linhas na tabela de destino. Essa opção anexa estritamente os dados transferidos sem verificar registros existentes. Portanto, esse modo pode causar duplicação de dados na tabela de destino.

Ao selecionar o modo de adição, é necessário escolher uma coluna de marca d'água. Uma coluna de marca-d'água é necessária para que o conector do Klaviyo rastreie as mudanças na tabela de origem.

Para transferências do Klaviyo, recomendamos selecionar uma coluna que só seja atualizada quando o registro for criado e que não mude com atualizações posteriores, como a coluna CREATED_AT.

Modo de gravação de upsert

O modo de gravação upsert atualiza uma linha ou insere uma nova linha na tabela de destino verificando uma chave primária. Você pode especificar uma chave primária para permitir que o conector do Klaviyo determine quais mudanças são necessárias para manter a tabela de destino atualizada com a tabela de origem. Se a chave primária especificada estiver presente na tabela do BigQuery de destino durante uma transferência de dados, o conector do Klaviyo vai atualizar essa linha com novos dados da tabela de origem. Se uma chave primária não estiver presente durante uma transferência de dados, o conector do Klaviyo vai inserir uma nova linha.

Ao selecionar o modo de upsert, você precisa escolher uma coluna de marca d'água e uma chave primária:

  • Uma coluna de marca d'água é necessária para que o conector do Klaviyo rastreie as mudanças na tabela de origem.
    • Selecione uma coluna de marca d'água que seja atualizada sempre que uma linha for modificada. Recomendamos colunas semelhantes às colunas UPDATED_AT ou LAST_MODIFIED.

  • A chave primária pode ser uma ou mais colunas na sua tabela que são necessárias para que o conector do Klaviyo determine se precisa inserir ou atualizar uma linha.

    Selecione colunas que contenham valores não nulos e exclusivos em todas as linhas da tabela. Recomendamos colunas que incluem identificadores gerados pelo sistema, códigos de referência exclusivos (por exemplo, IDs de incremento automático) ou IDs de sequência imutáveis com base em tempo.

    Para evitar possíveis perdas ou corrupção de dados, as colunas de chave primária selecionadas precisam ter valores exclusivos. Se você tiver dúvidas sobre a exclusividade da coluna de chave primária escolhida, recomendamos usar o modo de gravação de adição.

Mapeamento de tipo de dados

A tabela a seguir mapeia os tipos de dados do Klaviyo para os tipos de dados correspondentes do BigQuery:

Tipo de dados do Klaviyo Tipo de dados do BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date (YYYY-MM-DD HH:MM:SS) TIMESTAMP
List ARRAY

Preços

Não há custo para transferir dados do Klaviyo para o BigQuery enquanto esse recurso está em Pré-lançamento.

A seguir