Carregar dados do Mailchimp no BigQuery

É possível carregar dados do Mailchimp no BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Mailchimp. Com o serviço de transferência de dados do BigQuery, você pode programar jobs de transferência recorrentes que adicionam seus dados mais recentes do Mailchimp ao BigQuery. O conector do Mailchimp tem suporte a várias contas, incluindo contas padrão e Express do Mailchimp.

Limitações

  • A API de marketing do Mailchimp oferece suporte a um máximo de 10 conexões simultâneas por usuário. Exceder esse limite resulta no erro 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections
    • Para evitar atingir esse limite de taxa, recomendamos executar apenas uma transferência de dados por conta do Mailchimp.
    • Para mais informações, consulte Glossário de erros.
  • O tipo de dados Integer no Mailchimp tem um valor máximo aceito de 2.147.483.647 em todos os objetos.
    • No entanto, alguns campos do Mailchimp aceitam valores mais altos, como o campo Quantity em EcommerceOrderLines e EcommerceCartLines.

Limitações do campo de matriz

O conector do Mailchimp não oferece suporte a campos ARRAY nos seguintes objetos do Mailchimp:

Objeto do Mailchimp Campos ARRAY não aceitos
Campaigns VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations
EcommerceCarts Lines
EcommerceProducts Variants
ListMembers TagsAggregate
ListMergeFields Options_Choices
Lists Modules
AuthorizedApps Users
AutomationEmails Settings_AutoFbPost
CampaignOpenEmailDetails Opens
EcommerceProductImages VariantIds
ListSignupForms Contents, Styles
ReportEmailActivity Activity
Reports Timewarp

Antes de começar

As seções a seguir descrevem os pré-requisitos que você precisa atender antes de criar uma transferência de dados do Mailchimp.

Pré-requisitos do Mailchimp

Para ativar as transferências de dados do Mailchimp para o BigQuery, é necessário ter uma chave de API do Mailchimp para autorização e acesso. Para informações sobre como conseguir uma chave de API, consulte Gerar uma chave de API.

Pré-requisitos do BigQuery

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery, peça ao administrador para conceder a você o Administrador do BigQuery (roles/bigquery.admin) papel do IAM no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações, consulte Conceder acesso bigquery.admin.

Se você pretende configurar notificações de execução de transferência do Pub/Sub, verifique se tem a permissão do IAM pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias caso você configure apenas notificações por e-mail. Para saber mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Configurar uma transferência de dados do Mailchimp

Adicione dados do Mailchimp ao BigQuery configurando uma transferência usando uma das seguintes opções:

Console

  1. Acesse a página Transferências de dados no Google Cloud console.

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na seção Tipo de origem, em Origem, escolha Mailchimp – Visualização.

  4. Na seção Detalhes da fonte de dados, faça o seguinte:

    • Em Chave de API, insira sua chave de API do Mailchimp. Para mais informações, consulte Pré-requisitos do Mailchimp.
    • Opcional: em Data de início, especifique uma data de início para que novos registros sejam incluídos na transferência de dados. Somente os registros criados nessa data ou depois dela serão incluídos na transferência de dados.
      • Insira uma data no formato YYYY-MM-DD. O valor mínimo é 2001-01-01.
    • Em Objetos do Mailchimp para transferência, clique em Procurar para selecionar os objetos a serem transferidos para o conjunto de dados de destino do BigQuery. Também é possível inserir manualmente os objetos a serem incluídos na transferência de dados nesse campo.

  5. Na seção Configurações de destino, no campo Conjunto de dados, escolha o conjunto de dados que você criou para armazenar seus dados.

  6. No campo Nome de exibição da seção Nome de configuração da transferência, insira um nome para a transferência de dados.

  7. Na seção Opções de programação, faça o seguinte:

    • Na lista Frequência de repetição, selecione uma opção para especificar com que frequência essa transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizada. Se você selecionar Sob demanda, essa transferência será executada quando você acionar manualmente a transferência.
    • Se aplicável, selecione Começar agora ou Começar no horário definido e escolha uma data de início e hora de execução.

  8. Opcional: na seção Opções de notificação, faça o seguinte:

    • Para ativar as notificações por e-mail, clique no botão que ativa as Notificações por e-mail. Quando essa opção está ativada, o administrador da transferência recebe uma notificação por e-mail quando uma execução da transferência falha.
    • Para ativar as notificações de execução de transferência do Pub/Sub para essa transferência, clique no botão de alternância Notificações do Pub/Sub. Selecione o nome do tópico ou clique em Criar tópico.

  9. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Substitua:

  • PROJECT_ID (opcional): ID do seu Google Cloud projeto. Se --project_id não for fornecido para especificar um projeto determinado, o projeto padrão será usado;
  • DATA_SOURCE: a fonte de dados — mailchimp.
  • NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la, caso você precise modificá-la mais tarde.
  • DATASET: o conjunto de dados de destino na configuração da transferência.

  • PARAMETERS é o parâmetro da configuração de transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Confira a seguir os parâmetros de uma transferência de dados do Mailchimp:

    • assets: o caminho para os objetos do Mailchimp a serem transferidos para o BigQuery.
    • connector.authentication.apiKey: a chave de API do Mailchimp.
    • connector.startDate: (opcional) uma data de início para que novos registros sejam incluídos na transferência de dados, no formato YYYY-MM-DD. Somente os registros criados nessa data ou depois dela serão incluídos na transferência de dados.

O comando a seguir cria uma transferência de dados do Mailchimp no projeto padrão.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=mailchimp
        --display_name='My Transfer'
        --params='{"assets": "Lists",
            "connector.authentication.apiKey":"1234567",
            "connector.startDate":"2025-01-01"}'
Ao salvar a configuração de transferência, o conector do Mailchimp aciona automaticamente uma execução de transferência de acordo com a opção de programação. A cada execução de transferência, o conector do Mailchimp transfere todos os dados disponíveis do Mailchimp para o BigQuery.

Para executar manualmente uma transferência de dados fora da programação normal, você pode iniciar uma execução de preenchimento.

Mapeamento de tipo de dados

A tabela a seguir mapeia os tipos de dados do Mailchimp para os tipos de dados correspondentes do BigQuery:

Tipo de dados do Mailchimp Tipo de dados do BigQuery Descrição
String STRING
Integer INT64
Number BIGNUMERIC Os objetos de dados Number do Mailchimp são mapeados para o tipo de dados BIGNUMERIC para campos financeiros, como Price e OrderTotal, ou para o tipo de dados FLOAT64, para outros campos, como Stats_OpenRate e Location_Latitude.
Number FLOAT64
Boolean BOOLEAN
String no formato de data e hora TIMESTAMP Os tipos de dados STRING no formato de data e hora são representados no formato ISO 8601. Por exemplo, 2019-08-24T14:15:22Z.

Preços

Não há custo para transferir dados do Mailchimp para o BigQuery enquanto esse recurso está em Pré-lançamento.

Resolver problemas na configuração da transferência

Se você tiver problemas para configurar a transferência de dados, consulte Problemas de transferência do Mailchimp.

A seguir