Carregue dados do HubSpot para o BigQuery

Pode carregar dados do HubSpot para o BigQuery através do conetor do Serviço de transferência de dados do BigQuery para o HubSpot. Com o Serviço de transferência de dados do BigQuery, pode agendar tarefas de transferência recorrentes que adicionam os seus dados mais recentes do HubSpot ao BigQuery.

Limitações

O conetor da HubSpot requer um token de acesso da app privada para autenticação.

  • Tem de ter uma app privada da HubSpot para ter um token de acesso de app privada antes de poder configurar uma transferência de dados da HubSpot. Para mais informações, consulte os pré-requisitos do HubSpot.

Antes de começar

As secções seguintes descrevem os pré-requisitos que tem de cumprir antes de criar uma transferência de dados do HubSpot.

Pré-requisitos da HubSpot

Tem de criar uma app privada da HubSpot e obter o token de acesso da app privada. Para mais informações, consulte o seguinte:

A app privada também tem de ter os seguintes âmbitos:

  • crm.lists.read
  • crm.lists.write
  • crm.objects.companies.read
  • crm.objects.companies.write
  • crm.objects.contacts.read
  • crm.objects.contacts.write
  • crm.objects.deals.read
  • crm.objects.deals.write
  • crm.objects.owners.read
  • crm.schemas.deals.read
  • crm.schemas.deals.write
  • crm.schemas.companies.read
  • crm.schemas.companies.write
  • crm.schemas.contacts.read
  • crm.schemas.contacts.write

Para obter informações sobre como configurar âmbitos para a sua app privada, consulte o artigo Apps privadas antigas.

Pré-requisitos do BigQuery

Funções do BigQuery necessárias

Para obter as autorizações de que precisa para criar uma transferência de dados do Serviço de transferência de dados do BigQuery, peça ao seu administrador para lhe conceder a função do IAM de administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar uma transferência de dados do Serviço de transferência de dados do BigQuery. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar uma transferência de dados do Serviço de transferência de dados do BigQuery:

  • Autorizações do Serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorizações do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para mais informações, consulte o artigo Conceda acesso ao bigquery.admin.

Se pretender configurar notificações de execução de transferências para o Pub/Sub, certifique-se de que tem a autorização pubsub.topics.setIamPolicyIAM. As autorizações do Pub/Sub não são necessárias se configurar apenas notificações por email. Para mais informações, consulte o artigo Notificações de execução do Serviço de transferência de dados do BigQuery.

Configure uma transferência de dados do HubSpot

Adicione dados do HubSpot ao BigQuery configurando uma configuração de transferência através de uma das seguintes opções:

Consola

  1. Aceda à página Transferências de dados na Google Cloud consola.

    Aceda a Transferências de dados

  2. Clique em Criar transferência.

  3. Na secção Tipo de origem, em Origem, escolha HubSpot – Pré-visualização.

  4. Na secção Detalhes da origem de dados, faça o seguinte:

    • Para Chave de acesso, introduza a sua chave de acesso privada. Para mais informações, consulte os pré-requisitos da HubSpot.
    • Para transferir objetos do HubSpot, clique em Procurar para selecionar quaisquer objetos a transferir para o conjunto de dados de destino do BigQuery. Também pode introduzir manualmente quaisquer objetos a incluir na transferência de dados neste campo.

  5. Na secção Definições de destino, para Conjunto de dados, escolha o conjunto de dados que criou para armazenar os seus dados.

  6. Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados.

  7. Na secção Opções de agendamento:

    • Na lista Frequência de repetição, selecione uma opção para especificar a frequência com que esta transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizado. Se selecionar A pedido, esta transferência é executada quando aciona manualmente a transferência.
    • Se aplicável, selecione Começar agora ou Começar à hora definida e indique uma data de início e um tempo de apresentação.

  8. Opcional: na secção Opções de notificação, faça o seguinte:

    • Para ativar as notificações por email, clique no botão Notificação por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução da transferência falha.
    • Para ativar as notificações de execução de transferências do Pub/Sub para esta transferência, clique no botão ativar/desativar Notificações do Pub/Sub. Pode selecionar o nome do tópico ou clicar em Criar um tópico para criar um.

  9. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a flag de criação de transferência --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Substitua o seguinte:

  • PROJECT_ID (opcional): o ID do seu Google Cloud projeto. Se --project_id não for fornecido para especificar um projeto em particular, é usado o projeto predefinido.
  • DATA_SOURCE: a origem de dados: hubspot.
  • NAME: o nome a apresentar da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.
  • DATASET: o conjunto de dados de destino para a configuração de transferência.

  • PARAMETERS: os parâmetros da configuração de transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Seguem-se os parâmetros para uma transferência de dados do HubSpot:

    • assets: o caminho para os objetos do HubSpot a serem transferidos para o BigQuery.
    • connector.accessToken: a chave do token de acesso privado do HubSpot.

O comando seguinte cria uma transferência de dados do HubSpot no projeto predefinido.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.accessToken": "pat_123456789123"}'
Quando guarda a configuração de transferência, o conetor do HubSpot aciona automaticamente uma execução de transferência de acordo com a opção de programação. Com cada execução de transferência, o conetor do HubSpot transfere todos os dados disponíveis do HubSpot para o BigQuery.

Para executar manualmente uma transferência de dados fora do seu agendamento normal, pode iniciar uma execução de preenchimento.

Mapeamento de tipos de dados

A tabela seguinte mapeia os tipos de dados do HubSpot para os tipos de dados do BigQuery correspondentes:

Tipo de dados do HubSpot Tipo de dados do BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

Preços

Não existe custo para transferir dados do HubSpot para o BigQuery enquanto esta funcionalidade estiver em pré-visualização.

Resolva problemas de configuração da transferência

Se tiver problemas com a configuração da transferência de dados, consulte o artigo Problemas de transferência da HubSpot.

O que se segue?