Cargar datos de HubSpot en BigQuery

Puede cargar datos de HubSpot en BigQuery mediante el conector de BigQuery Data Transfer Service para HubSpot. Con BigQuery Data Transfer Service, puedes programar tareas de transferencia periódicas que añadan tus datos más recientes de HubSpot a BigQuery.

Limitaciones

El conector de HubSpot requiere un token de acceso de aplicación privada para la autenticación.

  • Debes tener una aplicación privada de HubSpot para obtener un token de acceso de aplicación privada antes de poder configurar una transferencia de datos de HubSpot. Para obtener más información, consulta los requisitos previos de HubSpot.

Antes de empezar

En las siguientes secciones se describen los requisitos que debes cumplir antes de crear una transferencia de datos de HubSpot.

Requisitos previos de HubSpot

Debes crear una aplicación privada de HubSpot y obtener el token de acceso de la aplicación privada. Para obtener más información, consulta las siguientes secciones:

La aplicación privada también debe tener los siguientes ámbitos:

  • crm.lists.read
  • crm.lists.write
  • crm.objects.companies.read
  • crm.objects.companies.write
  • crm.objects.contacts.read
  • crm.objects.contacts.write
  • crm.objects.deals.read
  • crm.objects.deals.write
  • crm.objects.owners.read
  • crm.schemas.deals.read
  • crm.schemas.deals.write
  • crm.schemas.companies.read
  • crm.schemas.companies.write
  • crm.schemas.contacts.read
  • crm.schemas.contacts.write

Para obtener información sobre cómo configurar los permisos de tu aplicación privada, consulta Aplicaciones privadas antiguas.

Requisitos previos de BigQuery

Roles de BigQuery necesarios

Para obtener los permisos que necesitas para crear una transferencia de datos de BigQuery Data Transfer Service, pide a tu administrador que te asigne el rol de gestión de identidades y accesos Administrador de BigQuery (roles/bigquery.admin) en tu proyecto. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para crear una transferencia de datos de BigQuery Data Transfer Service. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear una transferencia de datos de BigQuery Data Transfer Service, se necesitan los siguientes permisos:

  • Permisos de BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permisos de BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Para obtener más información, consulta Conceder acceso a bigquery.admin.

Si quieres configurar las notificaciones de Pub/Sub sobre las transferencias, asegúrate de que tienes el permiso pubsub.topics.setIamPolicyIAM. No se necesitan permisos de Pub/Sub si solo configuras notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.

Configurar una transferencia de datos de HubSpot

Añada datos de HubSpot a BigQuery configurando una transferencia con una de las siguientes opciones:

Consola

  1. Ve a la página Transferencias de datos de la Google Cloud consola.

    Ir a Transferencias de datos

  2. Haz clic en Crear transferencia.

  3. En la sección Tipo de fuente, en Fuente, elija HubSpot (vista previa).

  4. En la sección Detalles de la fuente de datos, haga lo siguiente:

    • En Token de acceso, introduce tu clave de token de acceso privado. Para obtener más información, consulta los requisitos de HubSpot.
    • En Objetos de HubSpot que se van a transferir, haz clic en Buscar para seleccionar los objetos que se van a transferir al conjunto de datos de destino de BigQuery. También puedes introducir manualmente los objetos que quieras incluir en la transferencia de datos en este campo.

  5. En la sección Configuración de destino, en Conjunto de datos, elija el conjunto de datos que haya creado para almacenar sus datos.

  6. En la sección Nombre de la configuración de transferencia, en Nombre visible, indica un nombre para la transferencia de datos.

  7. En la sección Opciones de programación:

    • En la lista Frecuencia de repetición, selecciona una opción para especificar con qué frecuencia se ejecuta esta transferencia de datos. Para especificar una frecuencia de repetición personalizada, selecciona Personalizar. Si seleccionas Bajo demanda, la transferencia se realizará cuando la inicies manualmente.
    • Si procede, selecciona Empezar ahora o Empezar a una hora determinada y proporciona una fecha de inicio y un tiempo de ejecución.

  8. Opcional: En la sección Opciones de notificación, haz lo siguiente:

    • Para habilitar las notificaciones por correo, haz clic en el interruptor Notificación por correo. Si habilitas esta opción, el administrador de las transferencias recibirá una notificación por correo cuando falle una ejecución de transferencia.
    • Para habilitar las notificaciones de Pub/Sub sobre la transferencia, haz clic en el interruptor Notificaciones de Pub/Sub. Puedes seleccionar el nombre del tema o hacer clic en Crear un tema para crear uno.

  9. Haz clic en Guardar.

bq

Introduce el comando bq mk y proporciona la marca de creación de transferencia --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Haz los cambios siguientes:

  • PROJECT_ID (opcional): su ID de proyecto. Google Cloud Si no se proporciona --project_id para especificar un proyecto concreto, se usará el proyecto predeterminado.
  • DATA_SOURCE: la fuente de datos hubspot.
  • NAME: el nombre visible de la configuración de transferencia de datos. El nombre de la transferencia puede ser cualquier valor que te permita identificarla si necesitas modificarla más adelante.
  • DATASET: el conjunto de datos de destino de la configuración de la transferencia.

  • PARAMETERS: los parámetros de la configuración de transferencia creada en formato JSON. Por ejemplo: --params='{"param":"param_value"}'. Estos son los parámetros de una transferencia de datos de HubSpot:

    • assets: la ruta a los objetos de HubSpot que se van a transferir a BigQuery.
    • connector.accessToken: la clave del token de acceso privado de HubSpot.

El siguiente comando crea una transferencia de datos de HubSpot en el proyecto predeterminado.

    bq mk \
        --transfer_config \
        --target_dataset=mydataset \
        --data_source=hubspot \
        --display_name='My Transfer' \
        --params= ' {
            "assets": ["Contacts", "Deals"],
            "connector.accessToken": "pat_123456789123"}'
Cuando guardas la configuración de la transferencia, el conector de HubSpot activa automáticamente una ejecución de la transferencia según la opción de programación que hayas elegido. En cada ejecución de transferencia, el conector de HubSpot transfiere todos los datos disponibles de HubSpot a BigQuery.

Para ejecutar manualmente una transferencia de datos fuera de tu programación habitual, puedes iniciar una ejecución de rellenado.

Asignación de tipos de datos

En la siguiente tabla se asignan los tipos de datos de HubSpot a los tipos de datos de BigQuery correspondientes:

Tipo de datos de HubSpot Tipo de datos de BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date TIMESTAMP
Datetime TIMESTAMP
Long BIGNUMERIC

Precios

No hay ningún coste por transferir datos de HubSpot a BigQuery mientras esta función esté en vista previa.

Solucionar problemas de configuración de transferencias

Si tienes problemas para configurar la transferencia de datos, consulta Problemas con la transferencia de HubSpot.

Siguientes pasos