Usar transferencias de terceros
Las transferencias de terceros de BigQuery Data Transfer Service te permiten programar y gestionar automáticamente tareas de carga periódicas de fuentes de datos externas, como Salesforce CRM, Adobe Analytics y Facebook Ads.
Antes de empezar
Antes de crear una transferencia de datos de terceros:
- Comprueba que has completado todas las acciones necesarias para habilitar BigQuery Data Transfer Service.
- Crea un conjunto de datos de BigQuery para almacenar los datos.
- Consulta la documentación de tu fuente de datos de terceros para asegurarte de que has configurado los permisos necesarios para habilitar la transferencia.
- Si quieres configurar notificaciones de ejecuciones de transferencias para Pub/Sub, debes tener permisos de
pubsub.topics.setIamPolicy. No se necesitan permisos de Pub/Sub si solo configura notificaciones por correo electrónico. Para obtener más información, consulta el artículo sobre las notificaciones de ejecución de BigQuery Data Transfer Service.
Roles de BigQuery necesarios
Para obtener los permisos que necesitas para crear una transferencia de datos de BigQuery Data Transfer Service,
pide a tu administrador que te asigne el rol de gestión de identidades y accesos Administrador de BigQuery (roles/bigquery.admin) en tu proyecto.
Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.
Este rol predefinido contiene los permisos necesarios para crear una transferencia de datos de BigQuery Data Transfer Service. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:
Permisos obligatorios
Para crear una transferencia de datos de BigQuery Data Transfer Service, se necesitan los siguientes permisos:
-
Permisos de BigQuery Data Transfer Service:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Permisos de BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.
Para obtener más información, consulta Conceder acceso a bigquery.admin.
Limitaciones
Las transferencias de terceros están sujetas a las siguientes limitaciones:
- Debes crear o actualizar una transferencia de terceros mediante laGoogle Cloud consola.
- No puedes configurar ni actualizar transferencias de terceros con la herramienta de línea de comandos bq.
Configurar una transferencia de datos de terceros
Para crear una transferencia de datos de terceros mediante la Google Cloud consola, sigue estos pasos:
Ve a Google Cloud Marketplace.
Haga clic en el proveedor externo correspondiente.
En la página de documentación del proveedor externo, haz clic en Registrar. El proceso de registro puede tardar un poco.
Cuando hayas completado el registro, haz clic en Configurar transferencia.
En la página Crear transferencia, haz lo siguiente:
En Fuente, elija la fuente de datos de terceros adecuada. Puede hacer clic en Explorar fuentes de datos para ver la lista de proveedores externos en Google Cloud Marketplace.
En Nombre visible, introduce un nombre para la transferencia, como
My Transfer. El nombre de la transferencia puede ser cualquier valor que te permita identificarla fácilmente si necesitas modificarla más adelante.
En Programar, deja el valor predeterminado (Empezar ahora) o haz clic en Empezar a una hora determinada.
En Se repite, elige una opción para determinar la frecuencia con la que se ejecutará la transferencia. Las opciones son:
- Diario (predeterminado)
- Semanal
- Mensual
- Personalizado
- bajo demanda
Si eliges una opción que no sea Diaria, habrá otras opciones disponibles. Por ejemplo, si elige Semanalmente, aparecerá una opción para que seleccione el día de la semana.
En Fecha de inicio y tiempo de ejecución, introduce la fecha y la hora en las que quieres que empiece la transferencia. Si eliges Empezar ahora, esta opción se inhabilita.
En Conjunto de datos de destino, elige el conjunto de datos que has creado para almacenar tus datos.
(Opcional) En la sección Opciones de notificación:
- Haz clic en el interruptor para habilitar las notificaciones por correo electrónico. Si habilitas esta opción, el administrador de las transferencias recibirá una notificación por correo cuando falle una ejecución de transferencia.
- En Seleccionar un tema de Pub/Sub, elige el nombre del tema o haz clic en Crear un tema para crear uno. Esta opción configura las notificaciones de Pub/Sub sobre la transferencia.
Haz clic en Conectar fuente.
Cuando se te pida, haz clic en Aceptar para dar permiso a BigQuery Data Transfer Service para conectarse a la fuente de datos y gestionar tus datos en BigQuery.
Sigue las instrucciones de las páginas siguientes para configurar la conexión a tu fuente de datos externa.
Cuando hayas completado los pasos de configuración, haz clic en Guardar.
Solucionar problemas de configuración de transferencias de terceros
Si tienes problemas para configurar la transferencia, ponte en contacto con el proveedor externo correspondiente. Puedes encontrar la información de contacto en la página de documentación de la transferencia en Google Cloud Marketplace.
Consultar tus datos
Cuando tus datos se transfieren a BigQuery, se escriben en tablas con particiones por hora de ingestión. Para obtener más información, consulta el artículo sobre la introducción a las tablas con particiones.
Si consultas tus tablas directamente en lugar de usar las vistas generadas automáticamente, debes usar la pseudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, consulta Consultar tablas con particiones.
Siguientes pasos
- Para obtener una descripción general de BigQuery Data Transfer Service, consulta el artículo Introducción a BigQuery Data Transfer Service.
- Para obtener información sobre cómo usar las transferencias, como obtener información sobre una configuración de transferencia, enumerar configuraciones de transferencia y ver el historial de ejecuciones de una transferencia, consulta Trabajar con transferencias.