Introducción al uso compartido de BigQuery

BigQuery sharing (anteriormente Analytics Hub) es una plataforma de intercambio de datos que te permite compartir, descubrir y acceder a datos de forma segura entre límites organizacionales sin replicar datos.

Puedes usar el uso compartido de BigQuery para descubrir conjuntos de datos seleccionados de terceros y de Google, y combinarlos con tus datos internos para aumentar las iniciativas de estadísticas y aprendizaje automático.

Los roles de Identity and Access Management (IAM) para compartir de BigQuery te permiten realizar las siguientes tareas de uso compartido de BigQuery:

  • Publicador de Analytics Hub (roles/analyticshub.publisher): Comparte datos con tu red de socios o dentro de tu propia organización en tiempo real. Las fichas te permiten compartir datos sin replicarlos, y puedes monetizarlas en Google Cloud Marketplace o a través de tus propios canales. Puedes compilar un catálogo de fuentes de datos listas para el análisis con permisos detallados que te permitan entregar datos a los suscriptores autorizados. También puedes administrar las suscripciones y ver las métricas de uso de tus fichas.

  • Suscriptor de Analytics Hub (roles/analyticshub.subscriber): Descubre datos, combina datos compartidos con tus datos existentes y usa las funciones integradas de BigQuery. Cuando te suscribes a una ficha, se crea un conjunto de datos vinculado o una suscripción a Pub/Sub vinculada en tu proyecto Google Cloud . Para administrar tus suscripciones, usa el recurso de suscripción, que almacena información sobre el suscriptor y representa la conexión entre el publicador y el suscriptor.

  • Visualizador de Analytics Hub (roles/analyticshub.viewer): Explora los intercambios y las fichas de datos a los que tienes acceso para ver en BigQuery sharing. Si no tienes permisos de suscripción para las fichas, puedes solicitarle permiso al publicador para acceder a los datos compartidos. Puedes descubrir fichas comerciales integradas en Cloud Marketplace tanto en el uso compartido de BigQuery como en Cloud Marketplace.

  • Administrador de Analytics Hub (roles/analyticshub.admin): Crea intercambios de datos que permiten a los publicadores compartir datos y otorga permisos a los publicadores y suscriptores de datos para acceder a estos intercambios.

Para obtener más información, consulta Configura los roles de Analytics Hub.

Arquitectura

El uso compartido de BigQuery se basa en un modelo de publicación y suscripción de recursos de datosGoogle Cloud , que te permite compartir datos en su lugar sin replicarlos. El uso compartido de BigQuery admite los siguientes recursos:

  • Conjuntos de datos de BigQuery
  • Temas de Pub/Sub

Flujo de trabajo del publicador

En el flujo de trabajo del publicador, creas recursos compartidos en tu proyecto, los organizas en fichas dentro de un intercambio de datos y otorgas acceso a los suscriptores:

Flujo de trabajo para el rol de publicador de Analytics Hub, que incluye recursos compartidos, intercambios de datos y fichas.

En las siguientes secciones, se describen los componentes del flujo de trabajo del publicador.

Conjuntos de datos compartidos

Un conjunto de datos compartido es un conjunto de datos de BigQuery que funciona como la unidad de BigQuery sharing. La separación del procesamiento y el almacenamiento en la arquitectura de BigQuery permite que los publicadores de datos compartan conjuntos de datos con varios suscriptores sin replicar los datos. Como publicador, debes crear o usar un conjunto de datos de BigQuery existente en tu proyecto con los siguientes objetos compatibles:

Los conjuntos de datos compartidos admiten la seguridad a nivel de columna y la seguridad a nivel de fila.

Temas compartidos

Un tema compartido es un tema de Pub/Sub, que es la unidad de uso compartido de datos de transmisión en BigQuery. Como publicador, debes crear o usar un tema de Pub/Sub existente en tu proyecto y distribuirlo a tus suscriptores.

Intercambios de datos

Un intercambio de datos es un contenedor que permite a los publicadores compartir fichas de datos y a los suscriptores buscar y solicitar acceso directamente. Contiene fichas que hacen referencia a recursos compartidos. Los publicadores y administradores pueden otorgar acceso a los suscriptores a nivel de intercambio y de ficha, lo que evita otorgar acceso de forma explícita a los recursos compartidos subyacentes. Cuando creas un intercambio de datos, puedes asignar una dirección de correo electrónico de contacto principal para que los suscriptores puedan comunicarse con el propietario del intercambio de datos.

Un intercambio de datos puede ser de uno de los siguientes tipos:

El rol de administrador de Analytics Hub te permite crear varios intercambios de datos y administrar a los miembros del equipo que realizan tareas de BigQuery sharing.

Fichas

Una ficha es una referencia a un recurso compartido que un publicador anuncia en un intercambio de datos. Como publicador, puedes crear una ficha y especificar la descripción del recurso, las consultas de muestra, los datos de mensajes de muestra, los vínculos a la documentación y las instrucciones pertinentes para los suscriptores. Cuando creas una ficha, puedes asignar una dirección de correo electrónico de contacto principal, detalles del proveedor y detalles del publicador. Para obtener más información, consulta Administra las fichas.

Una ficha puede ser de uno de los siguientes tipos, según la política de IAM establecida para la ficha y su intercambio de datos principal:

  • Ficha privada: De forma predeterminada, una ficha es privada y se comparte directamente con usuarios o grupos específicos. Por ejemplo, una ficha privada puede hacer referencia a conjuntos de datos de métricas internas que compartes con equipos específicos dentro de tu organización.
  • Ficha pública: Se comparte con todos los Google Cloud usuarios (allAuthenticatedUsers). Las fichas en un intercambio de datos públicos son públicas. Estas fichas pueden hacer referencia a recursos públicos gratuitos o recursos comerciales. Si la ficha es de un recurso comercial, los suscriptores pueden solicitar acceso directamente al proveedor de datos o comprar fichas comerciales integradas en Cloud Marketplace.

Opciones de salida de datos

En el caso de los conjuntos de datos compartidos de BigQuery, las opciones de salida de datos permiten que los publicadores restrinjan la exportación de datos de los suscriptores fuera de los conjuntos de datos vinculados.

Los publicadores pueden habilitar restricciones de salida de datos en una ficha, en los resultados de la búsqueda o en ambos. Cuando se restringe la salida de datos, se aplican las siguientes restricciones:

  • Las APIs de copia, clonación, exportación e instantáneas no están disponibles.
  • Las opciones de copia, clonación, exportación y captura de instantáneas no están disponibles en la Google Cloud consola.
  • El Servicio de transferencia de datos de BigQuery no está disponible en el conjunto de datos restringido.
  • Las sentencias CREATE TABLE AS SELECT y la escritura en una tabla de destino no están disponibles.
  • Las sentencias CREATE VIEW AS SELECT y la escritura en una vista de destino no están disponibles.

Cuando creas una ficha, puedes configurar las opciones de salida de datos adecuadas.

Flujo de trabajo del suscriptor

En el flujo de trabajo del suscriptor, exploras los intercambios de datos para descubrir fichas, te suscribes a ellas y consultas los recursos vinculados en tu proyecto:

Flujo de trabajo para el rol de suscriptor de Analytics Hub, que incluye recursos compartidos, intercambios de datos, fichas y recursos vinculados.

En las siguientes secciones, se describen los componentes del flujo de trabajo del suscriptor.

Conjuntos de datos vinculados

Un conjunto de datos vinculado es un conjunto de datos de BigQuery de solo lectura que funciona como un puntero o una referencia a un conjunto de datos compartido. Cuando te suscribes a una ficha, se crea un conjunto de datos vinculado en tu proyecto sin replicar datos. Los suscriptores pueden consultar tablas y vistas estándar en tiempo real, pero no pueden agregar ni actualizar objetos en el conjunto de datos.

Los conjuntos de datos vinculados están autorizados para acceder a las tablas y vistas de un conjunto de datos compartido sin necesidad de una autorización adicional de IAM en el conjunto de datos fuente subyacente. Además de las tablas y vistas estándar, los conjuntos de datos vinculados admiten los siguientes recursos autorizados:

Para obtener más información sobre los conjuntos de datos vinculados, consulta Visualiza y suscríbete a fichas y a intercambios de datos.

Suscripciones vinculadas a Pub/Sub

Si te suscribes a una ficha con un tema compartido, se crea una suscripción a Pub/Sub vinculada en el proyecto del suscriptor sin duplicar el tema compartido ni los datos de los mensajes. Los suscriptores de la suscripción a Pub/Sub vinculada pueden acceder a los mensajes publicados en el tema compartido sin autorización adicional de IAM en el tema de origen. Los publicadores pueden administrar las suscripciones directamente en Pub/Sub o a través de la administración de suscripciones de BigQuery sharing.

Para obtener más información sobre las suscripciones vinculadas de Pub/Sub, consulta Cómo compartir transmisiones con Pub/Sub.

Ejemplos de casos de uso

En esta sección, se proporcionan ejemplos de cómo usar el uso compartido de BigQuery para la colaboración con socios y la monetización de datos.

Colaboración con socios

Supongamos que eres un minorista y que tu organización mantiene datos de previsión de la demanda en tiempo real en un proyecto de Google Cloud llamadoForecasting. Quieres compartir estos datos de previsión de la demanda con cientos de proveedores en tu red de cadena de suministro. En las siguientes secciones, se describe cómo compartir datos entre roles.

Administradores

Como propietario del proyecto Forecasting, habilitas la API de Analytics Hub y otorgas el rol Analytics Hub Admin (roles/analyticshub.admin) a un miembro del equipo que administra el intercambio de datos. Las principales con este rol son administradores de uso compartido de BigQuery.

Un administrador de BigQuery Sharing puede realizar las siguientes tareas:

  • Crear, actualizar, borrar y compartir el intercambio de datos en el proyecto Forecasting de tu organización
  • Administrar a otros administradores de BigQuery sharing con el rol de administrador de Analytics Hub
  • Administra los publicadores de BigQuery sharing otorgando el rol Analytics Hub Publisher (roles/analyticshub.publisher) a los empleados. Si los empleados solo necesitan actualizar, borrar y compartir fichas sin crearlas, otórgales el rol de administrador de fichas de Analytics Hub (roles/analyticshub.listingAdmin).
  • Administra los suscriptores de BigQuery sharing otorgando el rol de suscriptor de Analytics Hub (roles/analyticshub.subscriber) a un grupo de Google que incluya a todos los proveedores. Si los proveedores solo necesitan ver los intercambios y las fichas disponibles sin suscribirse, otórgales el rol de visualizador de Analytics Hub (roles/analyticshub.viewer).

Para obtener más información, consulta Roles de IAM para compartir en BigQuery y Administra intercambios de datos.

Publicadores

En esta situación, los publicadores de datos empaquetan conjuntos de datos de la cadena de suministro en fichas separadas para satisfacer las necesidades de los proveedores. Los publicadores crean las siguientes fichas en el proyecto Forecasting:

  • Ficha A: Conjunto de datos de previsión de la demanda 1
  • Ficha B: Conjunto de datos de previsión de la demanda 2
  • Ficha C: Conjunto de datos de previsión de la demanda 3

Los publicadores pueden hacer un seguimiento de las métricas de uso de sus conjuntos de datos compartidos, incluidos los siguientes detalles:

  • Trabajos que se ejecutan en el conjunto de datos compartido.
  • Son los detalles de consumo por proyectos y organizaciones de los suscriptores.
  • Total de filas y bytes procesados.

Para obtener más información, consulta Administra las fichas.

Suscriptores

Los suscriptores exploran las fichas a las que tienen acceso en los intercambios de datos. Los proveedores se suscriben a estas fichas para agregar conjuntos de datos a sus proyectos como conjuntos de datos vinculados. Luego, los proveedores pueden ejecutar consultas sobre estos conjuntos de datos vinculados y recuperar resultados de previsión en tiempo real.

Para obtener más información, consulta Visualiza y suscríbete a fichas e intercambios de datos.

Monetización de datos

Supongamos que eres un proveedor de datos financieros con conjuntos de datos históricos seleccionados de precios de acciones en un proyecto Google Cloud llamado MarketDataSource. Quieres monetizar estos datos ofreciéndolos a instituciones financieras y operadores externos. En las siguientes secciones, se describe cómo monetizar los datos a través del uso compartido de BigQuery.

Administradores

Como propietario del proyecto MarketDataSource, habilitas la API de Analytics Hub y la API de Cloud Marketplace, y, luego, otorgas el rol Analytics Hub Admin (roles/analyticshub.admin) al equipo que administra el intercambio comercial. Las principales con este rol son administradores de uso compartido de BigQuery.

Un administrador de BigQuery Sharing puede realizar las siguientes tareas:

  • Crea un intercambio de datos público y lo integra con Cloud Marketplace.
  • Administra los publicadores de BigQuery sharing otorgando el rol de publicador de Analytics Hub (roles/analyticshub.publisher) a los ingenieros de datos responsables de crear fichas comerciales. Si los empleados solo necesitan actualizar, borrar y compartir fichas sin crearlas, otórgales el rol Analytics Hub Listing Admin (roles/analyticshub.listingAdmin).
  • Administrar las condiciones comerciales y los modelos de precios en Cloud Marketplace

Para obtener más información, consulta Administra intercambios de datos y Fichas comerciales integradas en Cloud Marketplace.

Publicadores

En este caso, los editores empaquetan productos de datos financieros en fichas por niveles según los modelos de suscripción. Los publicadores crean las siguientes fichas:

  • Listado A: Precios de acciones globales (suscripción mensual)
  • Ficha B: Indicadores de mercado en tiempo real (suscripción anual)
  • Ficha C: Indicadores económicos históricos (prueba gratuita)

Los publicadores pueden hacer un seguimiento de las métricas de uso de sus conjuntos de datos compartidos, incluidos los siguientes detalles:

  • Trabajos que se ejecutan en el conjunto de datos compartido.
  • Son los detalles de consumo por proyectos y organizaciones de los suscriptores.
  • Total de filas y bytes procesados.

Para obtener más información, consulta Administra las fichas.

Suscriptores

Los suscriptores exploran las fichas en BigQuery sharing o directamente en Cloud Marketplace. Después de comprar una suscripción, los suscriptores crean un conjunto de datos vinculado en su proyecto Google Cloud y consultan datos históricos junto con modelos de trading propietarios sin necesidad de replicar archivos ni ingerir datos de forma manual.

Para obtener más información, consulta Visualiza y suscríbete a fichas e intercambios de datos.

Precios

No se aplican costos adicionales por administrar intercambios de datos o fichas en BigQuery sharing.

En la siguiente tabla, se resumen los modelos de precios para los recursos admitidos:

Recurso Costos del publicador Costos de suscriptores Más información
Conjuntos de datos de BigQuery Almacenamiento de datos Consultas que se ejecutan en los datos compartidos (precios a pedido o por capacidad) Precios de BigQuery
Temas de Pub/Sub Datos escritos (capacidad de procesamiento de publicación) y salida de red (si corresponde) Datos leídos (capacidad de procesamiento de suscripción) y salida de red (si corresponde) Precios de Pub/Sub

Regiones admitidas

El uso compartido de BigQuery se admite en las siguientes regiones y multirregiones:

Regiones

En la siguiente tabla, se enumeran las regiones de América en las que está disponible el uso compartido.
Descripción de la región Nombre de la región Detalles
Columbus, Ohio us-east5
Dallas us-south1 ícono de hoja CO2 bajo
Iowa us-central1 ícono de hoja CO2 bajo
Las Vegas us-west4
Los Ángeles us-west2
México northamerica-south1
Montreal northamerica-northeast1 ícono de hoja CO2 bajo
Virginia del Norte us-east4
Oklahoma us-central2 ícono de hoja CO2 bajo
Oregón us-west1 ícono de hoja CO2 bajo
Salt Lake City us-west3
São Paulo southamerica-east1 ícono de hoja CO2 bajo
Santiago southamerica-west1
Carolina del Sur us-east1
Toronto northamerica-northeast2
En la siguiente tabla, se enumeran las regiones de Asia-Pacífico en las que está disponible el uso compartido.
Descripción de la región Nombre de la región Detalles
Delhi asia-south2
Hong Kong asia-east2
Yakarta asia-southeast2
Melbourne australia-southeast2
Bombay asia-south1
Osaka asia-northeast2
Seúl asia-northeast3
Singapur asia-southeast1
Sídney australia-southeast1
Taiwán asia-east1
Tokio asia-northeast1
En la siguiente tabla, se enumeran las regiones de Europa en las que está disponible el uso compartido.
Descripción de la región Nombre de la región Detalles
Bélgica europe-west1 ícono de hoja CO2 bajo
Berlín europe-west10
Finlandia europe-north1 ícono de hoja CO2 bajo
Fráncfort europe-west3
Londres europe-west2 ícono de hoja CO2 bajo
Madrid europe-southwest1 ícono de hoja CO2 bajo
Milán europe-west8
Países Bajos europe-west4 ícono de hoja CO2 bajo
París europe-west9 ícono de hoja CO2 bajo
Turín europe-west12
Varsovia europe-central2
Zúrich europe-west6 ícono de hoja CO2 bajo
En la siguiente tabla, se enumeran las regiones de Oriente Medio en las que está disponible el uso compartido.
Descripción de la región Nombre de la región Detalles
Dammam me-central2
Doha me-central1
Tel Aviv me-west1
En la siguiente tabla, se enumeran las regiones de África en las que está disponible el uso compartido.
Descripción de la región Nombre de la región Detalles
Johannesburgo africa-south1

Multirregiones

En la siguiente tabla, se enumeran las multirregiones en las que está disponible el uso compartido.
Descripción de la multirregión Nombre de la multirregión
Centros de datos dentro de los estados miembros de la Unión Europea1 EU
Centros de datos en Estados Unidos US

1 Los datos ubicados en la multirregión EU no se almacenan en los centros de datos de europe-west2 (Londres) ni deeurope-west6 (Zúrich).

Regiones de varios canales

En la siguiente tabla, se enumeran los Omnis en los que está disponible el uso compartido.
Descripción de la región de varios canales Nombre de la región de varios canales
AWS
AWS - US East (N. Norte) aws-us-east-1
AWS: Oeste de EE.UU. (Oregón) aws-us-west-2
AWS: Asia-Pacífico (Seúl) aws-ap-northeast-2
AWS - Asia-Pacífico (Sídney) aws-ap-southeast-2
AWS: Europa (Irlanda) aws-eu-west-1
AWS - Europa (Fráncfort) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

Cuotas

Para obtener información sobre las cuotas y los límites de los recursos compartidos de BigQuery, consulta Cuotas y límites.

Cumplimiento

El uso compartido de BigQuery, como parte de BigQuery, cumple con los siguientes programas de cumplimiento:

Limitaciones

En las siguientes secciones, se describen las limitaciones operativas y de interoperabilidad para el uso compartido de BigQuery.

Limitaciones generales de recursos

Se aplican las siguientes limitaciones generales de recursos al uso compartido de BigQuery:

  • Un conjunto de datos compartidos puede tener un máximo de 1,000 conjuntos de datos vinculados.
  • Un tema compartido puede tener un máximo de 10,000 suscripciones a Pub/Sub. Este límite incluye las suscripciones de Pub/Sub vinculadas y las suscripciones creadas directamente en Pub/Sub.
  • Un conjunto de datos con recursos no compatibles no se puede seleccionar como un conjunto de datos compartido. Para ver los objetos compatibles, consulta Conjuntos de datos compartidos.
  • No puedes establecer roles de IAM ni políticas de IAM en tablas individuales dentro de un conjunto de datos vinculado. En su lugar, aplícalos a nivel del conjunto de datos vinculado.
  • No puedes adjuntar etiquetas de IAM a las tablas dentro de un conjunto de datos vinculado. En su lugar, aplícalos a nivel del conjunto de datos vinculado.
  • El recurso de suscripción no reabastece los conjuntos de datos vinculados creados antes del 25 de julio de 2023. Solo las suscripciones creadas después del 25 de julio de 2023 funcionan con los métodos de la API.

Limitaciones para publicadores

Si eres publicador, se aplican las siguientes limitaciones de interoperabilidad de BigQuery:

  • Debes otorgar a los suscriptores permisos explícitos para leer el conjunto de datos fuente y consultar vistas dentro de los conjuntos de datos vinculados. Como práctica recomendada, crea vistas autorizadas para otorgar a los suscriptores acceso a los datos de vista sin otorgar acceso a los datos de origen subyacentes.
  • El plan de consultas revela las definiciones de la consulta de vista compartida y la consulta de rutina, incluidos los IDs del proyecto y otros conjuntos de datos involucrados en las vistas autorizadas. No incluyas información sensible, como claves de encriptación, en la vista compartida o la consulta de rutina.
  • Los conjuntos de datos compartidos se indexan en Data Catalog (que dejó de estar disponible) y Knowledge Catalog. Las actualizaciones del esquema en un conjunto de datos compartido están disponibles para los suscriptores de inmediato. Sin embargo, cuando hay más de 100 suscriptores o tablas en un conjunto de datos compartido, las actualizaciones pueden tardar hasta 18 horas en indexarse. Debido a la demora en la indexación, los suscriptores no pueden buscar inmediatamente los recursos actualizados en la consola de Google Cloud .
  • Los temas compartidos se indexan en Data Catalog (obsoleto) y Knowledge Catalog, pero no puedes filtrar específicamente por su tipo de recurso.
  • Si configuras políticas de seguridad a nivel de la fila o enmascaramiento de datos en las tablas enumeradas, los suscriptores deben usar una edición de Enterprise o Enterprise Plus para ejecutar trabajos de consulta en el conjunto de datos vinculado. Para obtener más información sobre las ediciones, consulta Introducción a las ediciones de BigQuery.

Limitaciones de suscriptores

Si eres suscriptor, se aplican las siguientes limitaciones de interoperabilidad de BigQuery:

Limitaciones de las fichas multirregionales

Se aplican las siguientes limitaciones a las fichas que abarcan varias regiones:

  • Las fichas para varias regiones solo se admiten para los conjuntos de datos compartidos y las réplicas de conjuntos de datos vinculados. No se admiten las fichas para varias regiones en los temas o suscripciones compartidos de Pub/Sub.
  • Las fichas de varias regiones no se admiten en las salas limpias de datos.
  • Las fichas para varias regiones no se admiten en las regiones de BigQuery Omni.

Limitaciones de las métricas de uso

Las siguientes limitaciones se aplican a las métricas de uso:

  • No puedes obtener las métricas de uso de las fichas que se suscribieron antes del 20 de julio de 2023.
  • Es posible que las métricas de uso de la tabla externa para los campos num_rows_processed y total_bytes_processed contengan datos inexactos.

  • Las métricas de uso del consumo solo son compatibles con el uso a través de trabajos de BigQuery. Los siguientes recursos no admiten métricas de consumo:

  • Las métricas de uso de las vistas solo se propagan para las consultas posteriores al 22 de abril de 2024.

  • No se capturan las métricas de uso de las suscripciones de Pub/Sub vinculadas en BigQuery. Puedes ver el uso directamente en Pub/Sub.

  • Los procedimientos almacenados de SQL no están disponibles en el panel de métricas de uso compartido de BigQuery. Puedes ver los detalles en la vista INFORMATION_SCHEMA.ROUTINES, pero no en la vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Para obtener más información, consulta Usa vistas de INFORMATION_SCHEMA.

Limitaciones de los Controles del servicio de VPC y Salesforce Data 360

Las siguientes limitaciones se aplican a los Controles del servicio de VPC y a Salesforce Data 360:

  • No publiques datos compartidos ni alojes intercambios de datos en proyectos dentro de perímetros de Controles del servicio de VPC, a menos que configures las reglas de entrada y salida adecuadas para los proyectos de publicadores, los proyectos de intercambio y los proyectos de suscriptores. Para obtener más información, consulta Cómo compartir reglas de los Controles del servicio de VPC.
  • Los datos de Data 360 se comparten como vistas. Como suscriptor, no puedes acceder a las tablas subyacentes a las que hacen referencia las vistas.

¿Qué sigue?