Présentation du partage dans BigQuery

BigQuery Sharing (anciennement Analytics Hub) est une plate-forme d'échange de données qui vous permet de partager, de découvrir et d'accéder à des données de manière sécurisée entre les organisations, sans les répliquer.

Vous pouvez utiliser le partage BigQuery pour découvrir des ensembles de données Google et tiers sélectionnés, et les combiner avec vos données internes afin d'améliorer vos initiatives d'analyse et de machine learning.

Les rôles IAM (Identity and Access Management) de partage BigQuery vous permettent d'effectuer les tâches de partage BigQuery suivantes :

  • Éditeur Analytics Hub (roles/analyticshub.publisher) : partagez des données avec votre réseau partenaire ou au sein de votre propre organisation en temps réel. Les fiches vous permettent de partager des données sans les répliquer. Vous pouvez les monétiser sur Google Cloud Marketplace ou via vos propres canaux. Vous pouvez créer un catalogue de sources de données prêtes pour l'analyse, avec des autorisations précises qui vous permettent de fournir les données aux abonnés autorisés. Vous pouvez également gérer les abonnements et afficher les métriques d'utilisation de vos fiches.

  • Abonné Analytics Hub (roles/analyticshub.subscriber) : découvrez des données, combinez des données partagées avec vos données existantes et utilisez les fonctionnalités intégrées de BigQuery. Lorsque vous vous abonnez à une fiche, un ensemble de données associé ou un abonnement Pub/Sub associé est créé dans votre projet Google Cloud . Pour gérer vos abonnements, utilisez la ressource Abonnement, qui stocke les informations sur l'abonné et représente la connexion entre l'éditeur et l'abonné.

  • Lecteur Analytics Hub (roles/analyticshub.viewer) : parcourez les échanges de données et les fiches que vous pouvez consulter dans BigQuery Sharing. Si vous ne disposez pas des autorisations d'abonnement pour les fiches, vous pouvez demander l'autorisation à l'éditeur pour accéder aux données partagées. Vous pouvez découvrir les fiches commerciales intégrées à Cloud Marketplace à la fois dans BigQuery Sharing et dans Cloud Marketplace.

  • Administrateur Analytics Hub (roles/analyticshub.admin) : créez des échanges de données permettant aux éditeurs de partager des données, et accordez des autorisations aux éditeurs et aux abonnés pour accéder à ces échanges de données.

Pour en savoir plus, consultez Configurer les rôles Analytics Hub.

Architecture

Le partage BigQuery repose sur un modèle de publication et d'abonnement aux ressources de donnéesGoogle Cloud , qui vous permet de partager des données sur place sans réplication. Le partage BigQuery est compatible avec les ressources suivantes :

  • Ensembles de données BigQuery
  • Sujets Pub/Sub

Workflow pour les éditeurs

Dans le workflow de l'éditeur, vous créez des ressources partagées dans votre projet, les organisez en fiches dans un échange de données et accordez l'accès aux abonnés :

Workflow pour le rôle d'éditeur Analytics Hub, qui inclut les ressources partagées, les échanges de données et les fiches.

Les sections suivantes décrivent les composants du workflow de l'éditeur.

Ensembles de données partagés

Un ensemble de données partagé est un ensemble de données BigQuery qui sert d'unité de partage de données dans BigQuery. La séparation du calcul et du stockage dans l'architecture BigQuery permet aux éditeurs de données de partager des ensembles de données avec plusieurs abonnés sans répliquer les données. En tant qu'éditeur, vous créez un ensemble de données BigQuery ou en utilisez un existant dans votre projet avec les objets compatibles suivants :

Les ensembles de données partagés sont compatibles avec la sécurité au niveau des colonnes et la sécurité au niveau des lignes.

Sujets partagés

Un sujet partagé est un sujet Pub/Sub, qui représente l'unité de partage de données en streaming dans BigQuery. En tant qu'éditeur, vous créez un sujet Pub/Sub ou en utilisez un existant dans votre projet, puis vous le distribuez à vos abonnés.

Échanges de données

Un échange de données est un conteneur qui permet aux éditeurs de partager des fiches de données et aux abonnés de les parcourir et de demander l'accès directement. Il contient les fiches qui font référence à des ressources partagées. Les éditeurs et les administrateurs peuvent accorder l'accès aux abonnés au niveau des échanges et des fiches, ce qui évite d'accorder explicitement l'accès aux ressources partagées sous-jacentes. Lorsque vous créez un échange de données, vous pouvez attribuer une adresse e-mail de contact principal afin que les abonnés puissent contacter le propriétaire de l'échange de données.

Un échange de données peut être l'un des types suivants :

Le rôle d'administrateur Analytics Hub vous permet de créer plusieurs échanges de données et de gérer les membres de l'équipe qui effectuent des tâches de partage BigQuery.

Fiches

Une fiche est une référence à une ressource partagée qu'un éditeur répertorie dans un échange de données. En tant qu'éditeur, vous pouvez créer une fiche et spécifier la description de la ressource, des exemples de requêtes, des exemples de données de message, des liens vers la documentation et des instructions pertinentes pour les abonnés. Lorsque vous créez une fiche, vous pouvez attribuer une adresse e-mail de contact principal, des informations sur le fournisseur et des informations sur l'éditeur. Pour en savoir plus, consultez Gérer les fiches.

Une fiche peut être de l'un des types suivants, en fonction de la stratégie IAM définie pour la fiche et son échange de données parent :

  • Fiche privée : par défaut, une fiche est privée et partagée directement avec des utilisateurs ou des groupes spécifiques. Par exemple, une fiche privée peut référencer des ensembles de données de métriques internes que vous partagez avec des équipes spécifiques de votre organisation.
  • Fiche publique : partagée avec tous les utilisateursGoogle Cloud (allAuthenticatedUsers). Les fiches d'un échange de données public sont des fiches publiques. Ces fiches peuvent faire référence à des ressources publiques sans frais ou à des ressources commerciales. Si la fiche correspond à une ressource commerciale, les abonnés peuvent demander l'accès directement au fournisseur de données ou acheter des fiches commerciales intégrées à Cloud Marketplace.

Options de sortie des données

Pour les ensembles de données partagés BigQuery, les options de sortie des données permettent aux éditeurs de limiter l'exportation des données hors des ensembles de données associés par les abonnés.

Les éditeurs peuvent activer des restrictions de sortie des données sur une fiche, les résultats d'une requête ou les deux. Lorsque la sortie des données est limitée, les restrictions suivantes s'appliquent :

Lorsque vous créez une fiche, vous pouvez définir les options de sortie des données appropriées.

Workflow pour les abonnés

Dans le workflow de l'abonné, vous parcourez les échanges de données pour découvrir les fiches, vous vous abonnez aux fiches et vous interrogez les ressources associées dans votre projet :

Workflow pour le rôle d'abonné Analytics Hub, qui inclut les ressources partagées, les échanges de données, les fiches et les ressources associées.

Les sections suivantes décrivent les composants du workflow d'abonné.

Ensembles de données associés

Un ensemble de données associé est un ensemble de données BigQuery en lecture seule qui sert de pointeur ou de référence vers un ensemble de données partagé. L'abonnement à une fiche crée un ensemble de données associé dans votre projet, sans répliquer les données. Les abonnés peuvent interroger les tables et les vues standards en temps réel, mais ils ne peuvent pas ajouter ni modifier d'objets dans l'ensemble de données.

Les ensembles de données associés sont autorisés à accéder aux tables et aux vues d'un ensemble de données partagé sans nécessiter d'autorisation IAM supplémentaire sur l'ensemble de données source sous-jacent. En plus des tables et des vues standards, les ensembles de données associés sont compatibles avec les ressources autorisées suivantes :

Pour en savoir plus sur les ensembles de données associés, consultez Afficher les fiches et s'y abonner.

Abonnements Pub/Sub associés

L'abonnement à une fiche avec un sujet partagé crée un abonnement Pub/Sub associé dans le projet de l'abonné sans dupliquer le sujet ni les données de message partagés. Les abonnés de l'abonnement Pub/Sub associé peuvent accéder aux messages publiés dans le sujet partagé sans autorisation IAM supplémentaire sur le sujet source. Les éditeurs peuvent gérer les abonnements directement dans Pub/Sub ou via la gestion des abonnements BigQuery Sharing.

Pour en savoir plus sur les abonnements Pub/Sub associés, consultez Partage de flux avec Pub/Sub.

Exemples de cas d'utilisation

Cette section fournit des exemples d'utilisation de BigQuery Sharing pour la collaboration avec des partenaires et la monétisation des données.

Collaboration avec des partenaires

Supposons que vous êtes un marchand et que votre organisation gère des données de prévision de la demande en temps réel dans un projet Google Cloud nommé Forecasting. Vous souhaitez partager ces données de prévision de la demande avec des centaines de fournisseurs de votre réseau de chaîne d'approvisionnement. Les sections suivantes décrivent comment partager des données entre les rôles.

Administrateurs

En tant que propriétaire du projet Forecasting, vous activez l'API Analytics Hub et attribuez le rôle Administrateur Analytics Hub (roles/analyticshub.admin) à un membre de l'équipe qui gère l'échange de données. Les comptes principaux disposant de ce rôle sont des administrateurs du partage BigQuery.

Un administrateur BigQuery Sharing peut effectuer les tâches suivantes :

  • Créer, mettre à jour, supprimer et partager l'échange de données dans le projet Forecasting de votre organisation.
  • Gérez d'autres administrateurs BigQuery Sharing avec le rôle Administrateur Analytics Hub.
  • Gérez les éditeurs BigQuery Sharing en attribuant le rôle "Éditeur Analytics Hub" (roles/analyticshub.publisher) aux employés. Si les employés n'ont besoin que de mettre à jour, supprimer et partager des fiches sans les créer, attribuez-leur le rôle Administrateur de la fiche Analytics Hub (roles/analyticshub.listingAdmin).
  • Gérez les abonnés BigQuery Sharing en attribuant le rôle d'abonné Analytics Hub (roles/analyticshub.subscriber) à un groupe Google composé de tous les fournisseurs. Si les fournisseurs n'ont besoin que de consulter les échanges et les fiches disponibles sans s'y abonner, accordez-leur le rôle Lecteur Analytics Hub (roles/analyticshub.viewer).

Pour en savoir plus, consultez Rôles IAM de partage BigQuery et Gérer les échanges de données.

Éditeurs

Dans ce scénario, les éditeurs de données regroupent les ensembles de données de la chaîne d'approvisionnement dans des fiches distinctes pour répondre aux besoins des fournisseurs. Les éditeurs créent les fiches suivantes dans le projet Forecasting :

  • Fiche A : ensemble de données de prévision de la demande 1
  • Fiche B : ensemble de données de prévision de la demande 2
  • Fiche C : ensemble de données de prévision de la demande 3

Les éditeurs peuvent suivre les métriques d'utilisation de leurs ensembles de données partagés, y compris les informations suivantes :

  • Jobs exécutés sur l'ensemble de données partagé.
  • Détails de la consommation par projets et organisations des abonnés.
  • Nombre total de lignes et d'octets traités.

Pour en savoir plus, consultez Gérer les fiches.

Abonnés

Les abonnés parcourent les fiches auxquelles ils ont accès dans les échanges de données. Les fournisseurs s'abonnent à ces fiches pour ajouter des ensembles de données à leurs projets en tant qu'ensembles de données associés. Les fournisseurs peuvent ensuite exécuter des requêtes sur ces ensembles de données associés et obtenir des résultats de prévision en temps réel.

Pour en savoir plus, consultez Afficher les fiches et les échanges de données et s'y abonner.

Monétisation des données

Supposons que vous soyez un fournisseur de données financières et que vous disposiez d'ensembles de données historiques sur les prix des actions dans un projet Google Cloud nommé MarketDataSource. Vous souhaitez monétiser ces données en les proposant à des institutions financières et des traders externes. Les sections suivantes décrivent comment monétiser les données grâce au partage BigQuery.

Administrateurs

En tant que propriétaire du projet MarketDataSource, vous activez l'API Analytics Hub et l'API Cloud Marketplace, puis vous accordez le rôle Administrateur Analytics Hub (roles/analyticshub.admin) à l'équipe chargée de gérer l'échange commercial. Les comptes principaux disposant de ce rôle sont des administrateurs du partage BigQuery.

Un administrateur BigQuery Sharing peut effectuer les tâches suivantes :

  • Créez un échange de données public et intégrez-le à Cloud Marketplace.
  • Gérez les éditeurs BigQuery Sharing en attribuant le rôle Éditeur Analytics Hub (roles/analyticshub.publisher) aux ingénieurs des données chargés de créer des fiches commerciales. Si les employés n'ont besoin que de mettre à jour, supprimer et partager des fiches sans les créer, attribuez-leur le rôle Administrateur de la fiche Analytics Hub (roles/analyticshub.listingAdmin).
  • Gérez les conditions commerciales et les modèles de tarification dans Cloud Marketplace.

Pour en savoir plus, consultez Gérer les échanges de données et Fiches commerciales intégrées à Cloud Marketplace.

Éditeurs

Dans ce scénario, les éditeurs regroupent les produits de données financières dans des fiches à plusieurs niveaux en fonction des modèles d'abonnement. Les éditeurs créent les fiches suivantes :

  • Liste A : Prix des actions mondiales (abonnement mensuel)
  • Fiche B : Signaux de marché en temps réel (abonnement annuel)
  • Fiche C : Indicateurs économiques historiques (essai sans frais)

Les éditeurs peuvent suivre les métriques d'utilisation de leurs ensembles de données partagés, y compris les informations suivantes :

  • Jobs exécutés sur l'ensemble de données partagé.
  • Détails de la consommation par projets et organisations des abonnés.
  • Nombre total de lignes et d'octets traités.

Pour en savoir plus, consultez Gérer les fiches.

Abonnés

Les abonnés parcourent les annonces dans BigQuery Sharing ou directement dans Cloud Marketplace. Après avoir souscrit un abonnement, les abonnés créent un ensemble de données associé dans leur projet Google Cloud et interrogent les données historiques en parallèle des modèles de trading propriétaires, sans ingestion manuelle de données ni réplication de fichiers.

Pour en savoir plus, consultez Afficher les fiches et les échanges de données et s'y abonner.

Tarifs

La gestion des échanges de données ou des fiches dans BigQuery Sharing n'entraîne aucun coût supplémentaire.

Le tableau suivant récapitule les modèles de tarification pour les ressources compatibles :

Ressource Coûts de l'éditeur Coûts des abonnés En savoir plus
Ensembles de données BigQuery Stockage de données Requêtes exécutées sur les données partagées (tarification à la demande ou par capacité) Tarifs de BigQuery
Sujets Pub/Sub Données écrites (débit de publication) et sortie réseau (le cas échéant) Données lues (débit d'abonnement) et sortie réseau (le cas échéant) Tarifs de Pub/Sub

Régions où le service est disponible

Le partage BigQuery est disponible dans les régions et les emplacements multirégionaux suivants :

Régions

Le tableau suivant répertorie les régions des Amériques où le partage est disponible.
Description de la région Nom de la région Détails
Columbus, Ohio us-east5
Dallas us-south1 Icône Feuille Faibles émissions de CO2
Iowa us-central1 Icône Feuille Faibles émissions de CO2
Las Vegas us-west4
Los Angeles us-west2
Mexique northamerica-south1
Montréal northamerica-northeast1 Icône Feuille Faibles émissions de CO2
Virginie du Nord us-east4
Oklahoma us-central2 icône feuille Faibles émissions de CO2
Oregon us-west1 Icône Feuille Faibles émissions de CO2
Salt Lake City us-west3
São Paulo southamerica-east1 Icône Feuille Faibles émissions de CO2
Santiago southamerica-west1
Caroline du Sud us-east1
Toronto northamerica-northeast2
Le tableau suivant répertorie les régions d'Asie-Pacifique où le partage est disponible.
Description de la région Nom de la région Détails
Delhi asia-south2
Hong Kong asia-east2
Jakarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Séoul asia-northeast3
Singapour asia-southeast1
Sydney australia-southeast1
Taïwan asia-east1
Tokyo asia-northeast1
Le tableau suivant répertorie les régions en Europe où le partage est disponible.
Description de la région Nom de la région Détails
Belgique europe-west1 Icône Feuille Faibles émissions de CO2
Berlin europe-west10
Finlande europe-north1 Icône Feuille Faibles émissions de CO2
Francfort europe-west3
Londres europe-west2 icône feuille Faibles émissions de CO2
Madrid europe-southwest1 Icône Feuille Faibles émissions de CO2
Milan europe-west8
Pays-Bas europe-west4 Icône Feuille Faibles émissions de CO2
Paris europe-west9 Icône Feuille Faibles émissions de CO2
Turin europe-west12
Varsovie europe-central2
Zurich europe-west6 Icône Feuille Faibles émissions de CO2
Le tableau suivant répertorie les régions du Moyen-Orient où le partage est disponible.
Description de la région Nom de la région Détails
Dammam me-central2
Doha me-central1
Tel-Aviv me-west1
Le tableau suivant répertorie les régions d'Afrique où le partage est disponible.
Description de la région Nom de la région Détails
Johannesburg africa-south1

Emplacements multirégionaux

Le tableau suivant répertorie les emplacements multirégionaux où le partage est disponible.
Description de la zone multirégionale Nom de l'emplacement multirégional
Centres de données dans les États membres de l'Union européenne1 EU
Centres de données aux États-Unis US

1 Les données situées dans la zone multirégionale EU ne sont pas stockées dans les centres de données des régions europe-west2 (Londres) ou europe-west6 (Zurich).

Régions Omni

Le tableau suivant répertorie les régions Omni où le partage est disponible.
Description de la région Omni Nom de la région Omni
AWS
AWS Est des États-Unis (Virginie du Nord) aws-us-east-1
AWS Est des États-Unis (Oregon) aws-us-west-2
AWS – Asie-Pacifique (Séoul) aws-ap-northeast-2
AWS – Asie-Pacifique (Sydney) aws-ap-southeast-2
AWS – Europe (Irlande) aws-eu-west-1
AWS – Europe (Francfort) aws-eu-central-1
Azure
Azure – Est des États-Unis 2 azure-eastus2

Quotas

Pour en savoir plus sur les quotas et les limites des ressources de partage BigQuery, consultez Quotas et limites.

Conformité

BigQuery Sharing, qui fait partie de BigQuery, est conforme aux programmes de conformité suivants :

Limites

Les sections suivantes décrivent les limites opérationnelles et d'interopérabilité pour le partage BigQuery.

Limites générales des ressources

Les limites générales suivantes s'appliquent au partage BigQuery :

  • Un ensemble de données partagé peut contenir au maximum 1 000 ensembles de données associés.
  • Un sujet partagé peut comporter un maximum de 10 000 abonnements Pub/Sub. Cette limite inclut les abonnements Pub/Sub associés et ceux créés directement dans Pub/Sub.
  • Un ensemble de données contenant des ressources non compatibles ne peut pas être sélectionné en tant qu'ensemble de données partagé. Pour connaître les objets compatibles, consultez Ensembles de données partagés.
  • Vous ne pouvez pas définir de rôles IAM ni de stratégies IAM sur des tables individuelles d'un ensemble de données associé. Appliquez-les plutôt au niveau de l'ensemble de données associé.
  • Vous ne pouvez pas associer de tags IAM aux tables d'un ensemble de données associé. Appliquez-les plutôt au niveau de l'ensemble de données associé.
  • Les ensembles de données associés créés avant le 25 juillet 2023 ne sont pas remplis par la ressource d'abonnement. Seuls les abonnements créés après le 25 juillet 2023 fonctionnent avec les méthodes d'API.

Limites applicables aux éditeurs

Si vous êtes éditeur, les limitations d'interopérabilité BigQuery suivantes s'appliquent :

  • Vous devez accorder explicitement aux abonnés l'autorisation de lire l'ensemble de données source pour qu'ils puissent interroger les vues dans les ensembles de données associés. Nous vous recommandons de créer des vues autorisées pour autoriser les abonnés à accéder aux données d'une vue sans leur donner accès aux données sources sous-jacentes.
  • Le plan de requête affiche les définitions de la requête sur la vue partagée et de la requête de routine, y compris les ID de projet et les autres ensembles de données impliqués dans les vues autorisées. N'incluez pas d'informations sensibles, telles que des clés de chiffrement, dans la requête de vue partagée ou de routine.
  • Les ensembles de données partagés sont indexés dans Data Catalog (obsolète) et Knowledge Catalog. Les mises à jour du schéma d'un ensemble de données partagé sont immédiatement disponibles pour les abonnés. Toutefois, lorsqu'un ensemble de données partagé contient plus de 100 abonnés ou tables, les mises à jour peuvent prendre jusqu'à 18 heures pour être indexées. En raison du délai d'indexation, les abonnés ne peuvent pas rechercher immédiatement dans la console Google Cloud les ressources mises à jour.
  • Les thèmes partagés sont indexés dans Data Catalog (obsolète) et Knowledge Catalog, mais vous ne pouvez pas filtrer spécifiquement leur type de ressource.
  • Si vous configurez des règles de sécurité au niveau des lignes ou de masquage des données sur les tables listées, les abonnés doivent utiliser une édition Enterprise ou Enterprise Plus pour exécuter des jobs de requête sur l'ensemble de données associé. Pour en savoir plus sur les éditions, consultez Présentation des éditions BigQuery.

Limites d'abonnés

Si vous êtes abonné, les limites d'interopérabilité BigQuery suivantes s'appliquent :

Limites concernant les fiches multirégionales

Les limites suivantes s'appliquent aux fiches couvrant plusieurs régions :

  • Les fiches pour plusieurs régions ne sont acceptées que pour les ensembles de données partagés et les répliques d'ensembles de données associés. Les fiches pour plusieurs régions ne sont pas acceptées pour les sujets ou abonnements Pub/Sub partagés.
  • Les fiches pour plusieurs régions ne sont pas acceptées dans les data clean rooms.
  • Les fiches pour plusieurs régions ne sont pas compatibles avec les régions BigQuery Omni.

Limites des métriques d'utilisation

Les limites suivantes s'appliquent aux métriques d'utilisation :

  • Vous ne pouvez pas obtenir les métriques d'utilisation d'abonnements souscrits avant le 20 juillet 2023.
  • Les métriques d'utilisation de table externe pour les champs num_rows_processed et total_bytes_processed peuvent contenir des données inexactes.

  • Les métriques d'utilisation de la consommation ne sont compatibles qu'avec l'utilisation des jobs BigQuery. Les ressources suivantes ne sont pas compatibles avec les métriques de consommation :

  • Les métriques d'utilisation des vues ne sont renseignées que pour les requêtes effectuées après le 22 avril 2024.

  • Les métriques d'utilisation ne sont pas enregistrées pour les abonnements Pub/Sub associés dans BigQuery. Vous pouvez consulter l'utilisation directement dans Pub/Sub.

  • Les procédures stockées SQL ne sont pas disponibles dans le tableau de bord des métriques d'utilisation du partage BigQuery. Vous pouvez afficher les détails dans la vue INFORMATION_SCHEMA.ROUTINES, mais pas dans la vue INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Pour en savoir plus, consultez Utiliser les vues INFORMATION_SCHEMA.

Limites de VPC Service Controls et Salesforce Data 360

Les limites suivantes s'appliquent à VPC Service Controls et à Salesforce Data 360 :

  • Ne publiez pas de données partagées ni n'hébergez d'échanges de données dans des projets situés dans des périmètres VPC Service Controls, sauf si vous configurez des règles d'entrée et de sortie appropriées pour les projets d'éditeurs, les projets d'échange et les projets d'abonnés. Pour en savoir plus, consultez Partager des règles VPC Service Controls.
  • Les données Data 360 sont partagées en tant que vues. En tant qu'abonné, vous ne pouvez pas accéder aux tables sous-jacentes référencées par les vues.

Étapes suivantes