Afficher les fiches et les échanges de données, et s'y abonner

Dans BigQuery Sharing (anciennement Analytics Hub), vous pouvez découvrir des fiches et des échanges de données, et vous y abonner, pour interroger des données partagées directement dans BigQuery sans répliquer les données ni encourir de frais de stockage. L'abonnement crée des ensembles de données associés en lecture seule dans votre projet, qui vous permettent d'analyser les tables et les vues partagées avec vos ressources existantes.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser les fiches, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser les fiches. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser les fiches :

  • Créer des ensembles de données : bigquery.datasets.create sur le projet abonné
  • Interroger des ensembles de données : bigquery.jobs.create sur le projet de l'abonné

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Découvrir des fiches

Pour découvrir des fiches publiques et privées, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Partage (Analytics Hub).

    Accéder à Partage (Analytics Hub)

  2. Cliquez sur Rechercher des fiches. Une boîte de dialogue s'affiche. Elle contient des fiches auxquelles vous pouvez accéder.

  3. Pour filtrer les fiches par nom ou description, saisissez le texte dans le champ Rechercher des fiches.

  4. Dans la section Filtres, filtrez les fiches à l'aide des champs suivants :

    • Fiches : indiquez si vous souhaitez afficher les fiches privées, les fiches publiques ou les fiches au sein de votre organisation.

    • Catégories : sélectionnez une ou plusieurs catégories.

    • Emplacement : sélectionnez un emplacement. Vous ne pouvez effectuer une recherche que par emplacement d'échange de données. Pour en savoir plus, consultez la section Régions où le service est disponible.

    • Fournisseur : sélectionnez un fournisseur de données. Certains fournisseurs de données nécessitent que vous demandiez l'accès à leurs ensembles de données commerciaux. Après avoir demandé l'accès, le fournisseur de données vous contacte pour partager ses ensembles de données.

  5. Parcourez les fiches filtrées.

Découvrir les échanges de données

Pour découvrir des échanges de données, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Partage (Analytics Hub).

    Accéder à Partage (Analytics Hub)

  2. Cliquez sur Rechercher des fiches. Une boîte de dialogue s'affiche. Elle contient des fiches et des échanges de données auxquels vous pouvez vous abonner.

  3. Pour filtrer les échanges de données par nom ou description, saisissez le texte dans le champ Rechercher des fiches.

  4. Dans la section Filtres, filtrez les échanges de data clean room à l'aide des champs suivants :

    • Fiches : cochez la case Salles blanches pour afficher les salles blanches partagées.

    • Catégories : sélectionnez une ou plusieurs catégories.

    • Emplacement : sélectionnez un emplacement. Vous ne pouvez effectuer une recherche que par emplacement d'échange de données. Pour en savoir plus, consultez la section Régions où le service est disponible.

  5. Parcourez les salles blanches de données filtrées.

S'abonner à des fiches

L'abonnement à une fiche vous donne un accès en lecture seule aux données de la fiche en créant un ensemble de données associé dans votre projet.

Pour vous abonner à une fiche, procédez comme suit :

Console

  1. Pour afficher une liste des fiches auxquelles vous avez accès, suivez les étapes décrites dans la section Découvrir des fiches.

  2. Dans la liste des fiches, cliquez sur celle à laquelle vous souhaitez vous abonner. Une boîte de dialogue contenant les détails de la fiche s'affiche. La boîte de dialogue indique si le fournisseur a activé la journalisation des adresses e-mail des abonnés et liste les régions où la fiche est disponible.

  3. Si la fiche nécessite une approbation ou un achat (par exemple, un ensemble de données commercial), cliquez sur Demander l'accès ou Acheter via Marketplace. Sinon, cliquez sur S'abonner pour ouvrir la boîte de dialogue Créer un ensemble de données associé.

  4. Si l'API Analytics Hub n'est pas activée dans votre projet, cliquez sur Activer l'API Analytics Hub dans le message qui s'affiche.

  5. Dans la boîte de dialogue Créer un ensemble de données associé, spécifiez les détails suivants :

    • Projet : saisissez le nom du projet dans lequel vous souhaitez ajouter l'ensemble de données.
    • Nom de l'ensemble de données associé : saisissez un nom pour l'ensemble de données associé.

    • Région principale : sélectionnez la région dans laquelle vous souhaitez créer l'ensemble de données associé.

    • Facultatif : Régions d'instances répliquées : sélectionnez les régions dans lesquelles vous souhaitez créer des instances répliquées d'ensembles de données associés. La colocalisation de votre ensemble de données associé avec d'autres données minimise la sortie et facilite les jointures entre ensembles de données. Pour créer des instances répliquées, vous devez disposer de l'autorisation bigquery.datasets.update sur l'ensemble de données associé.

  6. Pour créer l'ensemble de données associé, cliquez sur Enregistrer.

API

Pour vous abonner à une fiche, appelez la méthode projects.locations.dataExchanges.listings.subscribe :

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud contenant la fiche à laquelle vous souhaitez vous abonner.
  • LOCATION : emplacement de la fiche.
  • DATAEXCHANGE_ID : ID d'échange de données de la fiche.
  • LISTING_ID : ID de la fiche à laquelle vous souhaitez vous abonner.
  • SUBSCRIBER_PROJECT_ID : ID du projet Google Cloud abonné dans lequel vous souhaitez créer l'ensemble de données associé.
  • LINKED_DATASET_ID : ID que vous souhaitez attribuer à l'ensemble de données associé.
  • PRIMARY_REGION : région géographique principale dans laquelle vous souhaitez créer l'ensemble de données associé.

Dans le corps de la requête, spécifiez l'ensemble de données dans lequel vous souhaitez créer l'ensemble de données associé :

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Pour créer un abonnement avec des instances répliquées d'ensembles de données associés dans plusieurs régions, spécifiez la région principale dans le champ location. Pour spécifier des régions d'instances répliquées secondaires, ajoutez-les au champ destinationDataset.replica_locations. Assurez-vous que toutes les régions spécifiées sont des régions où la fiche est disponible.

Si la requête aboutit, le corps de la réponse contient l'objet d'abonnement.

Si vous activez la journalisation des adresses e-mail des abonnés pour l'échange de données ou la fiche avec le champ logLinkedDatasetQueryUserEmail, la réponse d'abonnement contient log_linked_dataset_query_user_email: true. Les données journalisées sont disponibles dans le champ job_principal_subject de la vue INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Si vous activez le partage de procédures stockées (bêta), la réponse de la liste contient stored_procedure_config: true.

S'abonner à des échanges de données

L'abonnement à un échange de données vous donne un accès en lecture seule aux données de l'échange de données en créant un ensemble de données associé dans votre projet.

Pour vous abonner à un échange de salle blanche de données, procédez comme suit :

Console

  1. Pour afficher la liste des échanges de salle blanche de données auxquels vous avez accès, suivez les étapes décrites dans Découvrir les échanges de données.

  2. Dans la liste des salles blanches de données, cliquez sur l'échange de salle blanche de données auquel vous souhaitez vous abonner. Une boîte de dialogue contenant les détails de l'échange de la salle blanche de données s'affiche.

  3. Cliquez sur S'abonner pour ouvrir la boîte de dialogue Ajouter une salle blanche de données au projet.

  4. Si l'API Analytics Hub n'est pas activée dans votre projet, cliquez sur Activer l'API Analytics Hub dans le message qui s'affiche.

  5. Dans la boîte de dialogue Ajouter une salle blanche de données au projet, spécifiez les informations suivantes :

    • Destination : saisissez le nom du projet dans lequel vous souhaitez ajouter l'ensemble de données.

  6. Pour créer l'ensemble de données associé, cliquez sur Enregistrer.

API

Pour vous abonner à un échange de salle blanche de données, appelez la méthode projects.locations.dataExchanges.subscribe :

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud contenant l'échange de données auquel vous souhaitez vous abonner.
  • LOCATION : emplacement de l'échange de données.
  • DATAEXCHANGE_ID : ID de l'échange de données
  • SUBSCRIBER_PROJECT_ID : ID du projet Google Cloud abonné dans lequel vous souhaitez créer l'ensemble de données associé.
  • SUBSCRIPTION_ID : nom de l'abonnement à créer.
  • LINKED_DATASET_ID : ID que vous souhaitez attribuer à l'ensemble de données associé.
  • PRIMARY_REGION : région géographique principale dans laquelle vous souhaitez créer l'ensemble de données associé.

Dans le corps de la requête, spécifiez l'emplacement de destination, le nom de l'abonnement et l'ensemble de données dans lequel vous souhaitez créer l'ensemble de données associé :

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Si la requête aboutit, le corps de la réponse contient l'objet d'opération. Si vous avez activé la journalisation des adresses e-mail des abonnés pour l'échange de données, la réponse d'abonnement contient log_linked_dataset_query_user_email: true.

Afficher les ensembles de données associés

Les ensembles de données associés s'affichent avec les autres ensembles de données dans la consoleGoogle Cloud .

Procédez comme suit pour afficher les ensembles de données associés dans votre projet :

Console

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur classique, cliquez sur category Explorateur classique :

    Bouton du volet Explorateur classique mis en évidence.

    Si le volet Explorateur classique n'est pas visible, cliquez sur Développer le volet de gauche pour l'ouvrir.

  3. Dans le volet Explorateur classique, cliquez sur le nom du projet contenant l'ensemble de données associé Icône de partage d'un ensemble de données associé..

Vous pouvez également rechercher et afficher des ensembles de données associés avec Knowledge Catalog. Pour faire correspondre tous les ensembles de données associés à BigQuery Sharing dans votre requête de recherche, utilisez le prédicat type=dataset.linked. Pour en savoir plus, consultez Syntaxe de recherche dans Knowledge Catalog.

Cloud Shell

Pour lister les ensembles de données associés dans votre projet à l'aide de l'outil de ligne de commande bq, exécutez la commande suivante dans Cloud Shell :

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Remplacez PROJECT_ID par l'ID du projet Google Cloud .

Interroger des ensembles de données associés

Vous pouvez interroger les tables et les vues de vos ensembles de données associés de la même manière que vous interrogez n'importe quelle autre table BigQuery.

Pour interroger une table dans un ensemble de données associé, exécutez une requête SELECT qui référence l'ID de votre projet, l'ID de l'ensemble de données associé et le nom de la table :

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre projet Google Cloud .
  • LINKED_DATASET_ID : ID de l'ensemble de données associé.
  • TABLE_NAME : nom de la table ou de la vue que vous souhaitez interroger.

Pour en savoir plus, consultez Exécuter des requêtes interactives.

Mettre à jour des ensembles de données associés

Les ressources d'un ensemble de données associé sont en lecture seule. Vous ne pouvez pas modifier les données ni les métadonnées des ressources des ensembles de données associés, ni spécifier des autorisations pour des ressources individuelles.

Vous ne pouvez mettre à jour que la description et les libellés de vos ensembles de données associés. Les modifications apportées à un ensemble de données associé n'affectent pas les ensembles de données sources ou partagés.

Pour mettre à jour la description et les libellés d'un ensemble de données associé, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, cliquez sur Explorateur :

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez le nom de votre projet, cliquez sur Ensembles de données, puis cliquez sur le nom de l'ensemble de données associé pour l'ouvrir.

  4. Dans le volet des détails, cliquez sur Modifier les détails et configurez les options suivantes :

    1. Pour ajouter des libellés, consultez la section Ajouter un libellé à un ensemble de données.

    2. Pour activer le classement, développez Options avancées et procédez comme suit :

      1. Sélectionnez Activer le classement par défaut.
      2. Dans la liste Classement par défaut, sélectionnez une option.

  5. Pour enregistrer vos modifications, cliquez sur Enregistrer.

Afficher les métadonnées de table

Pour afficher les métadonnées de table d'un ensemble de données associé, interrogez la vue INFORMATION_SCHEMA.TABLES :

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Remplacez LINKED_DATASET_ID par l'ID de votre ensemble de données associé.

Se désabonner d'ensembles de données associés ou les supprimer

Pour vous désabonner d'un ensemble de données, supprimez l'ensemble de données associé. La suppression d'un ensemble de données associé ne supprime pas l'ensemble de données source.

Vous ne pouvez pas récupérer un ensemble de données associé après l'avoir supprimé. Toutefois, vous pouvez recréer l'ensemble de données associé supprimé à tout moment en vous réabonnant à la fiche.

Si un éditeur supprime votre abonnement, votre ensemble de données associé est dissocié de l'ensemble de données partagé. Comme il s'agit d'une action initiée par l'éditeur sur une ressource appartenant à l'abonné, l'ensemble de données associé reste dans votre projet, mais n'est plus associé. Vous pouvez supprimer l'ensemble de données dissocié.

Pour supprimer un ensemble de données associé, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet Explorateur, cliquez sur Explorateur :

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez le nom de votre projet, cliquez sur Ensembles de données, puis cliquez sur le nom de l'ensemble de données associé pour l'ouvrir.

  4. Cliquez sur Supprimer.

  5. Dans la boîte de dialogue Supprimer l'ensemble de données associé ?, confirmez la suppression en saisissant delete.

  6. Cliquez sur Supprimer.

Étapes suivantes