À propos des produits de données

Ce document décrit l'architecture et les concepts clés des produits de données dans Knowledge Catalog (anciennement Dataplex Universal Catalog).

Un produit de données est une collection logique et organisée d'assets de données, formellement regroupés pour garantir leur découvrabilité, leur fiabilité et leur accessibilité. Voici les principales fonctionnalités d'un produit de données :

  • Organisez les composants du catalogue en une unité logique qui résout un problème commercial spécifique et permet d'obtenir des insights plus rapidement.
  • Distribuez avec un contexte incluant une description, une documentation et des aspects.
  • Établissez la confiance avec des contrats qui permettent aux producteurs de données de fournir des garanties aux consommateurs de données.
  • Fournissez un workflow en libre-service aux consommateurs de données pour évaluer les produits de données et accéder aux données.

Concepts clés

Cette section décrit les concepts et la terminologie clés liés aux produits de données.

Produit de données

Il s'agit d'un regroupement logique et organisé d'assets de données, formellement empaquetés pour être détectables, fiables et accessibles afin de résoudre des problèmes commerciaux spécifiques.

Élément

Pointeur vers une ressource de données physique, telle qu'un ensemble de données, une table ou une vue BigQuery. Un produit de données contient un ou plusieurs composants.

Groupe d'accès

Les groupes d'accès simplifient la gestion des autorisations pour votre produit de données. Ils associent des rôles conviviaux (tels que Reader ou Analyst) à des groupes Google ou des comptes de service sous-jacents. Cette abstraction permet aux propriétaires de produits de données de gérer l'accès au niveau conceptuel et aide les consommateurs de produits de données à demander le niveau d'accès approprié.

  • Les propriétaires de produits de données configurent des groupes d'accès et leur attribuent des autorisations spécifiques pour les composants.

  • Les consommateurs de produits de données utilisent ces groupes pour demander l'accès au produit de données.

Propriétaire ou producteur de produits de données

Personne ou équipe responsable de la création et de la gestion des produits de données. Cela inclut la gestion de la qualité, de l'accès et de la documentation.

Consommateur de produits de données

Personne, équipe ou agent d'IA qui consomme des produits de données pour générer des insights.

Contrat

Il s'agit d'un accord entre le propriétaire du produit de données et ses consommateurs. Cet accord définit des attentes claires en précisant les conditions de fourniture et d'utilisation des données, telles que la fréquence d'actualisation et les normes de qualité.

Exemple d'utilisation

Prenons l'exemple d'un data scientist qui analyse une entreprise d'e-commerce. Son objectif est de trouver la valeur moyenne de la commande (AOV) par source de trafic et de voir s'il existe une corrélation entre l'âge des utilisateurs et la taille des commandes. Pour ce faire, il doit combiner les données de plusieurs tables, telles que order_details, user_traffic et user_demographics.

Dans une configuration classique, ce processus crée des frictions. Pour générer des insights, le data scientist doit d'abord trouver les tables appropriées dans le vaste paysage de données de l'entreprise, puis contacter chaque propriétaire de données, justifier sa demande d'accès et attendre l'approbation.

Grâce aux produits de données, les propriétaires de données peuvent simplifier cette expérience en regroupant les composants concernés dans un seul produit nommé "Données commerciales pour l'e-commerce". Ce package comprend les éléments suivants :

  • Éléments

    • Tables BigQuery order_details et user_traffic (contenant l'historique des données de commande et les sources de trafic)
    • Vue BigQuery user_demographics (fournissant des informations sur les utilisateurs sans inclure d'informations permettant de les identifier personnellement)

  • Groupes d'accès

    • Groupes prédéfinis Reader et Writer pour simplifier les demandes d'accès

  • Contrat

    • Un contrat définissant la fréquence d'actualisation des données (par exemple, toutes les semaines à 8h PST)

  • Contexte

    • Documentation avec des exemples de requêtes et d'autres informations
    • Métadonnées supplémentaires pour décrire la sensibilité des données

Les data scientists peuvent désormais découvrir ce produit de données en tant qu'unité logique unique. Ils peuvent ainsi générer des insights pour répondre à des questions telles que "Quelle est la valeur moyenne des commandes pour chaque source de trafic ?", ce qui leur permet de déterminer quelles sources génèrent les clients les plus intéressants.

Parcours utilisateur du produit de données

Le cycle de vie des produits de données dans Knowledge Catalog implique deux parcours utilisateur clés : l'un pour le propriétaire (ou producteur) du produit de données qui crée et gère les données, et l'autre pour le consommateur du produit de données qui les découvre et les utilise.

Parcours du propriétaire de produits de données

Ce parcours se concentre sur l'emballage, la sécurisation et la gouvernance des produits de données pour s'assurer qu'ils sont fiables et accessibles.

  • Créer : définissez le produit de données et incluez des composants. Cela implique les actions suivantes :

    • Configurez le nom unique, le projet, la région et la description.
    • Ajoutez des composants tels que des tables, des ensembles de données ou des vues BigQuery.
    • Configurez des groupes d'accès (par exemple, Analyst ou Reader) et mappez-les aux groupes Google ou aux comptes de service sous-jacents pour simplifier la gestion des autorisations.
    • Attribuez les rôles IAM nécessaires à ces groupes d'accès pour les éléments spécifiques.
    • Ajoutez un contrat (un aspect du système) pour communiquer formellement la cadence, la fréquence et le seuil d'actualisation des données convenus.

    Pour en savoir plus, consultez Créer des produits de données.

  • Gérer : mettez à jour le produit de données et assurez-vous qu'il est facile à trouver. Cela implique les actions suivantes :

    • Modifiez les informations de base, les composants, les autorisations et les aspects supplémentaires (métadonnées), ainsi que la documentation au format texte enrichi.
    • Accorder aux consommateurs l'accès aux produits de données pour qu'ils puissent les découvrir et demander à y accéder.

    Pour en savoir plus, consultez Gérer les produits de données.

Parcours client des produits de données

Ce parcours se concentre sur la recherche rapide de données fiables et l'obtention des autorisations nécessaires pour les utiliser.

  • Découverte : trouvez des données fiables et pertinentes pour un problème commercial spécifique. Pour ce faire, procédez comme suit :

    • Utilisez la recherche Knowledge Catalog avec des mots clés ou le langage naturel pour trouver le produit de données packagé.
    • Examinez l'aperçu, les composants, le contrat et d'autres aspects du produit de données pour déterminer s'il est adapté à l'utilisation.

    Pour en savoir plus, consultez Rechercher des produits de données.

  • Demander l'accès : demandez au propriétaire du produit de données l'autorisation d'accéder aux données.

    Pour en savoir plus, consultez Demander l'accès à des produits de données.

  • Utiliser : accéder aux composants sous-jacents pour générer des insights. Cela implique l'action suivante :

    • Une fois votre demande approuvée, vous pourrez accéder au produit et à ses composants. Par exemple, si le composant est une table BigQuery, vous pouvez accéder au studio BigQuery et interroger directement les données.

    • Pour les applications et les workflows de développement fonctionnant en dehors deGoogle Cloud, vous pouvez exposer le produit de données à l'aide d'une passerelle de métadonnées externe. Pour en savoir plus, consultez Utiliser le serveur MCP distant du catalogue de connaissances.

    Pour en savoir plus, consultez Utiliser des produits de données.

Composants acceptés

Un produit de données peut être composé d'un ou de plusieurs composants de données. Les composants de données suivants sont acceptés :

  • Ensembles de données BigQuery
  • les tables BigQuery
  • Vues BigQuery
  • Routines BigQuery
  • Modèles BigQuery
  • Tables externes BigQuery
  • Ensembles de données Gemini Enterprise Agent Platform
  • Modèles Gemini Enterprise Agent Platform
  • Buckets Cloud Storage

Limites

  • Emplacement : les produits de données et leurs composants sous-jacents doivent résider dans le même emplacementGoogle Cloud .
  • Métadonnées automatiques : la documentation et les insights automatiques ne sont pas compatibles avec les zones multirégionales us (États-Unis) et eu (Union européenne).
  • Modèles BigQuery : l'accès aux modèles BigQuery dans un produit de données est géré par le biais des conditions IAM appliquées à la stratégie IAM de l'ensemble de données parent. Le partage de modèles BigQuery est soumis aux limites des conditions IAM.
  • Quotas et limites : pour obtenir la liste complète des limites de débit et des quotas de capacité des API, consultez Quotas pour les requêtes d'API de produits de données.
  • Les buckets zonaux ne sont pas acceptés.

Étapes suivantes