Présentation du catalogue universel Dataplex

Dataplex Universal Catalog est une solution de gouvernance des données unifiée et intelligente qui vous aide à gérer, comprendre et utiliser vos assets de données dans votre organisation. Grâce à l'IA, Dataplex Universal Catalog simplifie l'utilisation des données distribuées dans différents systèmes, ce qui vous permet de vous concentrer sur l'obtention d'insights précieux.

Prenons l'exemple d'une entreprise de vente au détail mondiale qui génère de grandes quantités de données sur les ventes, l'inventaire et les clients, et qui les stocke dans Cloud Storage, Spanner et Pub/Sub. Lorsque les données sont distribuées de cette manière dans les systèmes, il peut être complexe et chronophage de gérer la gouvernance, d'assurer la qualité et de maintenir la conformité. Dataplex Universal Catalog simplifie ces processus en fournissant un catalogue de données centralisé permettant de découvrir, de profiler, de valider, de suivre la traçabilité et de contrôler l'accès aux éléments de données de l'organisation.

Ce document décrit les principales fonctionnalités de Dataplex Universal Catalog et met en avant les principaux cas d'utilisation.

Fonctionnalités de Dataplex Universal Catalog

Dataplex Universal Catalog gouverne les données grâce aux fonctionnalités suivantes :

  • Catalogage des métadonnées. Récupérez les métadonnées des ressources Google Cloud (dans BigQuery, Cloud SQL, Spanner, Vertex AI, Pub/Sub, Dataform, Dataproc Metastore) et des ressources tierces que vous importez dans Dataplex Universal Catalog pour obtenir un catalogue de données instantané.
  • Découverte des données : Analysez les données structurées et non structurées dans les buckets Cloud Storage pour extraire et cataloguer leurs métadonnées.
  • Insights sur les données : Utilisez l'IA pour générer des questions en langage naturel sur vos données, identifier des modèles, évaluer la qualité des données et effectuer des analyses statistiques.
  • Profilage des données : Identifiez les caractéristiques courantes des données de colonne dans vos tables BigQuery (par exemple, les valeurs de données typiques, la distribution des données et le nombre de valeurs nulles), qui peuvent vous aider à classer les données et à assurer leur qualité.
  • Qualité des données : Définissez et mesurez la qualité des données dans vos tables BigQuery en validant les données par rapport aux règles de l'organisation et en enregistrant des alertes si les données ne répondent pas aux critères de qualité.
  • Glossaire commercial Gérez la terminologie et les définitions liées à votre activité dans toute votre organisation, et associez des termes aux colonnes de tableau pour favoriser une compréhension cohérente de l'utilisation des données.
  • Traçabilité des données. Suivez la façon dont les données transitent par vos systèmes : leur origine, la cible de transmission, et les transformations qui leur sont appliquées.

Dataplex Universal Catalog est compatible avec un cycle de vie des données de bout en bout, de la découverte distribuée aux insights commerciaux. Les fonctionnalités de gouvernance sont également disponibles dans BigQuery.

Cas d'utilisation

Vous pouvez utiliser Dataplex Universal Catalog pour effectuer les opérations suivantes :

  • Découvrez et comprenez vos données. Dataplex Universal Catalog vous permet de visualiser vos ressources de données dans toute l'organisation. Il vous permet de trouver des ressources pertinentes pour vos besoins de consommation de données. Il fournit du contexte pour les ressources de données, ce qui vous aide à comprendre si elles répondent aux besoins de votre consommateur de données.

  • Activez la gouvernance et la gestion des données. Dataplex Universal Catalog fournit des métadonnées qui peuvent informer et optimiser vos capacités de gouvernance et de gestion des données.

  • Créez un catalogue de données centralisé. Dataplex Universal Catalog stocke les métadonnées collectées automatiquement à partir de vos ressources Google Cloud et permet d'y accéder. Vous pouvez intégrer vos propres métadonnées provenant de systèmes autres queGoogle Cloud . Vous pouvez enrichir toutes les métadonnées avec des annotations de métadonnées métier et techniques supplémentaires.

Commencer

Si vous utilisez Dataplex Universal Catalog pour la première fois, envisagez de suivre un guide de démarrage rapide :

Étapes suivantes