À propos du profilage des données

Knowledge Catalog (anciennement Dataplex Universal Catalog) facilite la compréhension et l'analyse de vos données en profilant automatiquement vos tables BigQuery,Google Cloud Lakehouse Iceberg REST Catalog, SAP Business Data Cloud (BDC) Delta Lake et Hive.

Le profilage est comme un rapport de santé détaillé pour vos données. Il vous fournit des statistiques clés, telles que les valeurs courantes, la répartition des données (distribution) et le nombre d'entrées manquantes (nombre de valeurs nulles). Ces informations accélèrent votre analyse.

Le profilage des données recommande des règles de contrôle de la qualité des données pour garantir la fiabilité de vos données.

Modèle conceptuel

Knowledge Catalog vous permet de mieux comprendre le profil de vos données en créant une analyse de profilage des données. Une analyse de profilage des données est un type d'analyse de données Knowledge Catalog qui analyse une table BigQuery, Google Cloud Lakehouse Iceberg REST Catalog, SAP BDC Delta Lake ou Hive pour générer des insights statistiques.

Le schéma suivant montre comment Knowledge Catalog analyse les données pour générer un rapport sur les caractéristiques statistiques.

Une analyse de profilage des données est associée à une table BigQuery, Google CloudLakehouse Iceberg REST Catalog, SAP BDC Delta Lake ou Hive. Elle analyse la table pour générer les résultats du profilage des données. Une analyse de profilage des données accepte plusieurs options de configuration.

Remarque : Knowledge Catalog exécute des analyses sur les ressources d'un projet locataire Google. Vous n'avez donc pas besoin de configurer votre propre infrastructure.

Options de configuration

Cette section décrit les options de configuration disponibles pour exécuter des analyses de profilage des données.

Modes de profilage

Vous avez le choix entre les modes de profilage suivants :

• Standard : il s'agit du mode par défaut. Il fournit un profil complet et personnalisable en analysant vos données en fonction de l'échantillonnage et des filtres que vous spécifiez. Le mode standard est adapté à l'analyse détaillée et à la surveillance à long terme des caractéristiques des données.

• Léger (bêta) : ce mode fournit des analyses de profil à faible latence qui renvoient des résultats en quelques secondes. Il est optimisé pour la vitesse et la rentabilité afin de prendre en charge des cas d'utilisation tels que les suivants :

  • Ancrer les réponses des agents IA avec des caractéristiques de données immédiates
  • Prégénérer des profils à grande échelle de manière rentable pour la découverte de données globales
  • Fournir des rapports d'état rapides lors de l'exploration interactive des données

  Le mode léger présente les limites suivantes :

  • Contrairement au mode de profilage standard, vous ne pouvez pas modifier le champ d'application, les filtres ni la taille d'échantillonnage des analyses légères.
  • Il n'est pas compatible avec les vues et les tables externes BigQuery.

Options de programmation

Vous pouvez planifier une analyse de profilage des données à une fréquence définie ou l'exécuter à la demande. Si un job d'analyse s'exécute plus longtemps que prévu, vous pouvez l'annuler.

Identité d'exécution

Par défaut, Knowledge Catalog utilise un agent de service centralisé ([e-mail]) pour exécuter les analyses de profilage des données.

Vous pouvez également remplacer cette identité d'exécution par défaut en spécifiant un compte de service personnalisé ou en utilisant vos propres identifiants d'utilisateur final (EUC). Cela présente plusieurs avantages :

• Principe du moindre privilège : n'accordez à un compte de service dédié que les autorisations IAM (Identity and Access Management) exactes requises pour des tâches de profilage de données spécifiques, afin de minimiser les accès surprovisionnés.
• Contrôle ultraprécis des contrôle des accès : limitez les autorisations à des ressources spécifiques, ce qui permet l'intégration aux règles d'accès au niveau des lignes et des colonnes dans BigQuery.
• Auditabilité améliorée : attribuez des comptes de service personnalisés ou des identifiants utilisateur à des analyses spécifiques, ce qui facilite le suivi et la journalisation des activités dans les journaux d'audit.
• Unification de la facturation : lorsque vous utilisez une identité d'exécution personnalisée, les frais de traitement et de stockage sont centralisés directement sous BigQuery (en contournant les SKU Knowledge Catalog Premium). Cela vous permet de profiter des remises d'entreprise et des engagements d'emplacements BigQuery.

Pour savoir comment configurer une identité d'exécution personnalisée, consultez Configurer l'identité d'exécution.

Exigences de mise en réseau

Pour exécuter une analyse, vous devez activer l'accès privé à Google sur le sous-réseau VPC que vous utilisez pour l'analyse. Si vous ne spécifiez pas de sous-réseau, assurez-vous que l'accès privé à Google est activé sur votre sous-réseau par défaut.

Champ d'application

Pour les analyses de profilage standard, vous pouvez spécifier le champ d'application des données à analyser :

• Table complète : l'intégralité de la table est analysée lors de l'analyse de profilage des données. L'échantillonnage, les filtres de ligne et les filtres de colonne sont appliqués à l'ensemble de la table avant le calcul des statistiques de profilage.

• Incrémentiel : les données incrémentielles que vous spécifiez sont analysées dans l'analyse de profilage des données. Spécifiez une colonne Date ou Timestamp dans la table à utiliser comme incrément. Il s'agit généralement de la colonne par rapport à laquelle la table est partitionnée. L'échantillonnage, les filtres de ligne et les filtres de colonne sont appliqués aux données incrémentielles avant le calcul des statistiques de profilage.

Filtrer les données

Pour les analyses de profilage standards, vous pouvez filtrer les données à analyser pour le profilage à l'aide de filtres de ligne et de filtres de colonne. L'utilisation de filtres vous permet de réduire la durée d'exécution et les coûts, et d'exclure les données sensibles et inutiles. Les analyses de profilage légères ne sont pas compatibles avec les filtres de colonne et de ligne.

• Filtres de ligne : les filtres de ligne vous permettent de vous concentrer sur les données d'une période ou d'un segment spécifiques, comme une région. Par exemple, vous pouvez filtrer les données dont le code temporel est antérieur à une certaine date.

• Filtres de colonnes : les filtres de colonnes vous permettent d'inclure et d'exclure des colonnes spécifiques de votre table pour exécuter l'analyse de profilage des données.

Exemples de données

Pour les analyses de profilage standards, vous pouvez spécifier un pourcentage d'enregistrements de vos données à échantillonner pour exécuter une analyse de profilage des données. La création d'analyses de profilage des données sur un échantillon de données plus petit peut réduire la durée d'exécution et le coût par rapport à l'interrogation de l'ensemble de données.

Plusieurs analyses de profil de données

Vous pouvez créer plusieurs analyses de profilage des données à la fois à l'aide de la console Google Cloud . Vous pouvez sélectionner jusqu'à 100 tables d'un ensemble de données et créer une analyse de profilage des données pour chaque ensemble de données. Pour en savoir plus, consultez Créer plusieurs analyses de profilage des données.

Exporter les résultats d'analyse vers une table BigQuery

Vous pouvez exporter les résultats de l'analyse de profilage des données vers une table BigQuery pour une analyse plus approfondie. Pour personnaliser les rapports, vous pouvez connecter les données de la table BigQuery à un tableau de bord Looker. Vous pouvez créer un rapport agrégé en utilisant la même table de résultats pour plusieurs analyses.

Résultats du profilage des données

Les résultats du profilage des données incluent les valeurs suivantes :

Type de colonne	Résultats du profilage des données
Colonne numérique	Pourcentage de valeurs nulles. Pourcentage de valeurs uniques (distinctes) approximatives. Les 10 valeurs les plus courantes de la colonne. Il peut être inférieur à 10 si le nombre de valeurs uniques dans la colonne est inférieur à 10 (les valeurs nulles ne sont pas incluses). Pour chacune de ces valeurs les plus courantes, le pourcentage de leur occurrence dans les données analysées lors de l'analyse actuelle est affiché. Moyenne, écart-type, minimum, quartile inférieur approximatif, médiane approximative, quartile supérieur approximatif et valeurs maximales.
Colonne de chaîne	Pourcentage de valeurs nulles. Pourcentage de valeurs uniques (distinctes) approximatives. Les 10 valeurs les plus courantes de la colonne, qui peuvent être moins de 10 si le nombre de valeurs uniques de la colonne est inférieur à 10. Longueur moyenne, minimale et maximale de la chaîne.
Autres colonnes non imbriquées (date, heure, code temporel, binaire, etc.)	Pourcentage de valeurs nulles. Pourcentage de valeurs uniques (distinctes) approximatives. Les 10 valeurs les plus courantes de la colonne, qui peuvent être moins de 10 si le nombre de valeurs uniques de la colonne est inférieur à 10.
Toutes les autres colonnes de type de données imbriquées ou complexes (telles que Record, Array, JSON) ou toute colonne en mode répété.	Pourcentage de valeurs nulles.

Les résultats incluent le nombre d'enregistrements analysés dans chaque job.

Remarque : Les valeurs approximatives peuvent différer des valeurs réelles de 1 à 2% pour améliorer les performances.

Création de rapports et surveillance

Vous pouvez surveiller et analyser les résultats du profilage des données à l'aide des rapports et méthodes suivants :

• Rapports publiés avec la table source dans les pages BigQuery et Knowledge Catalog

  Si vous configurez une analyse de profilage des données pour publier les résultats dans BigQuery et Knowledge Catalog, vous pouvez consulter les derniers résultats de l'analyse de profilage des données dans l'onglet Profil de données de la table source dans BigQuery et Knowledge Catalog. Ces résultats sont accessibles depuis n'importe quel projet.

  

• Rapport historique par job

  Sur la page Qualité et profilage des données> Analyse de profilage des données de Knowledge Catalog et BigQuery, vous pouvez afficher les rapports détaillés des jobs les plus récents et des jobs historiques. Cela inclut les informations de profil au niveau de la colonne et la configuration utilisée.

  

• Onglet "Analyse"

  Sur la page Profilage et qualité des données> Analyse de profilage des données dans Knowledge Catalog et BigQuery, vous pouvez utiliser l'onglet Analyse pour afficher les tendances d'une statistique donnée d'une colonne sur plusieurs jobs de profilage. Par exemple, si vous disposez d'une analyse incrémentielle, vous pouvez voir l'évolution de la moyenne d'une valeur au fil du temps.

  

• Créer votre propre tableau de bord ou vos propres analyses

  Si vous avez configuré une analyse de profilage des données pour exporter les résultats vers une table BigQuery, vous pouvez créer vos propres tableaux de bord à l'aide d'outils tels que Data Studio.

• Surveiller les coûts de calcul des DCU dans Cloud Billing

  Le calcul de l'analyse de profilage des données s'exécute sur une infrastructure sans serveur et n'émet pas de métriques de séries temporelles vers Cloud Monitoring. Pour suivre et attribuer les coûts des DCU de profilage des données par projet, ID d'analyse ou table, interrogez l'exportation Cloud Billing dans BigQuery à l'aide des libellés système goog-dataplex-datascan-*. Pour en savoir plus, consultez Surveiller et attribuer les coûts des DCU Dataplex avec l'exportation Cloud Billing.

Limites

• Vous ne pouvez exécuter des analyses de profilage des données que sur les tables BigQuery, Google CloudLakehouse Iceberg REST Catalog, SAP BDC Delta Lake et Hive.
• Le profilage des données est compatible avec les tables BigQuery de tous les types de colonnes, à l'exception de BIGNUMERIC. Une analyse créée pour une table avec une colonne BIGNUMERIC entraîne une erreur de validation et n'est pas créée.
• Les analyses de profil de données multiples ne sont pas compatibles avec les tables Lakehouse.

Tarifs

• Pour en savoir plus sur les tarifs, consultez Tarifs de Knowledge Catalog.
• Pour suivre et attribuer l'utilisation et les coûts des DCU d'analyse de profilage des données à l'aide de l'exportation Cloud Billing vers BigQuery, consultez Surveiller et attribuer les coûts des DCU Dataplex avec l'exportation Cloud Billing.

Étapes suivantes

• Découvrez comment utiliser le profilage des données.
• Pour en savoir plus sur les ressources Terraform disponibles pour créer des analyses de profilage des données, consultez les pages suivantes :
  • Ressource d'analyse des données Knowledge Catalog dans le registre Terraform.
  • La documentation sur les ressources d'analyse des données Knowledge Catalog sur GitHub, qui est compatible avec la configuration des règles basées sur YAML.
• Découvrez-en plus sur la qualité automatique des données.
• Découvrez comment utiliser la qualité automatique des données.
• Apprenez à explorer vos données et générer des insights.