Analyser l'impact des modifications de données sur les workflows

La traçabilité des données dans Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permet de suivre l'impact des transformations de données sur les ressources en aval et les workflows qui en dépendent. Le traçage des dépendances au niveau des colonnes avant de modifier les tables vous aide à vérifier l'intégrité des données et à déterminer si les pipelines existants nécessitent des ajustements.

Dans ce tutoriel, vous allez gérer une base de données qui stocke des enregistrements sur l'utilisation de divers services fournis par un prestataire de santé. Pour faciliter l'utilisation des données, vous parcourez les tables afin d'identifier les modifications potentielles. Avant d'implémenter les modifications, vous utilisez l'explorateur de traçabilité BigQuery pour examiner les colonnes, inspecter les modifications de types de données et déterminer si des améliorations affectent les workflows existants ou nécessitent des ajustements supplémentaires.

Commencer

Pour réaliser le cas d'utilisation, commencez par configurer l'environnement et exécuter les transformations de données. Utilisez la page Prérequis et configuration pour connecter un dépôt distant à Dataform. Ce dépôt contient le code nécessaire pour configurer l'ensemble de données et transformer les données.

Une fois la configuration de l'environnement terminée, utilisez BigQuery et l'explorateur de traçabilité pour suivre les transformations de données et leur effet sur les workflows.

Analyser les transformations de données avec l'explorateur de traçabilité

Après avoir préparé l'ensemble de données, analysez l'impact de la transformation des données à l'aide de l'onglet Traçabilité de BigQuery.

Vérifier l'intégrité des données des colonnes avec des graphiques de traçabilité

Dans cet exemple, examinez la colonne medicare_participation_indicator, qui indique si un médecin ou un fournisseur accepte de fournir des services pour Medicare. Le graphique de traçabilité montre comment les transformations de données entre les tables dérivées entraînent des modifications du type de données des colonnes :

1. Dans la console Google Cloud , accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver la table physicians_and_other_supplier_2012_original.
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de traçabilité, procédez comme suit :
   1. Dans la section Traçabilité au niveau des colonnes, sélectionnez le nom de la colonne medicare_participation_indicator dans la liste.
   2. Dans la section Direction, sélectionnez la direction En aval.
   3. Cliquez sur Appliquer.
5. Développez le chemin de traçabilité jusqu'à atteindre vertex_ai_model_final_features.

6. Analysez les modifications de chemin d'accès entre la table supplier_stg3 et la table supplier_transform1 :

   

   Visualisation du suivi de la traçabilité pour la colonne medicare_participation_indicator

   • Le marquage de chemin Copie exacte indique que la colonne est transmise sans modification.
   • Le marquage de chemin Autre indique une transformation. Dans ce chemin d'accès, le type de données String est traité comme Boolean.

Le chemin d'accès montre que les types de données des colonnes changent, ce qui peut nécessiter des ajustements dans les workflows qui utilisent ces tables.

Identifier les colonnes redondantes en aval

Cet exemple examine la colonne nppes_credentials, qui liste les National Provider Identifiers (NPI) détenus par les praticiens dans le National Plan and Provider Enumeration System (NPPES) :

1. Dans la console Google Cloud , accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver la table physicians_and_other_supplier_2012_original.
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de traçabilité, procédez comme suit :
   1. Dans la section Traçabilité au niveau des colonnes, sélectionnez le nom de la colonne nppes_credentials dans la liste.
   2. Dans la section Direction, sélectionnez la direction En aval.
   3. Cliquez sur Appliquer.
5. Développez le chemin d'accès pour vérifier s'il existe une traçabilité en aval menant à vertex_ai_model_final_features.

L'absence de traçabilité signifie que cette colonne n'est peut-être pas pertinente dans ce workflow particulier et qu'elle peut même être supprimée.

Pour en savoir plus sur la visualisation des données avec un graphique de traçabilité des données, consultez la vue Graphique de traçabilité.