Analyser l'impact des modifications de données sur les workflows

Dans ce scénario, vous gérez une base de données qui stocke des enregistrements sur l'utilisation des différents services fournis par un prestataire de santé. Pour faciliter l'utilisation des données, vous parcourez les tables afin d'identifier les modifications potentielles. Avant d'implémenter les modifications, vous devez déterminer si des améliorations affectent les workflows existants et si des ajustements supplémentaires sont nécessaires.

Dans ce tutoriel, utilisez la traçabilité des données pour identifier l'impact des transformations de données sur les ressources en aval et les workflows dont font partie ces ressources.

Commencer

Pour réaliser le cas d'utilisation, commencez par configurer l'environnement et exécutez les transformations de données. Utilisez la page Conditions préalables et configuration pour connecter un dépôt distant à Dataform. Ce dépôt contient le code nécessaire pour configurer l'ensemble de données et transformer les données.

Une fois la configuration de l'environnement terminée, utilisez BigQuery et l'explorateur de traçabilité pour suivre les transformations de données et leur impact sur les workflows.

Analyser les transformations de données avec l'explorateur de lignage

Une fois l'ensemble de données préparé, analysez l'impact de la transformation des données à l'aide de l'onglet Traçabilité de BigQuery.

Vérifier l'intégrité des données des colonnes avec des graphiques de traçabilité

Dans cet exemple, examinez la colonne medicare_participation_indicator qui indique si un médecin ou un fournisseur accepte de fournir des services pour Medicare. Le graphique de traçabilité montre comment les transformations de données entre les tables dérivées entraînent des modifications du type de données des colonnes :

1. Dans la console Google Cloud , accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver le tableau physicians_and_other_supplier_2012_original.
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de lignage, procédez comme suit :
   1. Dans la section Traçabilité au niveau des colonnes, sélectionnez le nom de la colonne medicare_participation_indicator dans la liste.
   2. Dans la section Direction, sélectionnez la direction En aval.
   3. Cliquez sur Appliquer.
5. Développez le chemin de lignée jusqu'à vertex_ai_model_final_features.

6. Analysez les modifications apportées au chemin entre la table supplier_stg3 et la table supplier_transform1 :

   

   Visualisation du suivi de la traçabilité pour la colonne medicare_participation_indicator

   • Le chemin Copie exacte indique que la colonne est transmise sans modification.
   • Le marquage de chemin Autre indique une transformation. Dans ce chemin d'accès, le type de données String est traité comme Boolean.

Le chemin d'accès indique que les types de données des colonnes changent, ce qui peut nécessiter des ajustements dans les workflows qui utilisent ces tables.

Identifier les colonnes en aval redondantes

Cet exemple examine la colonne nppes_credentials qui liste les numéros NPI (National Provider Identifier) détenus par les professionnels dans le système NPPES (National Plan and Provider Enumeration System) :

1. Dans la console Google Cloud , accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver le tableau physicians_and_other_supplier_2012_original.
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de lignage, procédez comme suit :
   1. Dans la section Traçabilité au niveau des colonnes, sélectionnez le nom de la colonne nppes_credentials dans la liste.
   2. Dans la section Direction, sélectionnez la direction En aval.
   3. Cliquez sur Appliquer.
5. Développez le chemin d'accès pour vérifier si une ascendance en aval existe et mène à vertex_ai_model_final_features.

L'absence de traçabilité signifie que cette colonne n'est peut-être pas pertinente dans ce workflow particulier et qu'elle peut même être supprimée.

Pour en savoir plus sur la visualisation des données avec le graphique de traçabilité des données, consultez la vue Graphique de traçabilité.