Utiliser la traçabilité des données pour optimiser les coûts

Dans ce scénario, vous gérez un projet BigQuery avec des ensembles de données dérivés du recensement trimestriel de l'emploi et des salaires (QCEW). Le projet contient de nombreuses tables et vues pour différents tableaux de bord et analyses, comme le suivi des tendances de l'emploi ou les comparaisons de salaires. Par conséquent, vos coûts de stockage augmentent. Pour réduire les coûts, vous identifiez les tables ou les vues qui ne sont pas activement utilisées comme sources pour les jobs ou les assets dans BigQuery, ce qui les rend susceptibles d'être supprimées.

Utilisez la traçabilité des données pour identifier les assets inutilisés et optimiser les coûts dans votre projet BigQuery. En vérifiant chaque asset pour les liens en aval, signalez systématiquement les ressources inutilisées à supprimer afin de réduire les coûts de stockage.

Attention : Soyez prudent lorsque vous supprimez des ressources. Ce n'est pas parce qu'une ressource ne comporte pas de workflows en aval qu'elle est entièrement inutilisée. Par exemple, les utilisateurs peuvent toujours interroger une table directement pour récupérer des données spécifiques en mode lecture seule. La suppression de la ressource pourrait perturber le travail de toute personne qui s'appuie sur cet accès direct.

Configurer l'explorateur de traçabilité

Pour mener à bien le cas d'utilisation, configurez d'abord l'environnement et exécutez les transformations de données. Utilisez la page des prérequis et de configuration pour connecter un dépôt distant à Dataform. Ce dépôt contient le code nécessaire pour configurer l'ensemble de données et transformer les données.

Une fois la configuration de l'environnement terminée, utilisez BigQuery et l'explorateur de traçabilité pour identifier visuellement les assets sans dépendances en aval.

Identifier les assets inutilisés et optimiser les coûts

Une fois l'ensemble de données préparé, identifiez les assets qui ne comportent pas de dépendances en aval. Bien que vous puissiez le faire visuellement pour des tables individuelles, vous pouvez également utiliser une approche programmatique pour des ensembles de données plus volumineux.

Dans cet exemple, comparez les assets actifs avec les assets autonomes pour déterminer ceux qui peuvent être supprimés en toute sécurité :

1. Dans la Google Cloud console, accédez à la page BigQuery.
2. Utilisez le champ de recherche pour trouver une table autonome (par exemple, une ancienne table d'analyse d'une année spécifique).
3. Cliquez sur l'onglet Traçabilité.
4. Dans le volet Explorateur de traçabilité, procédez comme suit :
   1. Dans la section Direction, sélectionnez la direction En aval.
   2. Cliquez sur Appliquer.

Observez le graphique. S'il n'y a pas de nœuds en aval, l'asset n'est pas utilisé comme source pour d'autres jobs BigQuery suivis. Pour en savoir plus sur la visualisation des données avec le graphique de traçabilité des données, consultez Vue Graphique de traçabilité.