Lorsque vous planifiez votre stratégie de gouvernance des données, comprendre comment fonctionne la traçabilité des données dans Knowledge Catalog peut vous aider à prendre de meilleures décisions architecturales. Tenez compte des points suivants :
- Activation au niveau du projet : lorsque vous activez l'API Data Lineage, le suivi de la traçabilité des données est actif dans l'ensemble du projet par défaut. Les informations sont automatiquement signalées pour plusieurs systèmes en fonction de leurs contrôles au niveau du produit. Vous pouvez également contrôler l'ingestion de la traçabilité de manière hiérarchique pour des services spécifiques.
- Conformité réglementaire : vous bénéficiez d'une visibilité claire sur les mouvements de données tout en comprenant exactement quelles métadonnées sont enregistrées et comment elles sont sécurisées.
- Gestion des coûts : vous pouvez examiner et gérer de manière proactive l'impact de la facturation de la traçabilité dans vos projets.
Contrôles de la traçabilité au niveau des produits
Lorsque l'API Data Lineage est activée, les systèmes compatibles signalent la traçabilité en fonction de leurs contrôles au niveau du produit :
| Système | Commandes de lignée disponibles |
|---|---|
| BigQuery, Cloud Data Fusion |
Vous ne pouvez pas limiter le suivi de l'ancêtre à Cloud Data Fusion ou BigQuery uniquement lorsque l'API Data Lineage est activée dans un projet. Vous pouvez configurer l'ingestion de la traçabilité des données pour BigQuery afin d'activer ou de désactiver l'ingestion automatique de la traçabilité des données. |
| Managed Service pour Apache Airflow | Managed Airflow utilise un contrôle d'intégration de la lignée de données au niveau de l'environnement. La lignée de données est automatiquement activée pour tous les nouveaux environnements Managed Airflow qui répondent aux exigences. Pour en savoir plus, consultez Lignée de données avec Managed Airflow. Pour les environnements existants, utilisez les paramètres d'environnement pour activer ou désactiver l'intégration du lineage de données. Vous pouvez configurer l'ingestion de la traçabilité des données pour Managed Airflow afin d'activer ou de désactiver l'ingestion automatique de la traçabilité des données. |
| Dataflow | Vous pouvez capturer des événements de traçabilité avec des jobs Dataflow et les publier dans l'API Data Lineage. Pour en savoir plus, consultez Utiliser la traçabilité des données dans Dataflow. |
| Managed Service pour Apache Spark | Vous pouvez capturer des événements de traçabilité avec des jobs Managed Service pour Apache Spark et les publier dans l'API Data Lineage. Pour en savoir plus, consultez Utiliser la traçabilité des données Spark. Vous pouvez configurer l'ingestion de la traçabilité des données pour Managed Service pour Apache Spark afin d'activer ou de désactiver l'ingestion automatique de la traçabilité des données. |
| Looker (Google Cloud Core) (aperçu) | La visualisation des métadonnées Looker (Google Cloud Core) à partir de sources BigQuery à l'aide de la traçabilité des données est possible. La traçabilité des données doit être activée au niveau de la ressource Looker (Google Cloud Core) et au niveau du service de traçabilité des données. Pour en savoir plus, consultez Suivre la traçabilité des données avec Knowledge Catalog. |
| Vertex AI | La traçabilité des données est automatiquement activée pour les pipelines Vertex AI. Elle permet de suivre les artefacts d'entrée et les paramètres d'exécution (tels que les modèles, les ensembles de données et les composants), ainsi que les ressources dérivées en aval. Pour en savoir plus, consultez Suivre la traçabilité des artefacts de pipelines. |
Impact sur la facturation
Lorsque vous activez l'API Data Lineage sur un projet, vérifiez l'impact sur vos frais de facturation, car l'API Data Lineage est activée au niveau de chaque projet (consultez la section précédente pour en savoir plus). Pour en savoir plus sur la facturation de la traçabilité des données, consultez les tarifs de Knowledge Catalog.
Pour BigQuery Omni, le traitement de la traçabilité est distribué à des régions spécifiques, et les coûts dépendent des régions dans lesquelles le traitement est effectué.
Conformité de la traçabilité des données
- La traçabilité des données enregistre les métadonnées sur le déplacement des données, mais ne capture pas les données elles-mêmes. Pour en savoir plus sur les champs inclus dans les métadonnées, consultez le modèle d'informations sur la traçabilité des données et la documentation de référence de l'API Data Lineage.
- La traçabilité des données dans Knowledge Catalog est compatible avec VPC-SC.
- Knowledge Catalog ne permet pas d'utiliser des clés de chiffrement gérées par le client pour protéger les métadonnées de lineage collectées.
Limites de la traçabilité des données
Lorsque vous sélectionnez un nœud dans le graphique de traçabilité, le panneau latéral des détails du nœud est vide dans les cas suivants :
- La ressource se trouve dans une autre organisation.
- L'utilisateur n'est pas membre de l'organisation qui héberge la ressource.