Suivre la traçabilité des données avec Knowledge Catalog

Cette page explique comment suivre la traçabilité des données pour votre instance Looker (Google Cloud Core) à l'aide de Knowledge Catalog.

La traçabilité des données consiste à suivre la façon dont les données transitent par vos systèmes. En intégrant Looker (Google Cloud Core) à Knowledge Catalog, vous pouvez visualiser le parcours de bout en bout de vos données, de leur source dans BigQuery à leur consommation en aval dans des tableaux de bord, des Looks et des agents d'IA ou de données, en passant par la couche sémantique Looker (vues et explorations LookML).

Cette visibilité permet de suivre la traçabilité bidirectionnelle pour la gouvernance des données, l'analyse d'impact et les workflows d'audit :

  • Analyse de l'impact en aval : prédisez quels tableaux de bord, explorations et consommateurs en aval sont affectés avant d'apporter des modifications au schéma ou au modèle. Par exemple, avant de supprimer une colonne dans une table BigQuery, vous pouvez consulter le graphique de traçabilité pour voir quels tableaux de bord Looker pourraient être affectés.
  • Audit des données en amont : suivez l'origine, les transformations et la chaîne de responsabilité des métriques affichées dans les tableaux de bord et les Looks destinés aux dirigeants.

Avant de commencer

Pour utiliser la traçabilité des données avec Looker (Google Cloud Core), vous devez remplir les conditions préalables suivantes :

  1. Looker (Google Cloud Core) : la traçabilité des données est compatible avec tous les types d'éditions des instances Looker (Google Cloud Core). Les instances Looker (original) ne s'intègrent pas à Knowledge Catalog.

  2. Autorisations requises : pour afficher les graphiques de traçabilité, vous devez disposer des rôles IAM suivants :

    • Lecteur de schéma Looker (roles/looker.schemaViewer) sur le projet qui héberge l'instance Looker (Google Cloud Core). Ce rôle est requis pour afficher les métadonnées spécifiques à Looker (Google Cloud Core) qui s'affichent dans le panneau latéral lorsque vous consultez un graphique de traçabilité.

    • Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer) ou autorisations équivalentes pour afficher les éléments Knowledge Catalog

    • Lecteur de la traçabilité des données (roles/datalineage.viewer) pour lire les données de traçabilité

Activer la traçabilité des données

Pour activer la traçabilité des données, procédez comme suit :

  1. Activer l'intégration de Knowledge Catalog pour Looker (Google Cloud Core) : l'intégration entre votre instance Looker (Google Cloud Core) et Knowledge Catalog est activée par défaut dans la console Google Cloud . Si l'intégration a été désactivée, vous devez la réactiver. Pour obtenir des instructions, consultez Activer l'intégration.
  2. Activer la fonctionnalité en preview "Traçabilité Knowledge Catalog" dans Looker : la fonctionnalité en preview Traçabilité Knowledge Catalog est désactivée par défaut sur la page Fonctionnalités en preview du panneau d'administration de votre instance Looker (Google Cloud Core).
  3. Activer l'API Data Lineage : vous devez activer l'API Data Lineage (datalineage.googleapis.com) sur tous les projets Google Cloud qui hébergent votre instance Looker (Google Cloud core) et vos données BigQuery.

    Activer l'API Data Lineage

  4. Activer l'ingestion de la traçabilité au niveau du service : Ensure que l'intégration de la traçabilité et de Looker (Google Cloud Core) au niveau du service est activée. La traçabilité au niveau du service respecte les états par défaut suivants :
    • Pour éviter d'éventuelles conséquences sur la tarification, l'ingestion de la traçabilité au niveau du service Looker (Google Cloud Core) est désactivée par défaut pour les projets qui, à la date de disponibilité de la version preview de cette fonctionnalité, avaient l'API Data Lineage activée et hébergeaient au moins une instance Looker (Google Cloud Core).
    • L'ingestion de la traçabilité au niveau du service est activée par défaut pour les instances Looker (Google Cloud Core) créées après la date de disponibilité de la version preview de cette fonctionnalité dans les projets où l'API Data Lineage est activée.

Pour afficher la configuration de traçabilité d'un projet Google Cloud , consultez la documentation Obtenir la configuration actuelle. Si l'intégration à Looker (Google Cloud Core) est désactivée, la commande renvoie un résultat semblable à celui-ci :

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

L'ID du projet dans la réponse reflétera l'ID de votre requête. Le champ etag est une somme de contrôle générée par le serveur et basée sur la valeur actuelle de la configuration.

Afficher la traçabilité des données

Une fois l'intégration activée et la synchronisation initiale terminée (ce qui peut prendre jusqu'à 24 heures), vous pouvez afficher la traçabilité dans la console Knowledge Catalog.

  1. Dans la console Google Cloud , accédez à la page Knowledge Catalog.

    Accéder à Knowledge Catalog

  2. Cliquez sur Recherche dans le volet de navigation de gauche.
  3. Recherchez une table BigQuery ou un élément Looker (Google Cloud Core) (comme un tableau de bord ou une exploration).
    • Vous pouvez utiliser le panneau Filtres pour filtrer par Système > Looker.
  4. Cliquez sur le nom de l'asset pour ouvrir sa page d'informations.
  5. Cliquez sur l'onglet Traçabilité.

Le graphique de traçabilité affiche l'élément sous la forme d'un nœud central, avec les sources en amont à gauche et les consommateurs en aval à droite. Cette mise en page bidirectionnelle vous permet d'évaluer les impacts en aval à droite, ou de tracer la provenance en amont et les tables sources à gauche.

Interpréter le graphique de traçabilité

Le graphique de traçabilité se compose de nœuds et de liens :

  • Nœuds : représentent les éléments de données. Les éléments Looker (Google Cloud Core) compatibles sont les suivants :
    • Tableau de bord Looker
    • Élément de tableau de bord Looker (tuile)
    • Look Looker
    • Exploration LookML
    • Vue LookML
  • Liens : représentent le flux de données. Par exemple, un lien entre une table BigQuery et une vue LookML indique que la vue sélectionne des données de cette table.

Identifier les propriétaires des éléments

Pour savoir qui est propriétaire d'un élément en aval susceptible d'être affecté par une modification, procédez comme suit :

  1. Dans le graphique de traçabilité, cliquez sur le nœud de l'élément (par exemple, un tableau de bord Looker).
  2. Un panneau d'informations s'ouvre sur la droite de l'écran.
  3. Recherchez la section Aspects pour trouver le propriétaire (adresse e-mail).

Filtrer la liste de traçabilité

Dans la vue Liste de la traçabilité, vous pouvez filtrer les entités par nom ou valeur de propriété. Par exemple, les modèles LookML complexes peuvent générer des graphiques de traçabilité volumineux avec de nombreuses entités intermédiaires. Pour vous concentrer sur l'impact commercial, vous pouvez filtrer par type d'entité en procédant comme suit :

  1. Dans l'onglet Traçabilité, passez à la vue Liste.
  2. Recherchez les options Filtrer dans la barre d'outils.
  3. Dans le filtre Entité, saisissez Tableau de bord Looker et Look Looker pour filtrer les types intermédiaires tels que Vue LookML et Exploration Looker.

La liste des entités est mise à jour pour n'afficher que les types d'assets sélectionnés, ce qui facilite l'identification du contenu visible par l'utilisateur.

Limites

L'intégration de la traçabilité Looker (Google Cloud Core) présente les limites suivantes pendant la version preview :

  • Sources de données : dans la version preview, la traçabilité n'est compatible qu'avec les sources de données BigQuery.
  • Précision : la traçabilité est fournie au niveau de l'objet (table, vue, exploration, tableau de bord). La traçabilité au niveau des colonnes n'est pas prise en charge.
  • Latence : les données de traçabilité ne sont pas en temps réel. Le processus de synchronisation prend généralement quatre heures. Toutefois, la synchronisation peut prendre jusqu'à huit heures, selon le moment où les métadonnées Looker sont exportées et les données de traçabilité sont consommées. Les modifications apportées dans Looker ou BigQuery peuvent mettre un certain temps à apparaître dans le graphique de traçabilité.
  • SQL complexe : le code LookML défini avec du code SQL personnalisé complexe (par exemple, des modèles Liquid, des tables dérivées avec des jointures complexes) peut ne pas être entièrement analysé, ce qui peut entraîner des nœuds déconnectés.

Tarifs

Pendant la version preview, l'utilisation des fonctionnalités de traçage des données avec cette intégration n'entraîne aucuns frais.

Lorsque la traçabilité des données sera en disponibilité générale, elle sera facturée. Pour éviter d'éventuelles conséquences sur la tarification, l'ingestion de la traçabilité Looker (Google Cloud Core) est désactivée par défaut pour les projets qui, à la date de disponibilité de la version preview de cette fonctionnalité, avaient activé l'API Data Lineage et hébergeaient au moins une instance Looker (Google Cloud Core).

Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.

Étapes suivantes