Suivre la traçabilité des données avec Knowledge Catalog

Cette page explique comment suivre la traçabilité des données pour votre instance Looker (Google Cloud Core) à l'aide de Knowledge Catalog.

La traçabilité des données consiste à suivre la façon dont les données transitent par vos systèmes. En intégrant Looker (Google Cloud Core) à Knowledge Catalog, vous pouvez visualiser le parcours de bout en bout de vos données, de leur source dans BigQuery à leur consommation en aval dans les tableaux de bord Looker, les Looks, les tableaux de bord LookML et les agents d'analyse conversationnelle, en passant par la couche sémantique Looker (vues et explorations LookML).

Cette visibilité permet de suivre la traçabilité bidirectionnelle pour la gouvernance des données, l'analyse d'impact et les workflows d'audit :

• Analyse de l'impact en aval : prédisez quels tableaux de bord, explorations et consommateurs en aval sont affectés avant d'apporter des modifications au schéma ou au modèle. Par exemple, avant de supprimer une colonne dans une table BigQuery, vous pouvez consulter le graphique de traçabilité pour voir quels tableaux de bord Looker pourraient être affectés.
• Audit des données en amont : suivez l'origine, les transformations et la chaîne de responsabilité des métriques affichées dans les tableaux de bord et les Looks destinés aux dirigeants.

Avant de commencer

Pour utiliser la traçabilité des données avec Looker (Google Cloud Core), vous devez remplir les conditions préalables suivantes :

1. Looker (Google Cloud Core) : la traçabilité des données est compatible avec tous les types d'éditions des instances Looker (Google Cloud Core). Les instances Looker (original) ne s'intègrent pas à Knowledge Catalog.
2. Source de données : la traçabilité des données n'est compatible qu'avec les sources de données BigQuery.

3. Autorisations requises : pour afficher les graphiques de traçabilité, vous devez disposer des rôles IAM suivants :

   • Lecteur de schéma Looker (roles/looker.schemaViewer) sur le projet qui héberge l'instance Looker (Google Cloud Core). Ce rôle est requis pour afficher les métadonnées spécifiques à Looker (Google Cloud Core) qui remplissent le panneau latéral d'un graphique de traçabilité.

     Remarque : Vous ne pouvez ajouter le rôle Lecteur de schéma Looker qu'à l'aide de la Google Cloud CLI.

     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
     --member=PRINCIPAL_TYPE:PRINCIPAL_ID
     --role=roles/looker.schemaViewer

     Pour en savoir plus, consultez la documentation sur add-iam-policy-binding.

   • Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer) ou autorisations équivalentes pour afficher les éléments Knowledge Catalog

   • Lecteur de la traçabilité des données (roles/datalineage.viewer) pour lire les données de traçabilité

Attention : Les références aux tables SQL dans LookML doivent respecter exactement la casse des tables BigQuery correspondantes. Par exemple, si le nom d'une table BigQuery est en minuscules, la référence LookML doit également être en minuscules. Les différences de casse empêchent la traçabilité en aval de s'afficher dans le graphique de traçabilité.

Activer la traçabilité des données

Pour activer la traçabilité des données, procédez comme suit dans la console Google Cloud  :

1. Activer l'API Data Lineage : vous devez activer l'API Data Lineage (datalineage.googleapis.com) sur tous les projets Google Cloud qui hébergent votre instance Looker (Google Cloud core) et vos données BigQuery.

   Activer l'API Data Lineage

2. Assurez-vous que l'ingestion de la traçabilité au niveau du service est activée : Assurez-vous que l'intégration de la traçabilité au niveau du service Looker (Google Cloud Core) est activée. L'ingestion de la traçabilité est activée par défaut pour les instances Looker (Google Cloud core) dans les projets où l'API Data Lineage est activée.

Remarque : L'ingestion de la traçabilité des données fonctionne indépendamment du paramètre de désactivation de l'intégration des métadonnées Knowledge Catalog de Looker (Google Cloud Core) et ne nécessite aucune configuration dans le panneau d'administration de Looker. Les paramètres de prévisualisation précédemment configurés dans le panneau d'administration Looker pendant le programme de prévisualisation ne sont plus appliqués à l'intégration de la traçabilité des données.

Pour afficher la configuration de traçabilité d'un projet Google Cloud , consultez la documentation Obtenir la configuration actuelle. Si l'intégration à Looker (Google Cloud Core) est désactivée, la commande renvoie un résultat semblable à celui-ci :

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

L'ID du projet dans la réponse reflétera l'ID de votre requête. Le champ etag est une somme de contrôle générée par le serveur et basée sur la valeur actuelle de la configuration.

Afficher la traçabilité des données

Une fois l'intégration activée et la synchronisation initiale terminée (ce qui peut prendre jusqu'à 24 heures), vous pouvez afficher la traçabilité dans la console Knowledge Catalog.

1. Dans la console Google Cloud , accédez à la page Knowledge Catalog.

   Accéder à Knowledge Catalog

2. Cliquez sur Recherche dans le volet de navigation de gauche.
3. Recherchez une table BigQuery ou un élément Looker (Google Cloud Core) (comme un tableau de bord ou une exploration).
   • Vous pouvez utiliser le panneau Filtres pour filtrer par Systèmes > Looker.
4. Cliquez sur le nom de l'asset pour ouvrir sa page d'informations.
5. Cliquez sur l'onglet Traçabilité.

Le graphique de traçabilité affiche l'élément sous la forme d'un nœud central, avec les sources en amont à gauche et les consommateurs en aval à droite. Cette mise en page bidirectionnelle vous permet d'évaluer les impacts en aval à droite, ou de tracer la provenance en amont et les tables sources à gauche.

Interpréter le graphique de traçabilité

Le graphique de traçabilité se compose de nœuds et de liens :

• Nœuds : représentent les éléments de données. Les éléments Looker (Google Cloud Core) compatibles sont les suivants :
  • Tableau de bord Looker
  • Élément de tableau de bord Looker (tuile)
  • Look Looker
  • Tableau de bord LookML
  • Agent Looker (agent Conversational Analytics)
  • Exploration LookML
  • Vue LookML
• Liens : représentent le flux de données. Par exemple, un lien entre une table BigQuery et une vue LookML indique que la vue sélectionne des données de cette table.

Identifier les propriétaires des éléments

Pour savoir qui est propriétaire d'un élément en aval susceptible d'être affecté par une modification, procédez comme suit :

1. Dans le graphique de traçabilité, cliquez sur le nœud de l'élément (par exemple, un tableau de bord Looker).
2. Un panneau d'informations s'ouvre sur la droite de l'écran.
3. Recherchez la section Aspects pour trouver le propriétaire (adresse e-mail).

Filtrer la liste de traçabilité

Dans la vue Liste de la traçabilité, vous pouvez filtrer les entités par nom ou valeur de propriété. Par exemple, les modèles LookML complexes peuvent générer des graphiques de traçabilité volumineux avec de nombreuses entités intermédiaires. Pour vous concentrer sur l'impact commercial, vous pouvez filtrer par type d'entité en procédant comme suit :

1. Dans l'onglet Traçabilité, passez à la vue Liste.
2. Recherchez les options Filtrer dans la barre d'outils.
3. Dans le filtre Entité, saisissez Tableau de bord Looker, Tableau de bord LookML et Look Looker pour filtrer les types intermédiaires tels que Vue LookML et Exploration LookML.

La liste des entités est mise à jour pour n'afficher que les types d'assets sélectionnés, ce qui facilite l'identification du contenu visible par l'utilisateur.

Limites

L'intégration de la traçabilité Looker (Google Cloud Core) présente les limites suivantes :

• Types d'instances : la traçabilité n'est compatible qu'avec les instances Looker (Google Cloud Core). Les instances Looker (original) ne sont pas compatibles avec la traçabilité.
• Sources de données : la traçabilité n'est compatible qu'avec les sources de données BigQuery.
• Précision : la traçabilité est fournie au niveau de l'objet (table, vue, exploration, tableau de bord Looker, tableau de bord LookML et agent Conversational Analytics). La traçabilité au niveau des colonnes n'est pas prise en charge.
• Latence : les données de traçabilité ne sont pas en temps réel. Le processus de synchronisation prend généralement quatre heures. Toutefois, la synchronisation peut prendre jusqu'à huit heures, selon le moment où les métadonnées Looker sont exportées et les données de traçabilité sont consommées. Les modifications apportées dans Looker ou BigQuery peuvent mettre un certain temps à apparaître dans le graphique de traçabilité. La synchronisation initiale après l'activation de l'intégration peut prendre jusqu'à 24 heures.
• SQL complexe : le code LookML défini avec du code SQL personnalisé complexe (par exemple, des modèles Liquid, des tables dérivées avec des jointures complexes) peut ne pas être entièrement analysé, ce qui peut entraîner des nœuds déconnectés.

Tarifs

La traçabilité des données pour Looker (Google Cloud Core) est en disponibilité générale. La tarification commencera à une date ultérieure, avec un préavis fourni par le biais d'une annonce obligatoire sur le service (MSA).

Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.

Étapes suivantes

• Gérer les ressources de métadonnées avec Knowledge Catalog
• En savoir plus sur la traçabilité des données