Gérer les ressources Looker (Google Cloud Core) avec Knowledge Catalog

Vous pouvez gérer les métadonnées de vos instances Looker (Google Cloud Core) à l'aide de Knowledge Catalog. La gestion des métadonnées vous aide à gouverner vos données et à prendre des décisions éclairées.

Knowledge Catalog est une plate-forme de catalogage de données qui stocke, gère et fournit l'accès à vos métadonnées. Il indexe les métadonnées de production LookML, de projet LookML et de tableau de bord de Looker (Google Cloud Core).

Cette intégration fournit une vue unique de vos éléments de données et de leurs relations, y compris la traçabilité des données. Lorsque vous utilisez Knowledge Catalog, vous pouvez effectuer une analyse d'impact, une découverte de données et une gestion des modifications, ce qui peut vous aider à intégrer des données dans des workflows opérationnels et à trouver de nouvelles utilisations pour vos données.

Knowledge Catalog capture plusieurs niveaux d'entités de Looker, y compris les suivants :

• Instance Looker : y compris l'ID d'instance, l'URL et les tableaux de bord associés
• Agent : créateur, description et source de données
• Tableau de bord : nom, mise en page, filtres et éléments du tableau de bord associés
• Élément du tableau de bord : inclut le type, la requête, le modèle et les explorations
• Exploration : inclut l'étiquette, les requêtes par défaut, la clé étrangère, les conditions de jointure (sql_on, relationship et type), les filtres (always_filter, conditionally_filter, access_filter, sql_always_where et sql_always_having), le schéma avec les définitions de dimension et de mesure, et les synonymes
• Look : inclut le projet du créateur, l'exploration, le modèle et les champs
• Tableau de bord LookML : description, nom du tableau de bord, mise en page, filtres et éléments de tableau de bord LookML associés
• Élément de tableau de bord LookML : description, requêtes, requêtes fusionnées
• Projet LookML : description et modèles associés inclus
• Modèle : inclut le chemin d'accès, l'URL du projet, la connexion, ainsi que les vues, explorations et tableaux de bord LookML associés
• Vue : inclut la table dérivée, les clés de cluster, la clé primaire et le schéma avec les définitions de dimensions et de mesures

L'intégration de Knowledge Catalog et de Looker (Google Cloud Core) représente également des relations définies, y compris :

• Liens d'entrée reference représentant les relations entre les objets Looker
• Liens d'entrée schema-join représentant les associations de clés primaires et de clés étrangères

Processus d'intégration

L'intégration de Looker et de Knowledge Catalog utilise un connecteur propriétaire pour l'ingestion des métadonnées. Looker (Google Cloud core) publie les métadonnées LookML dans des dépôts Cloud Storage régionaux pour que Knowledge Catalog puisse les utiliser via un processus de synchronisation en direct.

La transmission des données de Looker (Google Cloud core) à Knowledge Catalog est automatique par défaut et ne nécessite aucune modification de configuration. Looker (Google Cloud core) utilise des services internes pour effectuer la synchronisation en direct.

Lorsque vous mettez à jour vos modèles LookML et les déployez en production, le système synchronise automatiquement les métadonnées clés avec Knowledge Catalog. Ces métadonnées incluent des détails sur les vues et les explorations, des définitions de champs et des informations sur les modèles. De même, les métadonnées du tableau de bord, y compris les titres, la propriété et les statistiques d'utilisation, apparaissent dans le catalogue.

Quand utiliser Knowledge Catalog avec Looker

Utilisez Knowledge Catalog pour découvrir et comprendre vos métadonnées Looker. Le catalogue facilite les activités suivantes :

• Précision des agents d'IA et de données : utilisez des modèles, des explorations et des vues LookML indexés comme définitions sémantiques. L'ancrage de la génération de requêtes sur les entrées Looker dans Knowledge Catalog garantit que les agents IA respectent la logique métier officielle (mesures certifiées, dimensions et chemins de jointure valides).
• Traçabilité de bout en bout (analyse d'impact et provenance) : utilisez la traçabilité des données pour visualiser la façon dont les données circulent entre les sources de données (comme BigQuery) et les éléments Looker dans les deux sens :
  • Analyse de l'impact en aval : prédisez quels tableaux de bord et explorations sont affectés avant d'apporter des modifications au schéma ou au modèle.
  • Audit des données en amont : auditez l'origine, les transformations et la chaîne de responsabilité des métriques affichées dans les tableaux de bord et les Looks destinés aux dirigeants.
• Découverte et consolidation des éléments : recherchez des tableaux de bord, des explorations et des vues certifiés dans votre organisation pour éviter les rapports en double et la modélisation de données redondante.

Avec Knowledge Catalog, vous pouvez également organiser les métadonnées en associant des aspects aux entrées de métadonnées Looker. Associer des aspects à des éléments Looker vous permet d'ajouter des métadonnées métier aux éléments et de rechercher des éléments à l'aide de ces métadonnées.

Autorisations requises

Pour obtenir les autorisations nécessaires pour utiliser l'intégration de Knowledge Catalog et de Looker (Google Cloud Core), demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet où réside votre instance Looker (Google Cloud Core) :

• Pour afficher les ressources Knowledge Catalog : Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)

• Pour accéder aux métadonnées Looker (Google Cloud Core) sur Knowledge Catalog : Lecteur de schéma Looker (roles/looker.schemaViewer)

  • Le rôle prédéfini "Lecteur de schéma Looker" contient l'autorisation looker.schemas.view, qui est requise pour accéder aux métadonnées Looker (Google Cloud core) sur Knowledge Catalog.
  Remarque : Vous ne pouvez ajouter le rôle "Lecteur de schéma Looker" qu'à l'aide de la Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Pour en savoir plus, consultez la documentation sur add-iam-policy-binding.

• Pour désactiver ou activer l'intégration entre Knowledge Catalog et Looker (Google Cloud Core) : Administrateur Looker (roles/looker.admin)

• Pour afficher les graphiques de traçabilité des données : Lecteur de la traçabilité des données (roles/datalineage.viewer)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Attention : Vous devez accorder le rôle "Lecteur de schéma Looker" ou l'autorisation looker.schema.view au niveau du projet. Les utilisateurs disposant de cette autorisation peuvent afficher les métadonnées de toutes les instances Looker (Google Cloud Core) du projet pour lesquelles l'intégration est activée.

Activer l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Knowledge Catalog est activé par défaut sur les instances Looker (Google Cloud Core). Pour désactiver l'intégration, consultez la section Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core) de cette page de documentation.

Si l'intégration est désactivée sur votre instance et que vous souhaitez l'activer, procédez comme suit :

Console

1. Activer l'API Dataplex Pour afficher les métadonnées ingérées, vous devez activer l'API Cloud Dataplex (dataplex.googleapis.com) sur le projet Google Cloud qui héberge votre instance Looker (Google Cloud core).

   Activer l'API Dataplex

2. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
3. Développez la section Intégration de Knowledge Catalog.
4. Décochez la case Désactiver l'intégration de Knowledge Catalog.
   • Remarque : L'activation de ce paramètre active à la fois l'ingestion des métadonnées et la traçabilité des données (si l'API Data Lineage est activée).
5. Cliquez sur Enregistrer.

gcloud

Assurez-vous que l'API Dataplex est activée sur le projet Google Cloud qui héberge votre instance Looker (Google Cloud core).

Exécutez la commande gcloud looker instances update avec l'option --catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Une fois l'intégration activée, il faudra jusqu'à un jour pour que les données Looker soient disponibles dans Knowledge Catalog.

Rechercher des assets Looker

Pour afficher les données Looker (Google Cloud core) dans Knowledge Catalog, vous devez d'abord activer l'API Dataplex. Pour obtenir l'autorisation nécessaire pour activer des API, vous devez disposer du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin).

Activer l'API Dataplex

Utilisez la page Rechercher de Knowledge Catalog dans la console Google Cloud pour rechercher des éléments Looker (Google Cloud core).

Accéder à la recherche

Dans le panneau Filtres, vous pouvez filtrer les éléments Looker (Google Cloud core) à l'aide des sections Projet, Systèmes et Alias de type. Dans la section Systèmes, vous pouvez filtrer par Looker. Dans Alias de type, vous pouvez filtrer les résultats de recherche pour un type d'élément spécifique.

Si vous avez défini le filtre Systèmes sur Looker, vous pouvez filtrer un type spécifique d'élément Looker en sélectionnant un ou plusieurs des éléments suivants dans la section Alias de type :

• Agent
• Tableau de bord
• Élément du tableau de bord
• Explorer
• Instance
• Look
• projet LookML
• Modèle
• Afficher
• Autre

Remarque : Le filtrage par Tableau de bord renvoie à la fois les tableaux de bord définis par l'utilisateur et les tableaux de bord LookML. Le filtrage par Élément de tableau de bord renvoie les éléments des tableaux de bord définis par l'utilisateur et des tableaux de bord LookML.

Vous pouvez également saisir des requêtes de recherche directement dans le champ de recherche en utilisant une syntaxe de mot clé ou de langage naturel. Par exemple, pour afficher tous les éléments Looker, saisissez system=Looker. Pour afficher tous les tableaux de bord Looker, saisissez system=Looker AND type=dashboard.

Remarque : Le qualificatif type et les alias de type ne sont pas spécifiques à un système. Par exemple, si vous filtrez uniquement par type=view (ou si vous sélectionnez uniquement Vue dans Alias de type), vous obtenez à la fois les vues Looker et les vues BigQuery. Pour filtrer spécifiquement les vues Looker, filtrez à la fois sur le système et le type : sélectionnez Looker dans Systèmes et Vue dans Alias de type, ou saisissez system=Looker AND type=view dans le champ de recherche.

Vous pouvez utiliser les valeurs suivantes avec le qualificatif type :

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

Remarque : La recherche à l'aide de dashboard renvoie à la fois les tableaux de bord définis par l'utilisateur et les tableaux de bord LookML. La recherche à l'aide de dashboard_element renvoie des éléments des tableaux de bord définis par l'utilisateur et des tableaux de bord LookML.

Vous pouvez également rechercher des entrées BigQuery liées à Looker à l'aide de la méthode lookupEntryLinks. Le lien d'entrée reference représente le lien entre les entrées de table BigQuery et leurs entrées de vue Looker.

Pour en savoir plus sur la recherche de ressources, consultez Rechercher des ressources dans Knowledge Catalog. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez Syntaxe de recherche pour Knowledge Catalog.

Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Pour désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core), procédez comme suit.

Console

1. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
2. Développez la section Intégration de Knowledge Catalog.
3. Cochez la case Désactiver l'intégration de Knowledge Catalog.
   • Remarque : Si vous désactivez ce paramètre, l'ingestion de métadonnées et la traçabilité des données (si l'API Data Lineage est activée) seront désactivées.
4. Cliquez sur Enregistrer.

gcloud

Exécutez la commande gcloud looker instances update avec l'option --no-catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Si vous désactivez l'intégration après l'avoir activée, les métadonnées Looker déjà présentes dans Knowledge Catalog y resteront, mais elles ne seront pas mises à jour avec de nouvelles métadonnées.

VPC Service Controls

L'intégration entre Looker (Google Cloud Core) et Knowledge Catalog est compatible avec VPC Service Controls.

Si votre instance Looker (Google Cloud Core) ou vos ressources Knowledge Catalog se trouvent dans un périmètre de service VPC Service Controls, vous devez vous assurer que l'API Dataplex (dataplex.googleapis.com) est configurée en tant que service restreint dans votre périmètre.

Tarifs

Le stockage des métadonnées techniques Looker (Google Cloud core) dans Knowledge Catalog n'entraîne aucuns frais. La tarification standard de Knowledge Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.

Étapes suivantes

• Suivez la traçabilité des données avec Knowledge Catalog.
• Découvrez comment gérer les métadonnées dans Knowledge Catalog.
• Découvrez comment rechercher des ressources dans Knowledge Catalog.
• Découvrez comment gérer les aspects et enrichir les métadonnées.