Gérer les ressources Looker (Google Cloud Core) avec Knowledge Catalog

Cette page explique comment rechercher et gérer vos ressources de métadonnées Looker (Google Cloud Core) à l'aide de Knowledge Catalog.

Knowledge Catalog est une plate-forme qui stocke, gère et fournit un accès à vos métadonnées. Il s'agit d'un outil de catalogage qui indexe les métadonnées de production LookML, de projet LookML et de tableau de bord à partir de Looker (Google Cloud Core). Cette intégration offre une vue unifiée et complète des éléments de données et de leurs relations, y compris la traçabilité des données.

Knowledge Catalog capture plusieurs niveaux d'entité à partir de Looker, y compris les suivants :

  • Instance Looker
  • Tableau de bord
  • Élément du tableau de bord
  • Look
  • projet LookML
  • Modèle
  • Explorer
  • Afficher (qui contient des dimensions et des mesures)

Fonctionnement de l'intégration

L'intégration de Looker et de Knowledge Catalog utilise un connecteur first party pour l'ingestion de métadonnées. Looker (Google Cloud Core) publie les métadonnées LookML dans des dépôts Cloud Storage régionaux pour que Knowledge Catalog les utilise via un processus de synchronisation par lot.

La transmission de données de Looker (Google Cloud Core) vers Knowledge Catalog est automatique par défaut et ne nécessite aucune modification de configuration. Looker (Google Cloud Core) utilise des services internes pour effectuer la synchronisation. Le processus de synchronisation par lot interne s'exécute environ toutes les quatre heures, et les données de Looker sont actualisées environ toutes les heures dans Knowledge Catalog.

Lorsque vous mettez à jour vos modèles LookML et que vous les transférez en production, le système synchronise automatiquement les métadonnées clés avec Knowledge Catalog. Ces métadonnées incluent les détails de la vue et de l'exploration, les définitions de champ et les informations sur le modèle. De même, les métadonnées du tableau de bord, y compris les titres, la propriété et les statistiques d'utilisation, apparaissent dans le catalogue.

Quand utiliser Knowledge Catalog avec Looker

Utilisez Knowledge Catalog pour découvrir et comprendre vos métadonnées Looker. Le catalogue facilite les activités suivantes :

  • Analyse d'impact : utilisez la traçabilité des données pour visualiser le flux de données de BigQuery vers les tableaux de bord Looker.
  • Découverte : recherchez des tableaux de bord, des explorations et des vues dans votre organisation.
  • Gestion du changement : comprenez les dépendances avant d'apporter des modifications.
  • Pipelines de déplacement des données : suivez la provenance des données.

Avec Knowledge Catalog, vous pouvez également organiser les métadonnées en associant des aspects aux entrées de métadonnées Looker. L'association d'aspects aux éléments Looker vous permet d'ajouter des métadonnées métier aux éléments et de rechercher des éléments par ces métadonnées.

Autorisations requises

Pour obtenir les autorisations nécessaires pour utiliser l'intégration de Knowledge Catalog et de Looker (Google Cloud Core), demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet où réside votre instance Looker (Google Cloud Core) :

  • Pour afficher les ressources Knowledge Catalog : Lecteur Dataplex (roles/dataplex.viewer)
  • Pour accéder aux métadonnées Looker (Google Cloud Core) dans Knowledge Catalog : Lecteur de schéma Looker (roles/looker.schemaViewer)
    • Le rôle prédéfini Lecteur de schéma Looker contient l'autorisation looker.schemas.view, qui est requise pour accéder aux métadonnées Looker (Google Cloud Core) dans Knowledge Catalog.
  • Pour désactiver ou activer l'intégration entre Knowledge Catalog et Looker (Google Cloud Core) : Administrateur Looker (roles/looker.admin)
  • Pour afficher les graphiques de traçabilité des données : Lecteur de la traçabilité des données (roles/datalineage.viewer)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Activer l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Knowledge Catalog est activé par défaut sur les instances Looker (Google Cloud Core). Pour désactiver l'intégration, consultez la section Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core) de cette page de documentation.

Si l'intégration est désactivée sur votre instance et que vous souhaitez l'activer, procédez comme suit :

Console

  1. Activer l'API Dataplex Pour afficher les métadonnées ingérées, vous devez activer l'API Cloud Dataplex (dataplex.googleapis.com) sur le Google Cloud projet qui héberge votre instance Looker (Google Cloud Core).

    Activer l'API Dataplex

  2. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
  3. Développez la section Intégration du catalogue universel.
  4. Décochez la case Désactiver l'intégration du catalogue Dataplex.
    • Remarque : L'activation de ce paramètre active à la fois l'ingestion de métadonnées et la traçabilité des données (si l'API Data Lineage est activée).
  5. Cliquez sur Enregistrer.

gcloud

Assurez-vous que l'API Dataplex est activée sur le Google Cloud projet qui héberge votre instance Looker (Google Cloud Core).

Utilisez la commande gcloud looker instances update avec l'option --catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Une fois l'intégration activée, les données Looker seront disponibles dans Knowledge Catalog dans un délai d'un jour.

Rechercher des éléments Looker

Pour afficher les données Looker (Google Cloud Core) dans Knowledge Catalog, vous devez d'abord activer l'API Dataplex. Pour obtenir l'autorisation nécessaire pour activer les API, vous devez disposer du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin).

Activer l'API Dataplex

Utilisez la page Rechercher de Knowledge Catalog dans la Google Cloud console pour rechercher des éléments Looker (Google Cloud Core).

Accéder à la recherche

Dans le panneau Filtres, vous pouvez filtrer les éléments Looker (Google Cloud Core) à l’aide des sections Projet, Système et Alias de type. Dans la section Système, vous pouvez filtrer par Looker. Dans Alias de type, vous pouvez filtrer les résultats de la recherche pour un type spécifique d'élément Looker en sélectionnant un ou plusieurs des éléments suivants :

  • Tableau de bord
  • Élément du tableau de bord
  • Explorer
  • projet LookML
  • Modèle
  • Instance
  • Afficher
  • Autre

Vous pouvez également utiliser le champ de recherche pour effectuer des requêtes de recherche. Vous pouvez effectuer une recherche par mot clé ou en langage naturel. Par exemple, pour afficher tous les éléments Looker via une recherche par mot clé, saisissez system=Looker. Pour afficher tous les tableaux de bord Looker, saisissez la requête system=Looker AND type=DASHBOARD. Les éléments suivants peuvent être recherchés avec le mot clé type :

  • tableau de bord
  • dashboard_element
  • exploration
  • instance
  • look
  • lookml_project
  • modèle
  • afficher

Pour en savoir plus sur la recherche de ressources, consultez la page de documentation Rechercher des ressources dans Knowledge Catalog. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez la page de documentation Syntaxe de recherche pour Knowledge Catalog.

Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Pour désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core), procédez comme suit.

Console

  1. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
  2. Développez la section Intégration du catalogue universel.
  3. Cochez la case Désactiver l'intégration du catalogue Dataplex.
    • Remarque : La désactivation de ce paramètre désactive à la fois l'ingestion de métadonnées et la traçabilité des données (si l'API Data Lineage est activée).
  4. Cliquez sur Enregistrer.

gcloud

Utilisez la commande gcloud looker instances update avec l'option --no-catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Lorsque l'intégration est désactivée après avoir été activée, les métadonnées Looker déjà présentes dans Knowledge Catalog y restent, mais elles ne sont pas mises à jour avec de nouvelles métadonnées.

VPC Service Controls

L'intégration entre Looker (Google Cloud Core) et Knowledge Catalog est compatible avec VPC Service Controls.

Si votre instance Looker (Google Cloud Core) ou vos ressources Knowledge Catalog se trouvent dans un périmètre de service VPC Service Controls, vous devez vous assurer que les services requis pour l'exportation des métadonnées sont accessibles.

  • Assurez-vous que l'API Dataplex (dataplex.googleapis.com) est configurée en tant que service restreint dans votre périmètre.
  • L'intégration utilise des buckets Cloud Storage internes pour transférer les métadonnées. Assurez-vous que votre périmètre de service autorise l'accès aux ressources Cloud Storage nécessaires. Contactez votre Google Cloud équipe chargée du compte ou l'assistance si vous rencontrez des erreurs PERMISSION_DENIED liées à l'exportation de métadonnées.

Tarifs

Le stockage des métadonnées techniques Looker (Google Cloud Core) dans Knowledge Catalog est sans frais. La tarification standard de Knowledge Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.

Limites

Cette section regroupe les limites d'utilisation de Looker (Google Cloud Core) et de Knowledge Catalog :

  • Les métadonnées de Looker ne sont pas disponibles instantanément dans le catalogue. Le processus de synchronisation par lot s'exécute à intervalles définis, et l'actualisation des données a lieu environ toutes les heures.
  • Aucune API publique n'est exposée pour cette intégration.
  • Pour connaître les limites de la traçabilité des données, consultez la page Suivre la traçabilité des données avec Knowledge Catalog.

Étape suivante