Gérer les ressources Looker (Google Cloud Core) avec Dataplex Universal Catalog

Cette page explique comment rechercher et gérer vos ressources de métadonnées Looker (Google Cloud ) à l'aide de Dataplex Universal Catalog.

Dataplex Universal Catalog est une plate-forme qui stocke, gère et fournit un accès à vos métadonnées. Il s'agit d'un outil de catalogage qui indexe les métadonnées de production LookML, des projets LookML et des tableaux de bord de Looker (Google Cloud  Core). Cette intégration offre une vue unifiée et complète des éléments de données et de leurs relations, y compris la traçabilité des données.

Dataplex Universal Catalog capture plusieurs niveaux d'entités à partir de Looker, y compris les suivants :

  • Instance Looker
  • Tableau de bord
  • Élément du tableau de bord
  • Look
  • projet LookML
  • Modèle
  • Explorer
  • Vue (qui contient des dimensions et des mesures)

Fonctionnement de l'intégration

L'intégration de Looker et Dataplex Universal Catalog utilise un connecteur propriétaire pour l'ingestion de métadonnées. Looker (Google Cloud core) publie les métadonnées LookML dans des dépôts Cloud Storage régionaux pour que Dataplex Universal Catalog puisse les utiliser via un processus de synchronisation par lot.

La transmission des données de Looker (Google Cloud Core) à Dataplex Universal Catalog est automatique par défaut et ne nécessite aucune modification de configuration. Looker (Google Cloud  Core) utilise des services internes pour effectuer la synchronisation. Le processus de synchronisation par lot interne s'exécute environ toutes les quatre heures, et les données de Looker sont actualisées environ toutes les heures dans Dataplex Universal Catalog.

Lorsque vous mettez à jour vos modèles LookML et que vous les transférez en production, le système synchronise automatiquement les métadonnées clés avec Dataplex Universal Catalog. Ces métadonnées incluent des informations sur les vues et les explorations, des définitions de champs et des informations sur les modèles. De même, les métadonnées des tableaux de bord, y compris les titres, les propriétaires et les statistiques d'utilisation, s'affichent dans le catalogue.

Quand utiliser Dataplex Universal Catalog avec Looker

Utilisez Dataplex Universal Catalog pour découvrir et comprendre vos métadonnées Looker. Le catalogue facilite les activités suivantes :

  • Analyse de l'impact : utilisez la généalogie des données pour visualiser le flux de données de BigQuery vers les tableaux de bord Looker.
  • Découverte : recherchez des tableaux de bord, des explorations et des vues dans votre organisation.
  • Gestion des modifications : comprenez les dépendances avant d'apporter des modifications.
  • Pipelines de transfert de données : ils permettent de suivre la provenance des données.

Avec Dataplex Universal Catalog, vous pouvez également organiser les métadonnées en associant des aspects aux entrées de métadonnées Looker. En associant des aspects aux composants Looker, vous pouvez ajouter des métadonnées métier aux composants et les rechercher à l'aide de ces métadonnées.

Autorisations requises

Pour obtenir les autorisations nécessaires pour utiliser l'intégration Dataplex Universal Catalog et Looker (Google Cloud Core), demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet dans lequel réside votre instance Looker (Google Cloud Core) :

  • Pour afficher les ressources Dataplex Universal Catalog : Lecteur Dataplex (roles/dataplex.viewer)
  • Pour accéder aux métadonnées Looker (Google Cloud Core) dans Dataplex Universal Catalog : Lecteur de schéma Looker (roles/looker.schemaViewer)
    • Le rôle prédéfini Lecteur du schéma Looker contient l'autorisation looker.schemas.view, qui est requise pour accéder aux métadonnées Looker (Google Cloud Core) dans le catalogue universel Dataplex.
  • Pour activer ou désactiver l'intégration entre Dataplex Universal Catalog et Looker (Google Cloud Core) : Administrateur Looker (roles/looker.admin)
  • Pour afficher les graphiques de traçabilité des données : Lecteur de la traçabilité des données (roles/datalineage.viewer)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Activer l'intégration de Dataplex Universal Catalog et de votre instance Looker (Google Cloud Core)

Dataplex Universal Catalog est activé par défaut sur les instances Looker (Google Cloud Core). Pour désactiver l'intégration, consultez la section Désactiver l'intégration de Dataplex Universal Catalog et de votre instance Looker (Google Cloud Core) de cette page de documentation.

Si l'intégration est désactivée sur votre instance et que vous souhaitez l'activer, procédez comme suit :

Console

  1. Activez l'API Dataplex. Pour afficher les métadonnées ingérées, vous devez activer l'API Cloud Dataplex (dataplex.googleapis.com) sur le projet Google Cloud qui héberge votre instance Looker (Google Cloud Core).

    Activer l'API Dataplex

  2. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
  3. Développez la section Intégration d'Universal Catalog.
  4. Décochez la case Désactiver l'intégration du catalogue Dataplex.
    • Remarque : L'activation de ce paramètre permet l'ingestion de métadonnées et la traçabilité des données (si l'API Data Lineage est activée).
  5. Cliquez sur Enregistrer.

gcloud

Assurez-vous que l'API Dataplex est activée dans le projet Google Cloud qui héberge votre instance Looker (Google Cloud Core).

Exécutez la commande gcloud looker instances update avec le flag --catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Une fois l'intégration activée, il faudra jusqu'à un jour pour que les données Looker soient disponibles dans Dataplex Universal Catalog.

Rechercher des composants Looker

Pour afficher les données Looker (Google Cloud  Core) dans Dataplex Universal Catalog, vous devez d'abord activer l'API Dataplex. Pour obtenir l'autorisation nécessaire pour activer les API, vous devez disposer du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin).

Activer l'API Dataplex

Utilisez la page Rechercher de Dataplex Universal Catalog dans la console Google Cloud pour rechercher des composants Looker (Google Cloud  Core).

Accéder à la recherche

Dans le panneau Filtres, vous pouvez filtrer les composants Looker (Google Cloud  Core) à l'aide des sections Projet, Système et Alias de type. Dans la section Système, vous pouvez filtrer sur Looker. Dans Alias de type, vous pouvez filtrer les résultats de la recherche pour un type spécifique d'élément Looker en sélectionnant un ou plusieurs des alias de type suivants :

  • Tableau de bord
  • Élément du tableau de bord
  • Explorer
  • projet LookML
  • Modèle
  • Instance
  • Afficher
  • Autre

Vous pouvez également utiliser le champ de recherche pour effectuer des requêtes de recherche. Vous pouvez effectuer une recherche par mot clé ou en langage naturel. Par exemple, pour afficher tous les composants Looker à l'aide d'une recherche par mot clé, saisissez system=Looker. Pour afficher tous les tableaux de bord Looker, saisissez la requête system=Looker AND type=DASHBOARD. Les composants suivants sont disponibles pour la recherche avec le mot clé type :

  • tableau de bord
  • dashboard_element
  • exploration
  • instance
  • look
  • lookml_project
  • modèle
  • afficher

Pour en savoir plus sur la recherche de ressources, consultez la page de documentation Rechercher des ressources dans Dataplex Universal Catalog. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez la page de documentation Syntaxe de recherche pour Dataplex Universal Catalog.

Désactiver l'intégration de Dataplex Universal Catalog et de votre instance Looker (Google Cloud Core)

Pour désactiver l'intégration de Dataplex Universal Catalog à votre instance Looker (Google Cloud Core), procédez comme suit.

Console

  1. Dans l'onglet Détails de la page Instance de l'instance, cliquez sur Modifier.
  2. Développez la section Intégration d'Universal Catalog.
  3. Cochez la case Désactiver l'intégration du catalogue Dataplex.
    • Remarque : Si vous désactivez ce paramètre, l'ingestion de métadonnées et la traçabilité des données seront désactivées (si l'API Data Lineage est activée).
  4. Cliquez sur Enregistrer.

gcloud

Exécutez la commande gcloud looker instances update avec le flag --no-catalog-integration-enabled pour activer l'intégration :

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Remplacez INSTANCE_NAME par le nom de l'instance Looker (Google Cloud Core).

Lorsque l'intégration est désactivée après avoir été activée, les métadonnées Looker déjà présentes dans Dataplex Universal Catalog y restent, mais ne sont pas mises à jour avec de nouvelles métadonnées.

VPC Service Controls

L'intégration entre Looker (Google Cloud Core) et Dataplex Universal Catalog est compatible avec VPC Service Controls.

Si votre instance Looker (Google Cloud Core) ou vos ressources Dataplex Universal Catalog se trouvent dans un périmètre de service VPC Service Controls, vous devez vous assurer que les services requis pour l'exportation des métadonnées sont accessibles.

  • Assurez-vous que l'API Dataplex (dataplex.googleapis.com) est configurée en tant que service restreint dans votre périmètre.
  • L'intégration utilise des buckets Cloud Storage internes pour transférer les métadonnées. Assurez-vous que votre périmètre de service autorise l'accès aux ressources Cloud Storage nécessaires. Contactez votre équipe ou l'assistance Google Cloud si vous rencontrez des erreurs PERMISSION_DENIED liées à l'exportation de métadonnées.

Tarifs

Le stockage des métadonnées techniques Looker (Google Cloud core) dans Dataplex Universal Catalog est sans frais. La tarification standard de Dataplex Universal Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page sur les tarifs de Dataplex Universal Catalog.

Limites

Cette section regroupe les limites d'utilisation de Looker (Google Cloud core) et de Dataplex Universal Catalog :

  • Les métadonnées Looker ne sont pas disponibles instantanément dans le catalogue. Le processus de synchronisation par lot s'exécute à un intervalle défini, et l'actualisation des données a lieu environ toutes les heures.
  • Aucune API publique n'est exposée pour cette intégration.
  • Pour connaître les limites de la traçabilité des données, consultez la page Suivre la traçabilité des données avec Dataplex Universal Catalog.

Étapes suivantes