Gérer les métadonnées des dépôts Dataform avec Knowledge Catalog

Ce document explique comment utiliser Knowledge Catalog pour afficher les métadonnées des dépôts Dataform et les annoter avec des aspects.

Knowledge Catalog vous permet de stocker et de gérer vos métadonnées. Les dépôts Dataform sont disponibles dans Knowledge Catalog par défaut, sans aucune configuration supplémentaire. Knowledge Catalog récupère automatiquement les métadonnées suivantes à partir des dépôts Dataform :

  • Nom de l'élément de données
  • Élément de données parent
  • Emplacement de l'élément de données
  • Type d'élément de données
  • Projet correspondant Google Cloud
  • Source du dépôt tiers
  • Compte de service

Avant de commencer

  1. Dans la Google Cloud console, sur la page de sélection du projet, sélectionnez ou créez un Google Cloud projet.

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

    Accéder au sélecteur de projet

  2. Activer l'API Dataplex

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

    Activer l'API

  3. Vérifiez que vous disposez des autorisations IAM (Identity and Access Management) nécessaires.

Rôles requis

Pour gérer les dépôts Dataform dans Knowledge Catalog, vous avez besoin des rôles Dataform prédéfinis qui vous donnent accès aux ressources Dataform, ainsi que des rôles Knowledge Catalog requis.

Gérer les métadonnées dans Knowledge Catalog

Knowledge Catalog enregistre les dépôts Dataform en tant qu' entrées avec les valeurs d'entrée suivantes :

Groupe d'entrées système
Le groupe d'entrées système pour les dépôts Dataform est @dataform. Pour afficher les détails des entrées de dépôt dans Knowledge Catalog, vous devez afficher le groupe d'entrées système dataform. Pour savoir comment afficher la liste de toutes les entrées d'un groupe d'entrées, consultez Afficher les détails d'un groupe d'entrées dans la documentation de Knowledge Catalog.
Type d'entrée système
Le type d'entrée système pour les dépôts Dataform est dataform-repository. Pour afficher les détails des dépôts Dataform, vous devez afficher le type d'entrée système dataform-repository. Pour savoir comment afficher les détails d'un type d'entrée sélectionné, consultez Afficher les détails d'un type d'entrée dans la documentation de Knowledge Catalog. Pour savoir comment afficher les détails d'une entrée sélectionnée, consultez Afficher les détails d'une entrée dans la documentation de Knowledge Catalog.

Rechercher des éléments

Pour savoir comment rechercher des éléments de données dans Knowledge Catalog, consultez Rechercher des éléments de données dans Knowledge Catalog dans la documentation de Knowledge Catalog.

Annoter des dépôts

Pour fournir un contexte supplémentaire aux dépôts Dataform dans Knowledge Catalog, vous pouvez annoter les entrées Dataform avec aspects.

Le type d'aspect système pour les dépôts Dataform est dataform-repository.

Pour savoir comment annoter des entrées avec des aspects, consultez Gérer les aspects et enrichir les métadonnées dans la documentation de Knowledge Catalog.

Limites

La gestion des dépôts Dataform dans Knowledge Catalog est soumise aux limites suivantes :

  • Vous ne pouvez pas afficher ni gérer les éléments au niveau des fichiers Dataform dans Knowledge Catalog, par exemple les tables ou les vues.

Emplacements

Vous pouvez utiliser Knowledge Catalog pour gérer les dépôts Dataform à partir de tous les emplacements Dataform.

Quotas

La gestion des dépôts Dataform dans Knowledge Catalog est soumise aux quotas et limites de Knowledge Catalog.

Tarifs

La gestion des dépôts Dataform dans Knowledge Catalog est soumise aux tarifs de Knowledge Catalog.

Étape suivante