Gérer les métadonnées des dépôts Dataform avec Knowledge Catalog

Ce document explique comment utiliser Knowledge Catalog pour afficher les métadonnées des dépôts Dataform et les annoter avec des aspects.

Knowledge Catalog vous permet de stocker et de gérer vos métadonnées. Les dépôts Dataform sont disponibles dans Knowledge Catalog par défaut, sans configuration supplémentaire. Knowledge Catalog récupère automatiquement les métadonnées suivantes à partir des dépôts Dataform :

  • Nom de l'élément de données
  • Parent de l'élément de données
  • Emplacement des composants de données
  • Type d'élément de données
  • Projet Google Cloud correspondant
  • Source du dépôt tiers
  • Compte de service

Avant de commencer

  1. Dans la console Google Cloud , sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud .

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionnez un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique. Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous devez disposer du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

    Accéder au sélecteur de projet

  2. Activer l'API Dataplex

    Rôles requis pour activer les API

    Pour activer les API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation grâce au rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation grâce au rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    Activer l'API

  3. Vérifiez que vous disposez des autorisations IAM (Identity and Access Management) nécessaires.

Rôles requis

Pour gérer les dépôts Dataform dans Knowledge Catalog, vous avez besoin des rôles Dataform prédéfinis qui vous donnent accès aux ressources Dataform, ainsi que des rôles Knowledge Catalog requis.

Gérer les métadonnées dans Knowledge Catalog

Knowledge Catalog enregistre les dépôts Dataform en tant qu'entrées avec les valeurs d'entrée suivantes :

Groupe d'entrées système
Le groupe d'entrées système pour les dépôts Dataform est @dataform. Pour afficher les détails des entrées de dépôt dans Knowledge Catalog, vous devez afficher le groupe d'entrées système dataform. Pour savoir comment afficher la liste de toutes les entrées d'un groupe d'entrées, consultez Afficher les détails d'un groupe d'entrées dans la documentation Knowledge Catalog.
Type d'entrée système
Le type d'entrée système pour les dépôts Dataform est dataform-repository. Pour afficher les détails des dépôts Dataform, vous devez afficher le type d'entrée système dataform-repository. Pour savoir comment afficher les détails d'un type d'entrée sélectionné, consultez Afficher les détails d'un type d'entrée dans la documentation Knowledge Catalog. Pour savoir comment afficher les détails d'une entrée sélectionnée, consultez Afficher les détails d'une entrée dans la documentation Knowledge Catalog.

Rechercher des assets

Pour savoir comment rechercher des éléments de données dans Knowledge Catalog, consultez Rechercher des éléments de données dans Knowledge Catalog dans la documentation Knowledge Catalog.

Annoter des dépôts

Pour fournir plus de contexte aux dépôts Dataform dans Knowledge Catalog, vous pouvez annoter les entrées Dataform avec des aspects.

Le type d'aspect système pour les dépôts Dataform est dataform-repository.

Pour savoir comment annoter des entrées avec des aspects, consultez Gérer les aspects et enrichir les métadonnées dans la documentation Knowledge Catalog.

Limites

La gestion des dépôts Dataform dans Knowledge Catalog est disponible avec les limites suivantes :

  • Vous ne pouvez pas afficher ni gérer les composants au niveau des fichiers Dataform dans le Knowledge Catalog (tables ou vues, par exemple).

Emplacements

Vous pouvez utiliser Knowledge Catalog pour gérer les dépôts Dataform de tous les emplacements Dataform.

Quotas

La gestion des dépôts Dataform dans Knowledge Catalog est soumise aux quotas et limites de Knowledge Catalog.

Tarifs

La gestion des dépôts Dataform dans Knowledge Catalog est soumise aux tarifs de Knowledge Catalog.

Étapes suivantes