À propos de l'importation et de l'exportation de glossaires et de liens vers des entrées

Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permet d'importer et d'exporter des glossaires d'entreprise et des liens d'entrée de manière groupée pour gérer votre vocabulaire d'entreprise à grande échelle. À mesure que votre catalogue s'agrandit, les opérations groupées vous aident à mettre à jour les termes et leurs relations sans les gérer individuellement dans la console Google Cloud .

Terminologie

Le glossaire d'entreprise Knowledge Catalog vous permet de définir un vocabulaire d'entreprise commun et d'associer ces termes à des éléments de données physiques. Avant d'utiliser les utilitaires d'importation et d'exportation, familiarisez-vous avec les composants clés suivants :

  • Ressources de glossaire : se composent de catégories et de termes qui établissent votre vocabulaire d'entreprise.

  • Liens d'entrée : relations ou associations entre des ressources, par exemple entre des termes de glossaire et des éléments de données. Knowledge Catalog accepte trois types de liens d'entrée :

    • definition : associe un terme du glossaire à un élément de données spécifique (par exemple, une colonne BigQuery).
    • related : établit une relation entre deux termes de glossaire associés.
    • synonym : établit une relation entre deux termes synonymes du glossaire.

Méthodes d'importation et d'exportation de glossaires et de liens d'entrée

Knowledge Catalog accepte deux méthodes principales pour la gestion groupée des glossaires. Choisissez la méthode qui correspond le mieux à vos besoins d'automatisation et à votre interface préférée :

  • Importation de métadonnées au format JSON
  • Utilitaires basés sur Google Sheets pour l'importation et l'exportation

Importation de métadonnées au format JSON

Il s'agit du mécanisme Knowledge Catalog intégré et entièrement géré. Vous utilisez l'API Dataplex pour importer les termes du glossaire et leurs associations définis dans des fichiers de métadonnées au format JSON.

Exemple de cas d'utilisation : mettez à jour automatiquement vos métadonnées Knowledge Catalog dans le cadre d'un pipeline de données planifié quotidiennement, par exemple en synchronisant les termes directement à partir d'une base de données d'entreprise externe.

Pour en savoir plus, consultez Importer des glossaires et des liens d'entrée à l'aide de fichiers JSON.

Utilitaires basés sur Google Sheets pour l'importation et l'exportation

Il s'agit d'une approche Open Source basée sur des scripts, fournie dans le dépôt dataplex-labs. Il utilise un script Python pour synchroniser les métadonnées du glossaire entre une feuille de calcul Google Sheet et Knowledge Catalog.

Exemple de cas d'utilisation : une équipe de gouvernance des données souhaite rédiger et examiner de manière collaborative des dizaines de nouveaux termes métier avec des parties prenantes non techniques. L'équipe utilise cette méthode basée sur une feuille de calcul pour que tout le monde puisse modifier, commenter et approuver les termes dans Google Sheet avant qu'un administrateur n'exécute le script pour les importer de manière groupée dans Knowledge Catalog.

Pour en savoir plus, consultez les documents suivants :

Cas d'utilisation courant : modification aller-retour avec Google Sheets

Un workflow d'administration courant consiste à effectuer des modifications aller-retour. Cela implique d'exporter votre configuration de catalogue existante, d'effectuer des modifications groupées et d'appliquer ces modifications à Knowledge Catalog.

Le workflow suivant illustre comment exécuter ce processus :

  1. Exportez les métadonnées existantes de Knowledge Catalog vers Google Sheets.

    Utilisez les utilitaires d'exportation de glossaire et d'exportation de liens d'entrée pour extraire la structure de votre glossaire existant et les liens d'entrée dans une Google Sheet.

  2. Modifiez les métadonnées dans Google Sheets.

    Apportez les modifications nécessaires dans la Google Sheet. Étant donné que les liens symétriques (tels que les liens d'entrée synonym et related) sont simplifiés en une seule direction lors de l'exportation pour éviter les lignes en double, vous n'avez besoin de les gérer qu'une seule fois.

    Vous pouvez ajouter des lignes à la feuille correspondante en suivant le schéma de colonne requis. Vous pouvez également modifier des détails tels que les descriptions ou les noms à afficher directement dans les lignes.

  3. Préparez et importez les modifications de Google Sheets dans Knowledge Catalog.

    Exécutez d'abord l'utilitaire d'importation de glossaire. Cela garantit que tous les nouveaux termes ou catégories sont bien créés dans le glossaire d'entreprise avant que vous ne tentiez de les associer.

    Exécutez l'utilitaire d'importation des liens d'entrée. Cet utilitaire lit vos associations mises à jour, les prépare dans votre bucket Cloud Storage et applique les liens definition, related et synonym à votre glossaire récemment mis à jour.

Étapes suivantes