Afficher les insights Knowledge Catalog

Afficher les insights Knowledge Catalog

Vous pouvez rechercher et gérer vos ressources Firestore à l'aide de Knowledge Catalog, une plate-forme permettant de stocker, de gérer et d'accéder à vos métadonnées. Vous pouvez utiliser Knowledge Catalog pour analyser vos métadonnées Firestore et vous aider à effectuer des tâches telles que :

• Analyse, y compris les dépendances et l'adéquation à un cas d'utilisation
• Gestion du changement
• Évolution du schéma

Knowledge Catalog est activé par défaut sur les bases de données Firestore nouvelles et existantes, et récupère automatiquement les métadonnées suivantes :

Ressource	Type	Champs
Base de données	Plan de contrôle	Édition Mode(s) Emplacement (y compris les zones multirégionales) ID du projet Nom de la base de données Date et heure de création
Schéma de base de données	Plan de données	Nom Collection Champ : type(s) de données Schéma

Avant de commencer

Pour utiliser les insights du Knowledge Catalog avec Firestore, vous devez d'abord disposer d'une base de données Firestore. Pour en savoir plus, consultez Créer et gérer des bases de données.

Rôles requis pour accéder aux résultats de recherche

Pour rechercher et afficher les métadonnées Firestore dans Knowledge Catalog, les comptes principaux doivent disposer des autorisations nécessaires pour afficher les ressources Firestore, y compris l'autorisation dataplex.projects.search.

Pour accorder ces autorisations à des comptes principaux (utilisateurs, groupes ou comptes de service, par exemple), attribuez-leur le rôle IAM Lecteur Cloud Datastore (roles/datastore.viewer) sur le projet contenant les ressources Firestore.

Opération Knowledge Catalog	Ressource Firestore	Rôles ou autorisations requis
Rechercher des ressources Firestore	Base de données	datastore.databases.getMetadata
	Schéma de base de données	datastore.schemas.get

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès. Pour en savoir plus sur les rôles IAM Firestore, consultez Rôles et autorisations Firestore.

Rôles requis pour rechercher des entrées

Pour rechercher des entrées, vous devez disposer d'au moins l'un des rôles IAM suivants sur le projet utilisé pour la recherche :

• Administrateur de catalogue Dataplex (roles/dataplex.catalogAdmin)
• Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
• Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)

Les autorisations applicables aux résultats de recherche sont vérifiées indépendamment du projet sélectionné. Pour en savoir plus, consultez Rechercher des éléments de données avec Knowledge Catalog.

Types de découverte de métadonnées

La découverte des métadonnées Knowledge Catalog est un processus automatisé qui analyse les sources de données connectées (comme Firestore) pour identifier les composants de données (comme les collections et les bases de données) et extraire leurs métadonnées techniques (comme les schémas, les descriptions et les emplacements) dans le catalogue Knowledge Catalog. Ce processus s'exécute périodiquement pour synchroniser le catalogue avec les systèmes sources.

Important : Pour que les ID de base de données et de groupe de collections s'affichent dans le Knowledge Catalog, ils doivent respecter la convention de nommage suivante : ils ne doivent contenir que des lettres, des chiffres ou des caractères dans ""'-._~%%!$&'()*+,;=@/', et ne peuvent pas être au format UUID ni être vides. Les ID ne peuvent pas commencer par une barre oblique (/) ni contenir deux barres obliques à la suite (//).

Recherche par mots clés et en langage naturel

Knowledge Catalog est compatible avec les recherches par mots clés et en langage naturel.

• La recherche par mots clés vous permet de trouver des ressources à l'aide de mots clés et de filtres spécifiques, ainsi que d'une syntaxe définie. Par exemple, vous pouvez saisir system=Firestore AND type=Database pour afficher toutes les bases de données Firestore.
• La recherche en langage naturel (version preview) utilise l'IA pour comprendre les requêtes sémantiques. Elle vous permet de trouver des ressources en utilisant un langage courant, sans avoir besoin d'une syntaxe complexe. Par exemple, vous pouvez saisir des requêtes telles que List all Firestore databases related to sales.

Pour en savoir plus, consultez la section Syntaxe de recherche pour Knowledge Catalog.

Exemple : Découvrir un schéma de groupe de collections Firestore

Pour comprendre le processus de découverte des métadonnées, prenons l'exemple d'une base de données Firestore nommée user-firestore-database. Dans cette base de données, vous disposez d'un schéma de groupe de collections nommé user-schema.

Une fois la découverte terminée, vous pouvez rechercher ces éléments – user-firestore-database et user-schema – sur la page "Knowledge Catalog" de la consoleGoogle Cloud ou à l'aide de l'API Knowledge Catalog. Vous pouvez ensuite afficher des informations sur les composants et les enrichir avec des métadonnées opérationnelles ou métier supplémentaires.

Enrichir les métadonnées à l'aide d'aspects

Les types d'aspect sont des ressources réutilisables pouvant servir de modèles pour les aspects. Les types d'aspects vous aident à éviter la duplication de tâches et les aspects incomplets. Vous pouvez utiliser Knowledge Catalog pour créer les types d'aspects dont vous avez besoin.

Une fois que vous avez créé des types d'aspects personnalisés, vous pouvez associer des aspects à vos ressources Firestore. L'association d'aspects à vos ressources vous permet d'effectuer les opérations suivantes :

• Ajouter des métadonnées métier aux éléments
• Rechercher des éléments par métadonnées métier et autres métadonnées personnalisées

Pour savoir comment créer des types d'aspects et associer des aspects à Firestore, consultez Gérer les aspects et enrichir les métadonnées.

Rechercher des composants Firestore

Utilisez la page de recherche Knowledge Catalog dans la console Google Cloud pour rechercher des éléments Firestore.

1. Accédez à la page Rechercher de Knowledge Catalog.

   Accéder à la recherche

2. Dans le panneau Filtres, cliquez sur Systèmes, puis sélectionnez Firestore.

3. Facultatif. Dans Alias de type, vous pouvez filtrer les résultats de recherche pour afficher un type spécifique d'élément Firestore en sélectionnant un ou plusieurs des alias de type suivants :

   • Base de données
   • Schéma de base de données
   • Autre

Utiliser des requêtes pour effectuer une recherche par mots clés

Vous pouvez utiliser le champ de recherche de Knowledge Catalog pour effectuer des requêtes de recherche par mot clé. Par exemple, vous pouvez saisir system=Firestore AND type=Database pour afficher toutes les bases de données Firestore.

Pour en savoir plus, consultez la section Syntaxe de recherche pour Knowledge Catalog.

Pour afficher tous les composants Firestore, saisissez system=Firestore. Vous pouvez saisir des mots clés spécifiques. Par exemple, pour afficher toutes les bases de données Firestore :

system=Firestore AND type=Database

Vous pouvez également utiliser des parenthèses et les opérateurs logiques AND et OR pour les expressions complexes. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez la section Syntaxe de recherche pour Knowledge Catalog.

Vous pouvez saisir directement des requêtes de recherche pour des ressources Firestore spécifiques dans le champ de recherche. Le format de la chaîne de requête est le suivant :

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Remplacez les éléments suivants :

• QUERY_STRING : utilisez la liste suivante pour identifier une chaîne de requête en fonction du type d'élément Firestore que vous souhaitez interroger :

  • firestore-database
  • firestore-schema

Voici un exemple de requête :

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

Rechercher par type d'aspect

Knowledge Catalog inclut quelques types d'aspects intégrés que vous pouvez utiliser pour effectuer des recherches.

Pour effectuer une recherche par type d'aspect, procédez comme suit :

1. Dans le panneau Aspects, cliquez sur le menu Ajouter d'autres types d'aspects.
2. Saisissez Firestore, puis sélectionnez un ou plusieurs des types d'aspects suivants pour limiter les résultats de recherche à ce type.
   • Base de données Firestore
   • Schéma Firestore
3. Cliquez sur OK.
4. Dans le tableau des résultats, cliquez sur le nom de l'asset pour en afficher les métadonnées.
5. Facultatif : Améliorez ou affichez vos éléments. Vous pouvez effectuer l'une des actions suivantes :
   • Pour ajouter une description en texte enrichi de l'élément, dans Présentation, cliquez sur Ajouter .
   • Pour associer un aspect à l'élément, dans Aspects, cliquez sur Ajouter .
   • Pour afficher les bases de données des membres d'une instance, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche.
   • Dans Détails de l'entrée, consultez tous les détails de l'élément. Cliquez sur le nom de l'entrée pour afficher d'autres entrées.

Recherche en langage naturel dans Firestore

La recherche en langage naturel (version preview) utilise l'IA pour comprendre les requêtes sémantiques. Elle vous permet de trouver des ressources en utilisant un langage courant, sans avoir besoin d'une syntaxe complexe. Par exemple, vous pouvez saisir des requêtes telles que List all Firestore collections related to sales.

Pour en savoir plus, consultez la section Syntaxe de recherche pour Knowledge Catalog.

Recherche de syntaxe dans Firestore

La recherche par mots clés vous permet de trouver des ressources à l'aide de mots clés et de filtres spécifiques, ainsi que d'une syntaxe définie. Par exemple, vous pouvez saisir system=Firestore AND type=Database pour afficher toutes les bases de données Firestore.

Pour en savoir plus, consultez la section Syntaxe de recherche pour Knowledge Catalog.

Exemple de workflow : afficher le détail d'une base de données dans un schéma

Pour passer d'une base de données à un schéma, procédez comme suit :

1. Accédez à la page Rechercher de Knowledge Catalog.

   Accéder à la recherche

2. Dans le panneau Filtres, sélectionnez Systèmes, puis Firestore. Vous pouvez également saisir system=Firestore dans le champ de recherche.

3. Sélectionnez une base de données.

4. Sur la page Informations sur Firestore, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche.

   Remarque : S'il n'y a pas d'onglet Liste d'entrées, revenez à la page Rechercher et choisissez une autre base de données.

5. Sur la page Informations sur la base de données Firestore, cliquez sur l'onglet Liste d'entrées, puis sur Afficher toutes les entrées enfants dans la recherche. Knowledge Catalog affiche les groupes de collections de la base de données.

6. Sélectionnez le nom d'un groupe de collections, puis sur la page Détails du groupe de collections, cliquez sur Schéma pour afficher le schéma.

7. Facultatif : Pour ajouter un type d'aspect à une base de données, cliquez sur le bouton Ajouter un aspect.

Tarifs

Le stockage des métadonnées techniques Firestore dans Knowledge Catalog est sans frais. La tarification standard de Knowledge Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs du Knowledge Catalog.

Limites

• Les résultats de la requête sont tronqués après l'ingestion de 10 000 groupes de collections.
• Lors de l'ingestion par lot, il peut s'écouler jusqu'à 48 heures avant que les modifications apportées à votre base de données ne soient reflétées dans Knowledge Catalog.
• Lors de l'ingestion en direct, la mise à jour de votre base de données peut prendre jusqu'à cinq minutes pour être reflétée dans Knowledge Catalog.
• Les groupes de collections ne sont pas mis à jour lors de l'ingestion en direct.
• Les schémas de groupes de collections sont mis à jour lors de l'ingestion en direct. Toutefois, cette mise à jour ne couvre que les 100 premiers champs primitifs de premier niveau par ordre alphabétique. Les informations restantes du schéma sont mises à jour 24 à 48 heures après l'ingestion en direct.
• Le processus d'extraction peut prendre plusieurs minutes.

Étapes suivantes

• À propos de la gestion du catalogue de données dans Knowledge Catalog
• Rôles Identity and Access Management de Knowledge Catalog